Cloudflare Workers

使用 Firecrawl 与 Cloudflare Workers，在边缘环境中搜索、抓取并与网页数据交互。

​

准备工作

• Wrangler CLI (npm install -g wrangler)
• Firecrawl API 密钥——免费获取

​

设置

npm create cloudflare@latest my-scraper
cd my-scraper
npm install @mendable/firecrawl-js

将你的 API 密钥添加为 Secret：

wrangler secret put FIRECRAWL_API_KEY

​

进行网页搜索

创建一个处理函数，用于进行网页搜索，并返回包含完整页面内容的结果。

编辑 src/index.ts：

import Firecrawl from "@mendable/firecrawl-js";

export interface Env {
  FIRECRAWL_API_KEY: string;
}

export default {
  async fetch(request: Request, env: Env): Promise<Response> {
    const firecrawl = new Firecrawl({ apiKey: env.FIRECRAWL_API_KEY });
    const url = new URL(request.url);

    if (request.method === "POST" && url.pathname === "/search") {
      const { query } = (await request.json()) as { query: string };
      const results = await firecrawl.search(query, { limit: 5 });
      return Response.json(results);
    }

    return new Response("未找到", { status: 404 });
  },
};

​

抓取网页

添加一个 /scrape 路由，用于从任意 URL 提取干净的 Markdown。

if (request.method === "POST" && url.pathname === "/scrape") {
  const { url: targetUrl } = (await request.json()) as { url: string };
  const result = await firecrawl.scrape(targetUrl);
  return Response.json(result);
}

​

与页面交互

添加 /interact 路由以控制实时浏览器会话——点击按钮、填写表单，并提取动态内容。

if (request.method === "POST" && url.pathname === "/interact") {
  const result = await firecrawl.scrape("https://www.amazon.com", {
    formats: ["markdown"],
  });
  const scrapeId = result.metadata?.scrapeId;

  await firecrawl.interact(scrapeId, {
    prompt: "Search for iPhone 16 Pro Max",
  });
  const response = await firecrawl.interact(scrapeId, {
    prompt: "Click on the first result and tell me the price",
  });

  await firecrawl.stopInteraction(scrapeId);
  return Response.json({ output: response.output });
}

​

部署

wrangler deploy

​

试一试

curl -X POST https://my-scraper.<your-subdomain>.workers.dev/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping"}'

​

后续步骤

搜索文档

进行网页搜索并获取完整页面内容

抓取 文档

包含所有 scrape 选项，包括 formats、actions 和代理

交互文档

点击、填写表单并提取动态内容

Node SDK 参考

完整的 SDK 参考，涵盖爬取、map、batch scrape 等功能