NestJS

NestJS で Firecrawl を使い、構造化された Web スクレイピングサービスと検索サービスを構築します。

​

前提条件

• NestJS プロジェクト (@nestjs/cli)
• Firecrawl APIキー — 無料で取得できます

​

SDKをインストール

npm install @mendable/firecrawl-js

.env にAPIキーを追加します:

FIRECRAWL_API_KEY=fc-YOUR-API-KEY

​

Firecrawlサービスを作成する

src/firecrawl/firecrawl.service.ts を作成します。

import { Injectable } from "@nestjs/common";
import Firecrawl from "@mendable/firecrawl-js";

@Injectable()
export class FirecrawlService {
  private readonly client: Firecrawl;

  constructor() {
    this.client = new Firecrawl({ apiKey: process.env.FIRECRAWL_API_KEY });
  }

  async search(query: string, limit = 5) {
    return this.client.search(query, { limit });
  }

  async scrape(url: string) {
    return this.client.scrape(url);
  }

  async interact(url: string, prompts: string[]) {
    const result = await this.client.scrape(url, { formats: ['markdown'] });
    const scrapeId = result.metadata?.scrapeId;

    const responses = [];
    for (const prompt of prompts) {
      const response = await this.client.interact(scrapeId, { prompt });
      responses.push(response);
    }

    await this.client.stopInteraction(scrapeId);
    return responses;
  }
}

​

コントローラーを作成

src/firecrawl/firecrawl.controller.ts を作成します:

import { Body, Controller, Post } from "@nestjs/common";
import { FirecrawlService } from "./firecrawl.service";

@Controller("firecrawl")
export class FirecrawlController {
  constructor(private readonly firecrawlService: FirecrawlService) {}

  @Post("search")
  async search(@Body("query") query: string) {
    return this.firecrawlService.search(query);
  }

  @Post("scrape")
  async scrape(@Body("url") url: string) {
    return this.firecrawlService.scrape(url);
  }

  @Post("interact")
  async interact(@Body("url") url: string, @Body("prompts") prompts: string[]) {
    return this.firecrawlService.interact(url, prompts);
  }
}

​

モジュールを登録する

src/firecrawl/firecrawl.module.ts を作成します。

import { Module } from "@nestjs/common";
import { FirecrawlService } from "./firecrawl.service";
import { FirecrawlController } from "./firecrawl.controller";

@Module({
  providers: [FirecrawlService],
  controllers: [FirecrawlController],
  exports: [FirecrawlService],
})
export class FirecrawlModule {}

AppModule に FirecrawlModule をインポートします。

​

試してみる

curl -X POST http://localhost:3000/firecrawl/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping"}'

​

次のステップ

スクレイピングのドキュメント

フォーマット、アクション、プロキシを含む、すべてのスクレイピングのオプション

検索ドキュメント

Webを検索してページ全体のコンテンツを取得

Interact ドキュメント

クリック、フォーム入力、動的コンテンツの抽出

Node SDK リファレンス

クロール、マップ、バッチスクレイプなどを含むSDKの完全なリファレンス