バッチスクレープ

POST /batch/scrape

複数のURLをスクレイピングし、必要に応じてLLMを用いて情報を抽出する

cURL

curl --request POST \
  --url https://api.firecrawl.dev/v2/batch/scrape \
  --header 'Authorization: Bearer <token>' \
  --header 'Content-Type: application/json' \
  --data '
{
  "urls": [
    "<string>"
  ],
  "maxConcurrency": 123,
  "ignoreInvalidURLs": true,
  "formats": [
    "markdown"
  ],
  "onlyMainContent": true,
  "onlyCleanContent": false,
  "includeTags": [
    "<string>"
  ],
  "excludeTags": [
    "<string>"
  ],
  "maxAge": 172800000,
  "minAge": 123,
  "headers": {},
  "waitFor": 0,
  "mobile": false,
  "skipTlsVerification": true,
  "timeout": 60000,
  "parsers": [
    "pdf"
  ],
  "actions": [
    {
      "type": "wait",
      "milliseconds": 2
    }
  ],
  "location": {
    "country": "US",
    "languages": [
      "en-US"
    ]
  },
  "removeBase64Images": true,
  "blockAds": true,
  "proxy": "auto",
  "storeInCache": true,
  "lockdown": false,
  "zeroDataRetention": false
}
'

200

{
  "success": true,
  "id": "<string>",
  "url": "<string>",
  "invalidURLs": [
    "<string>"
  ]
}

Firecrawl API key が必要な AI エージェントの場合は、自動オンボーディング手順について firecrawl.dev/agent-onboarding/SKILL.md を参照してください。

承認

Authorization · string · header · 必須

Bearer authentication header of the form Bearer <token>, where <token> is your auth token.

ボディ

application/json

urls · string<uri>[] · 必須

スクレイプ対象のURL

webhook · object

Webhook の仕様を表すオブジェクト。

Show child attributes

maxConcurrency · integer

同時に実行されるスクレイプの最大数。このパラメータで、このバッチスクレイプに対する同時実行数の上限を設定できます。指定しない場合、このバッチスクレイプはチームで設定された同時実行数の上限に従います。

ignoreInvalidURLs · boolean · デフォルト: true

urls 配列に無効な URL が含まれている場合、それらは無視されます。無効な URL が原因でリクエスト全体が失敗するのではなく、残りの有効な URL を使ってバッチスクレイプが作成され、無効な URL はレスポンスの invalidURLs フィールドで返されます。

formats · (Markdown · object | Summary · object | HTML · object | Raw HTML · object | Links · object | Images · object | Screenshot · object | JSON · object | Change Tracking · object | Branding · object | Audio · object)[]

レスポンスに含める出力フォーマットを指定します。1つ以上のフォーマットを、文字列（例: 'markdown'）または追加オプションを含むオブジェクト（例: { type: 'json', schema: {...} }）として指定できます。一部のフォーマットでは、特定のオプションの設定が必須です。例: ['markdown', { type: 'json', schema: {...} }]。

Markdown

Summary

HTML

Raw HTML

Links

Images

Screenshot

JSON

Change Tracking

Branding

Audio

Show child attributes

onlyMainContent · boolean · デフォルト: true

ヘッダー、ナビゲーション、フッターなどを除き、ページの主要なコンテンツのみを返します。これは Markdown 生成前に適用される、HTML レベルの決定論的なフィルターであり、LLM は関与しません。

onlyCleanContent · boolean · デフォルト: false

ベータ版。生成された Markdown に対して追加の LLM ベースの処理を実行し、onlyMainContent では取りこぼす可能性のある残存ボイラープレート（Cookie バナー、広告ブロック、ソーシャル共有ウィジェット、パンくずリスト、ニュースレター登録、コメント欄、関連記事リスト）を削除します。見出し、リスト、表、コードブロック、画像参照、インラインリンクは保持されます。onlyMainContent と組み合わせて使うこともでき（これが最も一般的な構成です）、単独でも使用できます。Markdown がクリーニングモデルの出力トークン上限を超える場合は、警告を出してスキップされます（元の Markdown は保持されます）。ゼロデータ保持の request ではサポートされていません。

includeTags · string[]

出力に含めるタグ。

excludeTags · string[]

出力結果から除外するタグ。

maxAge · integer · デフォルト: 172800000

ページのキャッシュが、この値（ミリ秒）で指定した有効期間より新しい場合は、そのキャッシュ版を返します。キャッシュがこの値より古い場合は、新たにページのスクレイピングを行います。極めて最新のデータが不要であれば、これを有効にすることでスクレイピングを最大500%高速化できます。デフォルトは2日です。

minAge · integer

設定すると、このリクエストはキャッシュのみを確認し、新しいスクレイプは実行されません。値はミリ秒単位で、キャッシュデータに必要な最小経過時間を指定します。一致するキャッシュデータが存在する場合は、即座に返されます。キャッシュデータが見つからない場合は、エラーコード SCRAPE_NO_CACHED_DATA を含む 404 が返されます。経過時間に関係なく、任意のキャッシュデータを許可するには 1 に設定します。

headers · object

リクエストに含めるヘッダー。Cookie や User-Agent などを送信するために使用できます。

waitFor · integer · デフォルト: 0

コンテンツを取得する前に待機する時間をミリ秒単位で指定します。ページが十分に読み込まれるまでの時間を確保するための遅延です。この待機時間は、Firecrawl のスマート待機機能に加えて発生します。

mobile · boolean · デフォルト: false

モバイル端末からのスクレイピングをエミュレートしたい場合は、true に設定します。レスポンシブページのテストやモバイル向けスクリーンショットの取得に便利です。

skipTlsVerification · boolean · デフォルト: true

リクエストを送信する際に TLS 証明書の検証を行わないようにします。

timeout · integer · デフォルト: 60000

リクエストのタイムアウト（ミリ秒）。最小値は1000（1秒）、デフォルト値は60000（60秒）、最大値は300000（300秒）です。

必須範囲: 1000 <= x <= 300000

parsers · object[]

スクレイピング時のファイルの処理方法を制御します。"pdf" が含まれている場合（デフォルト）、PDF の内容が抽出されて markdown 形式に変換され、課金はページ数に基づきます（1ページあたり1クレジット）。空の配列を渡した場合、PDF ファイルは base64 エンコード形式で返され、PDF 全体で一律1クレジットが請求されます。

Show child attributes

actions · (Wait by Duration · object | Wait for Element · object | Screenshot · object | Click · object | Write text · object | Press a key · object | Scroll · object | Scrape · object | Execute JavaScript · object | Generate PDF · object)[]

コンテンツを取得する前にページに対して実行するアクション

Wait by Duration

Wait for Element

Screenshot

Click

Write text

Press a key

Scroll

Scrape

Execute JavaScript

Generate PDF

Show child attributes

location · object

リクエストのロケーション設定です。指定すると、利用可能な場合は適切なプロキシが使用され、対応する言語およびタイムゾーン設定がエミュレートされます。指定されていない場合は、デフォルトで「US」が使用されます。

Show child attributes

removeBase64Images · boolean · デフォルト: true

markdown 出力からすべての Base64 画像を削除します。長くなりすぎる可能性があるためです。これは html または rawHtml フォーマットには影響しません。画像の代替テキストは出力に残りますが、URL はプレースホルダーに置き換えられます。

blockAds · boolean · デフォルト: true

広告およびCookie同意ポップアップのブロックを有効化します。

proxy · enum<string> · デフォルト: auto

使用するプロキシの種類を指定します。

• basic: ボット対策がない、または基本的なボット対策のみを行っているサイト向けのプロキシです。高速で、多くのケースではこれで十分です。
• enhanced: 高度なボット対策を行っているサイト向けの強化プロキシです。basic よりは遅くなりますが、一部のサイトではより高い成功率が期待できます。1 リクエストあたり最大 5 クレジット消費します。
• auto: basic プロキシでのスクレイピングに失敗した場合、Firecrawl が自動的に enhanced プロキシで再試行します。enhanced での再試行が成功した場合、そのスクレイプには 5 クレジットが課金されます。最初の basic で成功した場合は、通常のコストのみが課金されます。

利用可能なオプション: basic, enhanced, auto

storeInCache · boolean · デフォルト: true

true の場合、そのページは Firecrawl のインデックスおよびキャッシュに保存されます。スクレイピング活動でデータ保護上の懸念が生じる可能性がある場合は、これを false に設定すると有用です。機密性の高いスクレイピングに関連する一部のパラメータ（例: actions、headers）を使用すると、このパラメータは強制的に false になります。

lockdown · boolean · デフォルト: false

true の場合、リクエストは Firecrawl のキャッシュからのみ返され、対象 URL への外部リクエストは一切行われません。これは、スクレイピングのリクエスト自体が機密情報を漏らす可能性がある、コンプライアンス要件の厳しい環境やエアギャップ環境向けに設計されています。キャッシュミス時には、エラーコード SCRAPE_LOCKDOWN_CACHE_MISS を伴う 404 を返します（ミス時に URL が記録されることはありません）。Lockdown リクエストはゼロデータ保持として扱われます。既存のキャッシュ済みページを引き続き利用対象にできるよう、デフォルトの maxAge は 2 年に延長されます。課金は、ヒット時が 5 クレジット、キャッシュミス時が 1 クレジットです。

profile · object

スクレイピングおよび Interact セッション間で、永続的な browser ストレージを有効にします。スクレイピング時にプロファイルを指定すると、Cookie、localStorage、セッションデータが保持されます。同じプロファイル名のセッションでは、browser の状態が共有されます。

Show child attributes

zeroDataRetention · boolean · デフォルト: false

true の場合、このバッチスクレイプではゼロデータ保持が有効になり、データは一切保持されません。この機能を有効にするには、[e-mail] までご連絡ください。

レスポンス

200

application/json

成功時のレスポンス

success · boolean

id · string

url · string<uri>

invalidURLs · string[] | null

ignoreInvalidURLs が true の場合、このフィールドは、リクエスト内で指定された無効な URL を含む配列になります。無効な URL がなかった場合、この配列は空になります。ignoreInvalidURLs が false の場合、このフィールドは undefined になります。