Flask

Python で Firecrawl と Flask を使って、Webスクレイピングおよび検索 API を構築します。

​

前提条件

• Python 3.8+
• Firecrawl APIキー — 無料で取得する

​

セットアップ

pip install flask firecrawl-py

.env に API キーを追加します。

FIRECRAWL_API_KEY=fc-YOUR-API-KEY

​

アプリを作成

app.py を作成します：

import os
from flask import Flask, request, jsonify
from firecrawl import Firecrawl

app = Flask(__name__)
firecrawl = Firecrawl(api_key=os.environ["FIRECRAWL_API_KEY"])


@app.post("/search")
def search():
    data = request.get_json()
    results = firecrawl.search(data["query"], limit=data.get("limit", 5))
    return jsonify([{"title": r.title, "url": r.url} for r in results.web])


@app.post("/scrape")
def scrape():
    data = request.get_json()
    result = firecrawl.scrape(data["url"])
    return jsonify(markdown=result.markdown, metadata=result.metadata)


@app.post("/interact/start")
def interact_start():
    data = request.get_json()
    result = firecrawl.scrape(data["url"], formats=["markdown"])
    return jsonify(scrape_id=result.metadata.scrape_id)


@app.post("/interact")
def interact():
    data = request.get_json()
    response = firecrawl.interact(data["scrape_id"], prompt=data["prompt"])
    return jsonify(output=response.output)


@app.post("/interact/stop")
def interact_stop():
    data = request.get_json()
    firecrawl.stop_interaction(data["scrape_id"])
    return jsonify(status="stopped")


if __name__ == "__main__":
    app.run(debug=True)

​

実行してみる

flask run

​

試してみる

# ウェブを検索する
curl -X POST http://localhost:5000/search \
  -H "Content-Type: application/json" \
  -d '{"query": "firecrawl web scraping", "limit": 5}'

# ページをスクレイピングする
curl -X POST http://localhost:5000/scrape \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

# インタラクティブセッションを開始する
curl -X POST http://localhost:5000/interact/start \
  -H "Content-Type: application/json" \
  -d '{"url": "https://www.amazon.com"}'

​

次のステップ

スクレイピングのドキュメント

フォーマット、アクション、プロキシなど、すべてのスクレイピングのオプション

検索ドキュメント

Web を検索してページ全体のコンテンツを取得

Interact ドキュメント

クリックやフォーム入力で動的コンテンツを抽出

Python SDK リファレンス

crawl、map、async などを含む SDK リファレンス