Firecrawl
ShanoneのFirecrawl連携は、Webをクリーンな構造化データに変換する22個のツールをエージェントに提供します。単一ページのスクレイピング、サイト全体のクロール、AIによる抽出、さらには対話的なページを操作するためのサンドボックス化されたブラウザまでカバーします。はじめに
1
FirecrawlのAPIキーを取得する
FirecrawlダッシュボードからAPIキーを作成します。
2
Shanoneにキーを追加する
Shanoneダッシュボードの連携を開き、Firecrawlを選択してAPIキーを貼り付けます。
3
リクエストを再実行する
保存が完了すると、
firecrawl_*ツールに対するshanone_execute_tool呼び出しが成功するようになります。利用可能なツール
ShanoneはFirecrawl向けに22個のツールを、以下のカテゴリに整理して提供しています。スクレイプ & 検索
スクレイプ & 検索
firecrawl_scrape, firecrawl_searchクロール
クロール
firecrawl_crawl, firecrawl_check_crawl_status抽出 & マップ
抽出 & マップ
firecrawl_extract, firecrawl_mapインタラクト
インタラクト
firecrawl_interact, firecrawl_interact_stopブラウザサンドボックス
ブラウザサンドボックス
firecrawl_create_browser, firecrawl_execute_browser, firecrawl_list_browsers, firecrawl_delete_browserエージェント
エージェント
firecrawl_agent, firecrawl_get_job_statusモニター(変更検知)
モニター(変更検知)
firecrawl_monitor_create, firecrawl_monitor_list, firecrawl_monitor_get, firecrawl_monitor_update, firecrawl_monitor_delete, firecrawl_monitor_run, firecrawl_monitor_check, firecrawl_monitor_checksよくあるユースケース
クリーンなMarkdown抽出
JavaScriptが多用されたページをスクレイピングし、生のHTMLではなくクリーンなMarkdownを取得する
サイト全体のナレッジベース取り込み
ドキュメントサイト全体をクロールし、取得したページをナレッジベースに投入する
スキーマベースのデータ抽出
JSONスキーマを使ってURLリストから構造化されたフィールド(価格、仕様、連絡先など)を抽出する
価格/コンテンツの変更監視
競合ページにモニターを設定し、価格やコンテンツが変更されたら通知を受け取る
トラブルシューティング
firecrawl_crawlやfirecrawl_extractが結果ではなくジョブIDを返す
firecrawl_crawlやfirecrawl_extractが結果ではなくジョブIDを返す
これらはデフォルトで非同期処理です。
wait_for_completion=Trueを設定するか、返されたジョブIDを使ってfirecrawl_check_crawl_statusやfirecrawl_get_job_statusをポーリングしてください。firecrawl_scrapeがレート制限や認証エラーで失敗する
firecrawl_scrapeがレート制限や認証エラーで失敗する
エラーメッセージが「rate limit」(バックオフして再試行)か「API key」(接続中のFirecrawl APIキーが無効/期限切れで再接続が必要)かを確認してください。
スクレイピング前にボタンのクリックやフォーム入力が必要
スクレイピング前にボタンのクリックやフォーム入力が必要
単純な
firecrawl_scrapeはページを操作できません。まずスクレイプしてscrapeIdを取得し、firecrawl_interactにpromptまたはcodeを指定して操作を実行し、完了したらfirecrawl_interact_stopを呼んでください。