Apify
ShanoneのApify連携では、Webスクレイピング・データ抽出・ブラウザ自動化用のクラウドプログラムである Actorの実行・管理、および出力データセットの取得のための6個のツールをエージェントに提供します。はじめに
1
Apify APIトークンを取得する
Apify ConsoleのSettings > Integrationsで、個人用APIトークンをコピーします。
2
Shanoneで接続する
エージェントにApify Actorの実行を依頼する(例:「このGoogleマップ検索をApifyでスクレイピングして」)か、ShanoneダッシュボードのインテグレーションからAPIトークンを事前に登録します。
3
リクエストを再試行する
トークンが保存されると、
apify_*ツールに対するshanone_execute_toolの呼び出しが成功するようになります。利用可能なツール
Shanoneは Apify向けに6個のツールを提供しています。Actorの実行
Actorの実行
apify_run_actor — Actor IDまたは組み込みのエイリアス(google_maps、instagram、web_scraperなど)を指定して起動し、完了を待ってデータセットの結果を返すこともできる実行の管理
実行の管理
apify_get_run_status, apify_abort_run, apify_list_runsActor & データセット
Actor & データセット
apify_list_actors, apify_get_datasetよくある使い方
リードリストのスクレイピング
GoogleマップやLinkedIn向けのActorを実行し、得られたデータセットをCRMに取り込む
競合の価格追跡
定期的に競合のECサイトの商品情報をスクレイピングし、結果を時系列で比較する
長時間スクレイピングの監視
完了を待たずにActorを起動し、
apify_get_run_statusを定期的にポーリングして成功を確認するSNSコンテンツの収集
Instagram、TikTok、Twitter向けのActorから最新の投稿やプロフィール情報を分析用に取得する
トラブルシューティング
apify_run_actorが大規模スクレイピングでタイムアウトする
apify_run_actorが大規模スクレイピングでタイムアウトする
wait_for_completionは最大600秒までポーリングします。より長時間かかるActorには、wait_for_completion: falseを指定してapify_run_actorを呼び、別途apify_get_run_statusをポーリングしてください。apify_get_datasetの取得件数が想定より少ない
apify_get_datasetの取得件数が想定より少ない
結果は
limitパラメータ(デフォルト100)で上限が設定されています。limitを増やすか、offsetでページ分割してデータセット全体を取得してください。'instagram'のようなActorエイリアスが想定と違うActorに解決される
'instagram'のようなActorエイリアスが想定と違うActorに解決される
組み込みエイリアスは、その用途向けのメンテナーのデフォルトActor IDにマッピングされています。特定のActorを使いたい場合は、エイリアスではなく正確なActor ID(例:
username/actor-name)を指定してください。