AssemblyAI
ShanoneのAssemblyAI連携では、音声認識に関する17個のツールをエージェントに提供します — 非同期/同期の文字起こし、話者識別・翻訳、そして文字起こし内容の要約や質問応答を行うLLMゲートウェイをカバーしています。はじめに
1
AssemblyAI APIキーを取得する
AssemblyAIのアカウントにサインインし、APIキーをコピーします。
2
Shanoneで接続する
エージェントに音声/動画ファイルの文字起こしを依頼するか、ShanoneダッシュボードのインテグレーションからAPIキーを事前に登録します。
3
リクエストを再試行する
キーが保存されると、
assemblyai_*ツールに対するshanone_execute_toolの呼び出しが成功するようになります。利用可能なツール
Shanoneは AssemblyAI向けに17個のツールを提供しており、以下のカテゴリに分類されています。文字起こし
文字起こし
assemblyai_transcribe, assemblyai_get_transcript, assemblyai_list_transcripts, assemblyai_delete_transcript, assemblyai_upload_file同期的な文字起こし
同期的な文字起こし
assemblyai_sync_transcribe — ポーリングの代わりに、単一のブロッキング呼び出しで短い音声の文字起こし結果を取得するスピーチ理解
スピーチ理解
assemblyai_translate_transcript, assemblyai_identify_speakers, assemblyai_apply_custom_formattingLLMゲートウェイ
LLMゲートウェイ
assemblyai_llm_chat, assemblyai_llm_summary, assemblyai_llm_qa, assemblyai_llm_action_itemsエクスポート & 検索
エクスポート & 検索
assemblyai_export_subtitles, assemblyai_get_sentences, assemblyai_get_paragraphs, assemblyai_search_wordsよくある使い方
会議の文字起こし & 要約
録音を文字起こしし、LLMゲートウェイで要約とアクションアイテムを生成する
字幕生成
動画を文字起こしし、公開用にSRT/VTT字幕を出力する
複数話者による通話の分析
サポート通話の話者を識別し、文字起こし全体から特定の語句を検索する
多言語コンテンツ
より広い視聴者のために、文字起こしを別の言語に翻訳する
トラブルシューティング
assemblyai_transcribeの結果が'processing'のまま変わらない
assemblyai_transcribeの結果が'processing'のまま変わらない
非同期の文字起こしはキューベースで処理されます。即時の結果を期待するのではなく、返されたIDで
assemblyai_get_transcriptをstatusがcompletedになるまでポーリングしてください。長い音声ファイルでassemblyai_sync_transcribeが失敗またはタイムアウトする
長い音声ファイルでassemblyai_sync_transcribeが失敗またはタイムアウトする
同期的な文字起こしは短い音声のみを対象としています。より長い録音には、
assemblyai_transcribe(非同期)をポーリングと組み合わせて使用してください。assemblyai_llm_qaやassemblyai_llm_summaryが文字起こしが見つからないというエラーを返す
assemblyai_llm_qaやassemblyai_llm_summaryが文字起こしが見つからないというエラーを返す
LLMゲートウェイのツールを使う前に、文字起こしの処理が完了している(
status: completed)必要があります — まずassemblyai_get_transcriptで確認してください。