JieGou has evolved.
Since this post was published, JieGou has pivoted from an AI automation platform to an AI-powered operations company delivering managed marketing and operations services. Learn about our managed services →
AIチャットボットのブラックボックス問題
カスタマーサービス用のAIチャットボットをデプロイするのは簡単です。本当の課題は、そのAIが実際に顧客の役に立っているかどうかを知ることです。
顧客がAIエージェントに質問した時、いくつかの重要な問いに答える必要があります。AIは正しく回答したか？回答生成にどのようなコンテキストを使ったか？顧客は回答に満足したか？エスカレーションすべき時にしたか — すべきでない時にしてしまわなかったか？
ほとんどのプラットフォームが提供するのはチャットログが精一杯です。何が話されたかは見えますが、なぜそう答えたかは見えません。解決詳細もなく、信頼度スコアもなく、回答品質を時系列で追跡する方法もありません。問題が起きた時は推測するしかありません。コンプライアンス要件やカスタマーサービスSLAを満たす必要があるチームにとって、推測は選択肢になりません。
すべての会話が実行記録に
JieGouの新しいChat Agent実行詳細ページは、すべてのAIカスタマーインタラクションをファーストクラスの「実行」として扱います — RecipeやWorkflowの実行と同じように。すべての会話が記録され、レビュー可能で、追跡可能です。
Monitor > Activity > Chat Agent Runsからチャットエージェントの実行記録にアクセスできます。各実行はクリック可能で、迅速なレビューのために設計された2カラムレイアウトの専用詳細ページが開きます。
左カラム — 会話スレッド。 チャットバブルでレンダリングされた完全なメッセージ履歴で、顧客とAIエージェント間の完全なやり取りを表示します。各メッセージにはソースバッジが付いており、回答の生成方法を示します — ルールマッチ、埋め込みFAQ、RAG検索、LLM直接生成、または人間へのエスカレーション。
右カラム — 解決詳細。 エージェントが会話をどのように処理したかの構造化サマリー：
- ソース：ルールマッチ、埋め込みFAQ、RAG、LLM、またはエスカレーション
- 信頼度スコア：エージェントの回答に対する確信度
- モデル：使用されたLLMモデル（例：Claude、GPT）
- トークン使用量：消費された入力・出力トークン数
- 所要時間：合計レスポンス時間
- 配信ステータス：メッセージが顧客のチャネルに正常に配信されたかどうか
この分割ビューにより、顧客体験と技術的な詳細を一目で確認できます — 複数の画面を行き来したりログを掘り返す必要はありません。
AIが見たものを正確に確認
最もよくあるデバッグの質問の1つは「なぜエージェントはそう言ったのか？」です。実行詳細ページは折りたたみ可能なコンテキストパネルでこの疑問に答え、AIが各回答を生成した際に利用可能だった情報を正確に明らかにします。
FAQコンテキスト。 エージェントが埋め込みFAQモードで動作している場合、このパネルはプロンプトに注入された完全なFAQドキュメントを表示します。AIがどのQ&Aを利用できたかを正確に確認でき、誤った回答がFAQエントリの不足によるものか、解釈の誤りによるものかを簡単に特定できます。
マッチしたルール。 回答がルールによってトリガーされた場合、このパネルはルールのカテゴリ、マッチパターン、期待される回答を表示します。ルールベースの回答を監査し、ルールが正しく動作しているか確認するために不可欠です。
システムプロンプト。 エージェントの完全なペルソナ指示 — トーン、境界、行動を定義するシステムプロンプト。エージェントが予期しない方法で応答した場合、システムプロンプトの確認が最も早い原因究明の道です。
回答を実際に改善する品質フィードバック
会話スレッド内のすべての回答に、シンプルなサムズアップ/サムズダウンのフィードバック機構とオプションのメモフィールドが含まれています。これは単なる満足度追跡ではなく、AIのパフォーマンスを直接改善するフィードバックループを作ります。
チームの活用方法：
回答品質を時系列で追跡。 すべての会話のフィードバックスコアを集計し、AIエージェントが改善しているか悪化しているかを確認。顧客からのクレームになる前にトレンドを発見。
FAQのギャップを特定。 AIが特定のトピックで一貫して低評価を受けている場合、それはFAQコンテンツの更新が必要というシグナルです。コンテキストパネルで何が足りないかが一目瞭然。
迅速なループクローズ。 悪い回答？FAQコンテキストパネルを開いて、何が足りないかを確認し、FAQドキュメントを更新。次に同じ質問をする顧客はより良い回答を得られます。再トレーニング不要、再デプロイ不要 — 改善は即座に反映されます。
エンタープライズチームに必要な理由
SOC 2などのコンプライアンスフレームワークの下で運営する組織にとって、顧客データに触れるすべてのAI決定は監査可能である必要があります。Chat Agent実行詳細ページは、すべてのインタラクションに対する完全な監査証跡を提供します：
- 追跡可能性：すべての回答がそのソース（ルール、FAQ、RAGドキュメント、またはLLM生成）にタイムスタンプとモデルメタデータ付きでリンク
- ガバナンス整合：実行詳細はJieGouの10層ガバナンスフレームワークと統合され、AIカスタマーインタラクションは他のすべての自動化ワークフローと同じポリシー制御の対象
- SLAモニタリング：所要時間と配信ステータスの追跡により、AIエージェントがレスポンスタイムのコミットメントを満たしているか測定可能
- コンプライアンス証拠：エクスポート可能な実行詳細が監査の証拠として機能し、顧客クエリがどのように処理されたかを正確に提示
このレベルの可視性により、AIカスタマーサービスは「デプロイして祈る」方式から、管理可能で測定可能な運用へと変わります。
はじめましょう
Chat Agent実行詳細は、チャットエージェントが有効なすべてのJieGouアカウントで今すぐ利用可能です。Monitor > Activityに移動し、Chat Agent Runsでフィルタリングして、任意の会話をクリックすると完全な詳細ビューが表示されます。
AIカスタマーサービスプラットフォームを検討中なら、JieGouから始めましょう — 完全な可観測性が初日から組み込まれています。後付けではありません。