AI検索の回答におけるブランド露出の計測

複数のAI検索エンジンの回答を定期的にサンプリングし、ブランドへの言及と引用を抽出し、週ごとの変化に統計的検定をかけ、診断、ガード付きの作業指示、アトリビューションにつなげる監視プラットフォーム。

要点: 同じプロンプトを8つのAIエンジンに定期的に投げ、ブランドへの言及と引用を抽出し、統計的検定で変化が本物かを判断したうえで、診断、ガード付きの作業指示、アトリビューション、レポートに渡すプラットフォームを構築しました。

概要

利用者はB2Bの輸出企業です。AI検索エンジンが自社に言及し引用しているか、施策の後にそれが変わったかを知りたいと考えています。1回の検索ではこれに答えられないため、プラットフォームは繰り返しのサンプリングと不確かさの推定を軸に作られています。

AI露出プラットフォームのパイプライン。プロンプトテンプレートを週次のサンプリング枠に割り当て、8つのAIエンジン(うち3つは相互認証のリレー経由)からサンプリングし、言及と引用を抽出して統計解析し、コンソールと顧客ポータルの診断、ガード付き作業指示、アトリビューション、レポートに渡す。

課題

AIの回答は実行のたびに変わります。1回の検索ではほとんど何も分からず、単純な前後比較ではノイズを効果と取り違えます。さらに、別の地域からしか到達できないため、別のネットワーク経路が必要なエンジンもあります。

制約

  • 単発の観測ではなく、不確かさの推定を伴う繰り返しサンプリング。
  • 3つのエンジンは地域内のリレー経由でしか到達できず、相互TLSで保護する。
  • コンテンツの提案は、誰かが行動に移す前に明示的なガードレールを通過しなければならない。
  • ローカル開発はプロバイダのAPIキーなしで動くこと。

アーキテクチャ

部分実装
APIFastAPI。一つのバージョン付きプレフィックスの下に約120のエンドポイント。OpenAPIスキーマがフロントエンドとバックエンドの唯一の契約
ワーカーCelery。13のキューと19のスケジュールジョブ。リレー用キューは並行数1で固定
ドメインパッケージプロバイダ、サンプリング、名寄せ、抽出、統計、診断、ガードレール、アトリビューション、レポート
データpgvector付きPostgreSQL、月次パーティションの47テーブル。Redis。S3互換オブジェクトストレージ
WebNext.js 15の社内コンソール、顧客ポータル、PDFレポート用の印刷ルート
デリバリーマルチアーキテクチャのコンテナイメージ。lint、マイグレーション確認、テスト、OpenAPI契約の差分、インフラ検証を含むCI

主な判断

  1. 統計を独立したモジュールに。 Wilson区間、クラスタブートストラップ、差分の差分法、変化点検出を専用モジュールに置き、報告する変化にはすべて、前後の数値だけでなく区間が付くようにしました。
  2. 既定はモックプロバイダモード。 パイプライン全体がキーなしでローカルで動くため、テストとデモが再現でき、開発中にプロバイダ費用がかかりません。
  3. アクションにガードレール。 作業指示は12のガードレールチェックを通過して初めて発行されます。レビューされていない提案がコンテンツチームに届くことはありません。

根拠

  • 上記の数(エンドポイント、キュー、スケジュール、テーブル、エンジン)は、リポジトリのコードと設定から取ったものです。

限界

顧客の成果、露出の向上、アトリビューションの数値は公開していません。統計手法はここで説明しているだけで、顧客データで検証したものではありません。

よくあるご質問

1回確認するのではなく、なぜ繰り返しサンプリングするのですか?

AIの回答は実行ごとに変わります。信頼区間付きで繰り返しサンプリングすれば、変化が通常のばらつきより大きいかどうかが分かります。

どのエンジンを対象にしていますか?

8つのエンジンです。5つは海外のAPI経由、3つは地域内のリレー経由です。プロバイダ名はデプロイ先によって異なるため、ここでは挙げません。

問い合わせをAIでの露出に結び付けられますか?

プラットフォームには、問い合わせフォーム、Web解析、CRM、流入元不明のトラフィック向けのアトリビューション連携があります。この事例では、アトリビューションの結果については何も主張しません。