为 B2B 出口企业监测 AI 搜索答案中的品牌可见度

一个监测平台:定期从多个 AI 搜索引擎采样答案,提取品牌提及与引用,用统计检验判断周与周之间的变化是否显著,并把结果接入诊断、带护栏的工单和归因。

直接回答: 我们做了一个平台:按计划在八个 AI 引擎上反复采样同一批提示词,提取品牌提及和引用,先用统计检验判断变化是否真实,再把结果交给诊断、带护栏的工单、归因和报告。

概要

用户是 B2B 出口企业,他们想知道 AI 搜索引擎是否提及和引用自己,以及采取行动后有没有变化。单次查询回答不了这个问题,所以平台围绕重复采样和不确定性估计来设计。

AI 可见度平台流水线:提示词模板规划为每周采样槽位,在八个 AI 引擎上采样(其中三个经双向认证中转),抽取为提及与引用后做统计分析,再进入诊断、带护栏的工单、归因,并在控制台与客户门户中生成报告。

问题

AI 的回答每次都可能不同。单次查询说明不了什么,简单的前后对比也容易把噪声当成效果。另外,有些引擎只能从特定地区访问,需要单独的网络路径。

约束

  • 必须重复采样并给出不确定性估计,不能依赖单次观察。
  • 三个引擎只能经过所在地区的中转访问,链路用双向 TLS 保护。
  • 内容建议必须先通过明确的护栏检查,才能交给人执行。
  • 本地开发不需要任何模型服务密钥。

架构

部分实现
APIFastAPI,约 120 个端点,统一使用一个版本化前缀;OpenAPI 是前后端之间唯一的契约
任务Celery,13 个队列、19 个定时计划;中转队列并发固定为 1
领域包引擎适配、采样、解析、抽取、统计、诊断、护栏、归因、报告
数据PostgreSQL(pgvector),47 张表按月分区;Redis;S3 兼容对象存储
WebNext.js 15 内部控制台、客户门户,以及生成 PDF 报告的打印路由
交付多架构容器镜像;CI 包括 lint、迁移检查、测试、OpenAPI 契约 diff 和基础设施校验

关键决策

  1. 统计单独成模块。 Wilson 区间、cluster bootstrap、双重差分和变点检测放在独立模块里,报告中的每个变化都带区间,而不是一个光秃秃的前后差值。
  2. 默认用 mock 引擎。 整条流水线不需要密钥就能在本地跑,测试和演示可以复现,开发阶段也不产生调用费用。
  3. 行动先过护栏。 工单要通过护栏检查才下发,未经审核的建议到不了内容团队手里。

证据

  • 上文的数量(端点、队列、计划、表、引擎)来自仓库代码和配置。

边界

不公布任何客户效果、可见度提升或归因数据。文中只介绍统计方法,没有用客户数据验证过。

常见问题

为什么要重复采样,而不是查一次?

AI 回答在不同次运行之间会变化。重复采样并给出置信区间,才能判断某个变化是否超过正常波动。

覆盖哪些引擎?

共八个:五个通过海外 API 访问,三个经地区中转访问。具体服务商取决于部署,这里不列出。

能把询盘归因到 AI 可见度吗?

平台提供询盘表单、网站分析、CRM 和暗流量的归因连接器;本案例不对归因结果做任何声明。