LLM 功能怎么上线:提示词版本、评测集和回归门禁

直接回答: 大模型功能上线后出问题,多半不是模型不行,而是提示词被随手改了、输出格式没人校验、换了模型没人回归。我们把提示词当代码管,输出先过 schema 和规则校验再给下游,每个功能配一份评测集,提示词或模型一变就在 CI 里跑回归,分数掉了不合并。

LLM 功能交付链路图。上半部分是运行时:版本库里的提示词文件经模型网关和供应商适配器调用模型,输出经 schema 与规则校验后返回结果,失败时重试一次再降级。下半部分是变更路径:改提示词、模型或 schema 后跑评测集和 CI 回归,基线不降才合并,合并的版本才上线。
图 1 运行时链路与变更路径。上线的只有合并过、跑过回归的那一版提示词。

1.0 为什么演示时好用,上线就飘

演示阶段一切都在一个人手里:提示词在他的编辑器里,输入是他挑的,结果好不好他看一眼就知道。上线后这些前提都没了:

  • 提示词散在代码字符串、运营后台和某人的笔记里,线上跑的是哪一版说不清。
  • 输出是自由文本,下游按“大概是 JSON”去解析,偶尔多一句客套话就崩。
  • 供应商更新了模型版本,同一个提示词的行为变了,没人发现。
  • 没有固定的测试输入,“改好了还是改坏了”只能靠感觉。

2.0 提示词进版本库

每个提示词一个文件,放在仓库里,和调用它的代码一起评审。文件头写清用途、输入变量、期望的输出结构和适用的模型。不同供应商需要不同写法时,分成两个文件,不要在一个模板里塞条件分支。

运行日志记下提示词文件的哈希和模型标识。出了问题,能对上是哪一版提示词、哪个模型产生的输出。

我们不建议把提示词放进运营后台随时可改。看起来灵活,实际上等于绕过评审和测试直接改生产逻辑。确实需要运营调整的部分(比如语气、示例文案),做成有限的参数,而不是开放整段提示词。

3.0 输出先校验,再给下游

层做什么
结构要求结构化输出,按 JSON Schema 或等价的类型定义校验;不合格的重试一次,再不行走降级
业务规则确定性代码检查:枚举值、取值范围、必填字段、引用的 ID 是否真实存在
安全本地关键词和规则层,不依赖模型自觉;命中后走固定的处理路径
降级超时、限流、校验失败时给用户什么,提前定好,并且有测试

能用确定性代码判断的,不交给模型。比如评分规则里写死的扣分项,用规则引擎算,模型只做它擅长的理解、归纳和生成。这样结果可复现,用户问“为什么扣分”也答得上来。

4.0 评测集和回归门禁

每个功能一份评测集:典型输入、边界输入、以前出过事的输入。每条带断言,检查结构是否合规、关键字段是否正确、有没有出现不该出现的内容。主观质量用评分标准加模型评审,人定期抽查评审本身靠不靠谱。

下面这些改动都要在 CI 里跑回归:提示词、输出 schema、模型或模型版本、解析代码。门槛事先写下来,比如断言通过率不低于上一个基线,不达标不合并。模型输出有随机性,同一条输入跑多次看一致性,比只跑一次可信。

真实调用要花钱,也慢,所以分两层。日常单元测试用 mock 供应商返回确定性的数据,整条链路离线就能跑;提示词回归用真实模型,只在相关文件改动时触发。

5.0 供应商和成本

  • 网关里每个供应商一个适配器,业务代码不直接引用供应商 SDK。换供应商、加备用供应商都只动适配器。
  • 模型版本锁到具体快照,不用 latest 这类别名。升级模型当一次发布来做,先跑回归。
  • 按功能记录 token 用量,配额在服务端算,不信客户端上报。
  • 需要私有化部署时,推理服务选兼容 OpenAI 接口的(比如 vLLM),开发时用本地 mock 服务顶替,客户端代码不用改。

6.0 交付时给你什么

  • 提示词文件及其变更历史。
  • 输出 schema、规则校验和降级路径,以及对应的测试。
  • 评测集、评分标准、CI 回归配置和当前的基线分数。
  • 供应商适配层和用量记录。

给新产品或现有产品加 AI 能力,见 Web、云端与设备管理。想聊聊具体情况,可以用聊聊项目。

参考资料

常见问题

评测集要多大才够用?

从手上的真实输入和出过问题的案例开始,覆盖主要场景和已知的失败方式,就已经能拦住大部分回退。之后每出一次线上问题,就把那条输入加进去。评测集跟着问题长,不必一开始求全。

用模型给模型打分靠得住吗?

评分标准写清楚的前提下,它适合做大批量初筛,但它自己也有偏差。我们定期让人抽查评审结果,和人的判断差得多的维度,改用规则判断或人工评审。

想换一个更便宜的模型,要花多少功夫?

取决于评测集在不在。在的话,切换就是改适配器配置、跑一遍回归、对比分数和成本,差在哪里一目了然。没有评测集,第一步就是把它补上。

数据会不会被模型供应商拿去训练?

这取决于供应商的数据条款和你们签的协议,选型时就要核对。数据敏感的场景,可以用私有化部署的推理服务,或者在发出前做脱敏。