LLM 功能怎么上线:提示词版本、评测集和回归门禁
直接回答: 大模型功能上线后出问题,多半不是模型不行,而是提示词被随手改了、输出格式没人校验、换了模型没人回归。我们把提示词当代码管,输出先过 schema 和规则校验再给下游,每个功能配一份评测集,提示词或模型一变就在 CI 里跑回归,分数掉了不合并。
1.0 为什么演示时好用,上线就飘
演示阶段一切都在一个人手里:提示词在他的编辑器里,输入是他挑的,结果好不好他看一眼就知道。上线后这些前提都没了:
- 提示词散在代码字符串、运营后台和某人的笔记里,线上跑的是哪一版说不清。
- 输出是自由文本,下游按“大概是 JSON”去解析,偶尔多一句客套话就崩。
- 供应商更新了模型版本,同一个提示词的行为变了,没人发现。
- 没有固定的测试输入,“改好了还是改坏了”只能靠感觉。
2.0 提示词进版本库
每个提示词一个文件,放在仓库里,和调用它的代码一起评审。文件头写清用途、输入变量、期望的输出结构和适用的模型。不同供应商需要不同写法时,分成两个文件,不要在一个模板里塞条件分支。
运行日志记下提示词文件的哈希和模型标识。出了问题,能对上是哪一版提示词、哪个模型产生的输出。
我们不建议把提示词放进运营后台随时可改。看起来灵活,实际上等于绕过评审和测试直接改生产逻辑。确实需要运营调整的部分(比如语气、示例文案),做成有限的参数,而不是开放整段提示词。
3.0 输出先校验,再给下游
| 层 | 做什么 |
|---|---|
| 结构 | 要求结构化输出,按 JSON Schema 或等价的类型定义校验;不合格的重试一次,再不行走降级 |
| 业务规则 | 确定性代码检查:枚举值、取值范围、必填字段、引用的 ID 是否真实存在 |
| 安全 | 本地关键词和规则层,不依赖模型自觉;命中后走固定的处理路径 |
| 降级 | 超时、限流、校验失败时给用户什么,提前定好,并且有测试 |
能用确定性代码判断的,不交给模型。比如评分规则里写死的扣分项,用规则引擎算,模型只做它擅长的理解、归纳和生成。这样结果可复现,用户问“为什么扣分”也答得上来。
4.0 评测集和回归门禁
每个功能一份评测集:典型输入、边界输入、以前出过事的输入。每条带断言,检查结构是否合规、关键字段是否正确、有没有出现不该出现的内容。主观质量用评分标准加模型评审,人定期抽查评审本身靠不靠谱。
下面这些改动都要在 CI 里跑回归:提示词、输出 schema、模型或模型版本、解析代码。门槛事先写下来,比如断言通过率不低于上一个基线,不达标不合并。模型输出有随机性,同一条输入跑多次看一致性,比只跑一次可信。
真实调用要花钱,也慢,所以分两层。日常单元测试用 mock 供应商返回确定性的数据,整条链路离线就能跑;提示词回归用真实模型,只在相关文件改动时触发。
5.0 供应商和成本
- 网关里每个供应商一个适配器,业务代码不直接引用供应商 SDK。换供应商、加备用供应商都只动适配器。
- 模型版本锁到具体快照,不用 latest 这类别名。升级模型当一次发布来做,先跑回归。
- 按功能记录 token 用量,配额在服务端算,不信客户端上报。
- 需要私有化部署时,推理服务选兼容 OpenAI 接口的(比如 vLLM),开发时用本地 mock 服务顶替,客户端代码不用改。
6.0 交付时给你什么
- 提示词文件及其变更历史。
- 输出 schema、规则校验和降级路径,以及对应的测试。
- 评测集、评分标准、CI 回归配置和当前的基线分数。
- 供应商适配层和用量记录。
给新产品或现有产品加 AI 能力,见 Web、云端与设备管理。想聊聊具体情况,可以用聊聊项目。
参考资料
- promptfoo 文档:https://www.promptfoo.dev/docs/intro/
- vLLM,兼容 OpenAI 接口的服务:https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html
常见问题
评测集要多大才够用?
从手上的真实输入和出过问题的案例开始,覆盖主要场景和已知的失败方式,就已经能拦住大部分回退。之后每出一次线上问题,就把那条输入加进去。评测集跟着问题长,不必一开始求全。
用模型给模型打分靠得住吗?
评分标准写清楚的前提下,它适合做大批量初筛,但它自己也有偏差。我们定期让人抽查评审结果,和人的判断差得多的维度,改用规则判断或人工评审。
想换一个更便宜的模型,要花多少功夫?
取决于评测集在不在。在的话,切换就是改适配器配置、跑一遍回归、对比分数和成本,差在哪里一目了然。没有评测集,第一步就是把它补上。
数据会不会被模型供应商拿去训练?
这取决于供应商的数据条款和你们签的协议,选型时就要核对。数据敏感的场景,可以用私有化部署的推理服务,或者在发出前做脱敏。