LLM 기능 출시하기: 프롬프트 버전 관리, 평가 세트, 회귀 게이트
핵심 요약: LLM 기능이 운영 환경에서 이상하게 동작할 때 모델 자체가 원인인 경우는 드뭅니다. 대개 누군가 프롬프트를 그 자리에서 고쳤거나, 출력 형식을 아무도 검증하지 않았거나, 모델이 바뀌었는데 아무도 다시 테스트하지 않은 경우입니다. 우리는 프롬프트를 코드처럼 관리하고, 출력은 하위 단계로 넘기기 전에 스키마와 업무 규칙으로 검증하며, 기능마다 평가 세트를 두고, 프롬프트나 모델이 바뀔 때마다 CI에서 회귀 테스트를 돌립니다. 점수가 떨어지면 병합하지 않습니다.
1.0 데모에서는 잘 되는데 운영에서는 흔들리는 이유
데모 단계에서는 모든 것이 만든 사람 손안에 있습니다. 프롬프트는 그 사람의 편집기에 있고, 입력은 그 사람이 골랐고, 답이 좋은지는 그 사람이 보면 압니다. 운영에서는 이 전제가 모두 사라집니다.
- 프롬프트가 코드 속 문자열, 관리 화면, 개인 메모에 흩어져 있어 어떤 버전이 운영 중인지 아무도 설명하지 못한다.
- 출력은 자유 텍스트이고, 하위 코드는 이를 “아마도 JSON”으로 파싱한다. 모델이 인사말 한 줄만 붙여도 깨진다.
- 공급자가 모델 버전을 바꾸면 같은 프롬프트의 동작이 달라지지만 아무도 알아채지 못한다.
- 고정된 테스트 입력이 없어서 “나아졌는지 나빠졌는지”가 감각의 문제가 된다.
2.0 프롬프트는 저장소에 둔다
프롬프트 하나당 파일 하나로 저장소에 두고, 그것을 호출하는 코드와 함께 리뷰합니다. 파일 머리에는 용도, 입력 변수, 기대하는 출력 구조, 대상 모델을 적습니다. 공급자마다 표현을 달리해야 한다면 하나의 템플릿에 조건 분기를 넣지 말고 파일을 나눕니다.
실행 로그에는 프롬프트 파일의 해시와 모델 식별자를 기록합니다. 문제가 생겼을 때 어떤 버전의 프롬프트와 어떤 모델이 낸 출력인지 추적할 수 있습니다.
프롬프트를 관리 화면에서 언제든 수정할 수 있게 하는 것은 권하지 않습니다. 유연해 보이지만 리뷰와 테스트를 건너뛰고 운영 로직을 직접 바꾸는 것과 같습니다. 운영 측에서 정말로 조정이 필요한 부분(말투, 예시 문구 등)은 범위가 정해진 파라미터로 열어 주고, 프롬프트 전체는 열지 않습니다.
3.0 출력은 쓰기 전에 검증한다
| 계층 | 하는 일 |
|---|---|
| 구조 | 구조화된 출력을 요구하고 JSON Schema나 동등한 타입 정의로 검증한다. 실패하면 한 번 재시도하고, 그래도 안 되면 대체 경로로 |
| 업무 규칙 | 결정적인 코드로 열거값, 값 범위, 필수 항목, 참조 ID가 실제로 존재하는지 확인한다 |
| 안전 | 모델의 자제에 기대지 않는 로컬 키워드·규칙 계층. 걸리면 정해진 처리 경로로 간다 |
| 대체 경로 | 타임아웃, 속도 제한, 검증 실패 시 사용자에게 무엇을 줄지 미리 정하고 테스트로 확인한다 |
결정적인 코드로 판단할 수 있는 것은 모델에 맡기지 않습니다. 채점 기준에 고정된 감점 항목이 있다면 규칙 엔진이 계산하고, 모델은 이해·요약·생성처럼 잘하는 일만 맡습니다. 결과가 재현 가능해지고, “왜 감점됐나요?”라는 질문에도 답할 수 있습니다.
4.0 평가 세트와 회귀 게이트
기능마다 평가 세트를 둡니다. 일반적인 입력, 경계 입력, 예전에 문제를 일으킨 입력입니다. 각 항목에는 구조가 맞는지, 핵심 필드가 맞는지, 나오면 안 되는 내용이 있는지에 대한 단언을 붙입니다. 주관적인 품질은 채점 기준에 따라 모델이 평가하고, 그 평가 자체가 믿을 만한지는 사람이 정기적으로 확인합니다.
다음 변경에는 CI에서 회귀 테스트를 돌립니다. 프롬프트, 출력 스키마, 모델이나 모델 버전, 파싱 코드입니다. 기준은 미리 적어 둡니다. 예를 들어 단언 통과율이 직전 기준선보다 낮아지지 않을 것. 기준에 못 미치면 병합하지 않습니다. 모델 출력에는 무작위성이 있으므로 같은 입력을 여러 번 돌려 일관성을 보는 편이 한 번만 돌리는 것보다 믿을 만합니다.
실제 호출에는 돈과 시간이 들기 때문에 두 층으로 나눕니다. 평소 단위 테스트는 결정적인 데이터를 돌려주는 목 공급자를 써서 전체 파이프라인을 오프라인으로 돌립니다. 프롬프트 회귀는 실제 모델을 쓰고, 프롬프트 관련 파일이 바뀔 때만 실행합니다.
5.0 공급자와 비용
- 게이트웨이에는 공급자마다 어댑터를 두고, 업무 코드는 공급자 SDK를 직접 참조하지 않습니다. 공급자를 바꾸거나 예비 공급자를 추가해도 어댑터만 건드립니다.
- 모델은 latest 같은 별칭이 아니라 특정 스냅숏으로 고정합니다. 모델 업그레이드는 하나의 릴리스로 다루고 먼저 회귀를 통과시킵니다.
- 토큰 사용량을 기능별로 기록하고, 할당량은 서버에서 계산합니다. 클라이언트가 보고하는 숫자는 믿지 않습니다.
- 자체 운영이 필요하면 OpenAI 호환 API를 제공하는 추론 서버(예: vLLM)를 고르고, 개발 중에는 로컬 목 서버로 대신해 클라이언트 코드를 바꾸지 않습니다.
6.0 전달하는 것
- 프롬프트 파일과 변경 이력.
- 출력 스키마, 규칙 검증, 대체 경로와 각각의 테스트.
- 평가 세트, 채점 기준, CI 회귀 설정, 현재 기준선 점수.
- 공급자 어댑터 계층과 사용량 기록.
새 제품이나 기존 제품에 AI 기능을 더하려면 웹·클라우드·디바이스 관리를 참고하세요. 구체적인 상황은 프로젝트 상담으로 알려 주세요.
참고 자료
- promptfoo 문서: https://www.promptfoo.dev/docs/intro/
- vLLM, OpenAI 호환 서버: https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html
자주 묻는 질문
평가 세트는 얼마나 커야 하나요?
이미 가지고 있는 실제 입력과 예전에 문제가 됐던 사례부터 시작하세요. 주요 시나리오와 알려진 실패 유형만 다뤄도 회귀의 대부분을 잡을 수 있습니다. 그 뒤로는 운영에서 문제가 생길 때마다 그 입력을 추가합니다. 처음부터 완벽하게 만들기보다 문제와 함께 키워 가는 편이 현실적입니다.
모델이 다른 모델을 채점하게 해도 믿을 만한가요?
채점 기준이 분명하다면 대량의 1차 선별에는 적합하지만, 채점 모델에도 나름의 편향이 있습니다. 우리는 사람이 정기적으로 채점 결과를 표본 검토하고, 사람의 판단과 계속 어긋나는 항목은 규칙 기반 판정이나 사람의 리뷰로 옮깁니다.
더 저렴한 모델로 바꾸려면 얼마나 손이 가나요?
평가 세트가 있느냐에 달려 있습니다. 있다면 어댑터 설정을 바꾸고 회귀를 돌린 뒤 점수와 비용을 비교하면 되고, 어디서 차이가 나는지 바로 보입니다. 없다면 평가 세트를 만드는 것이 첫 단계입니다.
모델 공급자가 우리 데이터를 학습에 쓰지 않을까요?
공급자의 데이터 이용 약관과 체결하는 계약에 따라 다르며, 공급자를 고를 때 확인해야 할 항목입니다. 민감한 데이터라면 자체 운영 추론 서버를 쓰거나 전송 전에 마스킹하는 것이 일반적입니다.