AI 검색 답변 속 브랜드 노출 측정

여러 AI 검색 엔진의 답변을 일정에 따라 샘플링하고, 브랜드 언급과 인용을 추출하고, 주간 변화에 통계 검정을 적용해 진단, 안전장치가 걸린 작업 지시, 어트리뷰션과 연결하는 모니터링 플랫폼.

핵심 요약: 같은 프롬프트를 일정에 따라 여덟 개 AI 엔진에 보내고, 브랜드 언급과 인용을 추출하고, 통계 검정으로 변화가 실제인지 판단한 뒤 진단, 안전장치가 걸린 작업 지시, 어트리뷰션, 보고서로 넘기는 플랫폼을 만들었습니다.

개요

사용자는 B2B 수출 기업입니다. AI 검색 엔진이 자사를 언급하고 인용하는지, 조치를 취한 뒤 그것이 달라지는지 알고 싶어 합니다. 한 번의 질의로는 답할 수 없기 때문에, 플랫폼은 반복 샘플링과 불확실성 추정을 중심으로 만들었습니다.

AI 노출 플랫폼 파이프라인: 프롬프트 템플릿을 주간 샘플링 슬롯에 배정하고, 여덟 개 AI 엔진(세 개는 상호 인증 릴레이 경유)에서 샘플링하고, 언급과 인용을 추출해 통계 분석한 뒤, 콘솔과 고객 포털의 진단, 안전장치가 걸린 작업 지시, 어트리뷰션, 보고서로 보낸다.

문제

AI 답변은 실행할 때마다 바뀝니다. 한 번의 질의로는 알 수 있는 것이 거의 없고, 단순한 전후 비교는 잡음을 효과로 착각합니다. 다른 지역에서만 접근할 수 있어서 별도 네트워크 경로가 필요한 엔진도 있습니다.

제약

  • 단일 관측이 아니라 불확실성 추정을 갖춘 반복 샘플링.
  • 세 엔진은 해당 지역 안의 릴레이를 통해서만 접근 가능하며, 상호 TLS로 보호.
  • 콘텐츠 제안은 누군가 실행하기 전에 명시적인 안전장치를 통과해야 함.
  • 로컬 개발은 제공업체 API 키 없이 돌아가야 함.

아키텍처

구성 요소구현
APIFastAPI, 버전이 붙은 하나의 접두사 아래 약 120개 엔드포인트. OpenAPI 스키마가 프런트엔드와 백엔드 사이의 유일한 계약
워커Celery, 13개 큐와 19개 예약 작업. 릴레이 큐는 동시성 1로 고정
도메인 패키지제공업체, 샘플링, 식별, 추출, 통계, 진단, 안전장치, 어트리뷰션, 보고서
데이터pgvector를 쓰는 PostgreSQL, 월별 파티션 47개 테이블. Redis. S3 호환 오브젝트 스토리지
웹Next.js 15 내부 콘솔, 고객 포털, PDF 보고서용 인쇄 라우트
배포멀티 아키텍처 컨테이너 이미지. 린트, 마이그레이션 검사, 테스트, OpenAPI 계약 비교, 인프라 검증을 포함한 CI

핵심 결정

  1. 통계를 독립 모듈로. Wilson 구간, 클러스터 부트스트랩, 이중차분, 변화점 탐지를 별도 모듈에 두어, 보고하는 모든 변화에 전후 숫자만이 아니라 구간이 따라붙게 했습니다.
  2. 기본값은 모의 제공업체 모드. 전체 파이프라인이 키 없이 로컬에서 돌아가므로 테스트와 시연을 반복할 수 있고, 개발 단계에서 제공업체 비용이 들지 않습니다.
  3. 실행 전 안전장치. 작업 지시는 12개 안전장치 검사를 통과해야만 발행되므로, 검토되지 않은 제안이 콘텐츠 팀에 전달되지 않습니다.

근거

  • 위 수치(엔드포인트, 큐, 일정, 테이블, 엔진)는 저장소 코드와 설정에서 가져왔습니다.

한계

고객 성과, 노출 향상, 어트리뷰션 수치는 공개하지 않습니다. 통계 방법은 여기서 설명만 했을 뿐, 고객 데이터로 검증하지 않았습니다.

자주 묻는 질문

한 번 확인하지 않고 왜 반복해서 샘플링하나요?

AI 답변은 실행할 때마다 달라집니다. 신뢰 구간과 함께 반복 샘플링하면 변화가 평소 변동보다 큰지 알 수 있습니다.

어떤 엔진을 다루나요?

여덟 개 엔진입니다. 다섯 개는 해외 API로, 세 개는 지역 릴레이를 거쳐 접근합니다. 제공업체 이름은 배포 환경에 따라 달라서 여기에는 적지 않습니다.

문의를 AI 노출 덕분이라고 귀속할 수 있나요?

플랫폼에는 문의 양식, 웹 분석, CRM, 출처 미상 트래픽을 위한 어트리뷰션 커넥터가 있습니다. 이 사례는 어트리뷰션 결과에 대해 어떤 주장도 하지 않습니다.