채널톡이 글로벌 상담 Agent를 GPT-5.6 Luna로 갈아탄 이유

또 새 모델이 나왔습니다

새 모델은 계속 나옵니다. 그때마다 프로덕션에서 AI 에이전트를 운영하는 팀은 같은 질문 앞에 섭니다. "갈아탈 것인가, 말 것인가. 그걸 무슨 근거로 결정할 것인가."

저희는 지금 글로벌 상담 AI Agent인 ALF의 메인 모델로 GPT-5.6 Luna를 얹는 중입니다. 그런데 가성비 모델인 Luna 가 상담 에이전트에 적절할까요? 이 글에서는 GPT-5.6 Luna 를 고르게 된 과정을 소개하려고 합니다.

잘 돌아가는 프로덕션의 모델을 왜 건드리나

2026년 7월 31일, OpenAI가 GPT-5.6 Luna의 가격을 80% 인하했습니다. 공식 단가 기준 input $0.20 / output $1.20 (per 1M tokens). 저희가 쓰던 Sonnet 계열의 대략 13분의 1 수준이었습니다.

하지만 가격은 검토를 시작하게 만들 뿐 싸다고 바로 갈아탈 수는 없습니다. AI 상담은 모델이 한 번 잘못 답하면 그 자리에서 고객이 떠나거나 상담원이 수습해야 하고, 비용을 아끼려다 상담 품질을 잃을 수 있으니까요. 그래서 가격 인하 소식을 듣고 가장 먼저 벤치마크부터 돌렸습니다.

저희에겐 그동안 만들어오던 자체 벤치마크가 있었습니다. 저희 워크로드에 맞춰 직접 만들어온 상담 기능을 대표하는 케이스들과 과거에 실제로 문제가 됐던 상황들로 엔진과 모델을 평가해온 자산이죠. 다만 메인 모델 교체만큼 큰 결정을 맡기기에는 대표성이 아직 부족했습니다. 지금도 계속 보강하고 있고요. 그래서 이번 전환은 모델을 갈아 끼우는 일인 동시에, 그 결정을 위해 벤치마크를 끌어올리는 일이기도 했습니다.

공개 리더보드로는 결정할 수 없었다

새 모델이 나올 때마다 공개 벤치마크 점수가 쏟아집니다. 하지만 그 점수를 그대로 믿고 적용하기는 어려웠습니다.

ALF 는 채널톡의 글로벌 상담 AI Agent입니다. 실제 고객 문의를 받아 지식 문서를 근거로 답변하고, 주문 취소를 직접하고, 필요하면 상담원에게 연결하며 상담을 해결합니다. 이런 ALF에는 최소한 다음과 같은 요구조건이 붙습니다.

• 고객과 멀티턴으로 대화해야 합니다.

• 가져온 지식 문서를 바탕으로 근거 있는 답변을 만들고 할루시네이션을 최소화해야 합니다.

• 필요하면 배송 조회 같은 순서가 있는 태스크들을 올바른 순서로 실행해야 합니다.

• 그 과정에서 내부 실행 과정이나 내부 정보를 고객에게 노출하면 안 됩니다.

• 시스템 프롬프트 와 규칙(고객사가 정의한 정책)을 준수해야 합니다.

수학 문제 풀이나 코딩 점수가 여기서의 성능을 보장하지 않습니다. τ-bench(tau-bench) 같은 고객 상담 계열 공개 벤치마크를 참고해도, 실제로 붙여보면 결과가 다르거나 문제가 발생하기도 했습니다. 결국 실제 고객사 채널의 상담 분포와 우리 엔진, 프롬프트, 툴 오케스트레이션 위에서 측정해야 의미가 있다는 결론이었습니다.

우리 벤치마크는 무엇을 측정하는가

우리 벤치마크가 답해야 하는 질문은 하나입니다. "이 모델을 우리 상담 에이전트에서 사용해도 되는가?" 이를 위해 아래 지표들을 항상 함께 측정합니다.

1. 상담 에이전트로서의 능력 지표 5가지

상담 에이전트에서 가져야 하는 능력을 다섯 가지 지표로 나눠 채점합니다. 범용 '지능'이 아니라, 상담 에이전트로서 가져야 하는 능력을 평가하는 지표인거죠. 각 지표는 pass^k(각 케이스를 k회 반복)로 계산합니다.

• 정보 노출

  • 고객에게 보여도 되는 최종 답변과, 엔진 안에서만 남아야 할 정보를 구분하는 지표.

  • Tool call, 시스템 프롬프트, 태그 부착 같은 내부 동작이 고객 응답에 노출되지 않는지.

• 단계별 동작

  • 작업을 정해진 순서와 전제조건에 맞게 수행하는지.

  • 필요한 조회를 건너뛰거나, 순서를 뒤집거나, 확인 없이 세션을 조용히 끝내버리지 않는지.

  • 중간단계 누락과 잘못된 종료를 하지는 않는지.

• 일관성

  • 동일한 시나리오를 k번 돌렸을 때 판정이 흔들리지 않는지.

• 지시 준수

  • 시스템 프롬프트와 고객사에서 정의한 규칙과 정책을 지키는지.

• 액션 충실성

  • 실행하겠다고 말하고, 실행하지 않은 케이스는 없는지.

  • 실제로 올바른 tool 을 정확한 인자로 호출했는지.

  • 실행하지 않았는데, 실행했다고 하지는 않는지.

2. '상담 대표 케이스'와 '회귀 방지 케이스'의 통과율

능력 지표가 '능력별 프로파일'이라면, 두 개의 Case Set 은 서로 다른 목적의 통과율을 봅니다.

• 상담 대표 케이스 (Evaluation set) 통과율: 상담 기능에 대표성을 갖도록 구성한 케이스 셋입니다. 장기적으로 이 점수가 오르면 실제 해결률이 오른다고 믿을 수 있는 해결률의 프록시를 지향합니다.

• 회귀 방지 케이스 (Regression set) 통과율: 과거에 실제로 겪었던 이슈들을 재현해서 뽑아낸 회귀 방지 목록입니다. SW의 회귀 테스트(regression test)와 같은 개념으로, "한 번 잡은 버그가 다시 살아나지 않는가?"를 봅니다. 여기서 밀리는 건 곧 과거 사고의 재발이라 특히 민감하게 봅니다.

3. 비용과 레이턴시

케이스당 비용과 평균 응답 시간을 모든 실행에 함께 기록합니다. 상담 모델의 성능은 품질 하나로 정해지는 게 아니라 품질, 비용, 속도를 서로 맞바꾸는 트레이드오프이기 때문입니다. 특히 응답 속도는 실시간 채팅 상담에서 그 자체로 유저 경험을 좌우합니다.

측정의 공통 규칙

• 실제 엔진 위에서 실행합니다. 모델 API에 프롬프트를 던져보는 게 아니라, 실제 ALF 엔진 위에서 지식 검색과 툴 콜(tool call), 태스크(에이전트의 흐름을 정의하는 agentic workflow) 실행까지 그대로 수행하며 측정합니다. 우리 엔진에 이 모델을 얹었을 때 잘하는지를 보는 거니까요.

• 판정은 pass^k입니다. 각 케이스를 k회 반복 실행합니다. LLM은 확률적이라 한 번의 성공은 운일 수 있습니다.

• 같은 조건에서 잰 결과만 비교합니다. 해당 시점에 엔진이 가지는 정보들, 이전 대화와 툴콜 등의 이전 상태를 모두 동일하게 재현된 상황에서, 모델/judge/reasoning 설정, 반복 횟수를 모든 실행 결과에 태깅하여 비교합니다.

후보를 어떻게 걸러냈나

후보 모델들을 동일 벤치마크(전 케이스 × k회 반복, 동일 채점 조건)로 먼저 측정했습니다. 이 글에는 저희가 비교한 모델과 effort 조합 중 일부만 발췌했습니다.

지표는 실제로 걸러냈던 순서대로 살펴보겠습니다. 종합 결과를 한 눈에 바로 보고 싶으신 분은 넘어가셔도 됩니다.

1. 다섯 개의 능력 지표

각 모델이 상담 에이전트로서 각 능력 지표에서 어떤 점수를 받는지부터 살펴보겠습니다.

다섯 지표는 같은 종류의 정보를 주지 않습니다. 정보 노출은 최상위와 최하위의 격차가 가장 큰데 상위권은 대부분 만점이라, 통과하지 못하면 후보에서 빠지는 자격 요건에 가깝습니다. MiniMax M3-none (25.0) 과 DeepSeek V4 Pro-high (41.7), GPT-5.6 Luna-none (58.3) 은 여기서 다른 지표를 볼 필요 없이 걸러집니다.

반대로 액션 충실성은 1위 모델조차 50.0 이고 모델 간 격차도 가장 좁습니다. 모델만으로 해결되는 지표가 아니라, 우리 엔진 설계와 프롬프트, 케이스 난이도로 풀어야 할 숙제입니다. 여기서는 현재 사용중인 모델인 Claude Sonnet 4.6 기준으로 이것보다 높은 모델들을 통과시키면 됩니다.

이어서, Claude Opus 5는 단계별 동작 71.9로 2위와 12점 넘게 벌어지고, 현 메인 Sonnet 4.6은 지시 준수 41.7과 액션 충실성 37.0으로 상위권 안에서 가장 아래쪽입니다. 그 후속 버전인 Claude Sonnet 5는 이 두 지표에서는 4.6을 앞서지만(50.0 / 42.6), 정보 노출(83.3)과 단계별 동작(45.3), 일관성(80.8) 세 지표에서는 오히려 뒤집니다. 편차가 가장 큰 건 Claude Haiku 4.5로, 정보 노출은 87.5인데 지시 준수가 8.3까지 무너집니다.

2. 대표 케이스 통과율

다음은 대표 케이스 셋에서의 통과율입니다. 해결률의 프록시라 "이 모델이 실제 문의를 얼마나 해결하나"에 가장 가까운 단일 지표입니다.

GPT-5.6 Sol(53.5)과 Luna(xhigh 53.5, high 51.8), Claude Opus 5(52.6)가 상위 군집을 이룹니다. 현 메인 Sonnet 4.6은 40.4로 여기서 10점 넘게 벌어집니다. 눈에 띄는 것은 가성비 모델인 GPT-5.6 Luna 가 thinking effort 에 따라서 최상위 모델들(low effort 이지만)에 거의 근접하다는 것입니다.

다만 상위 네 개는 서로 1~2점 차이라 표본 오차 안입니다. 이 지표 하나로는 결정이 안 됩니다. 아래쪽은 분명합니다. 위 5가지 지표에서 이미 흔들렸던 Haiku 4.5(22.8), MiniMax M3(26.3), DeepSeek V4 Flash(27.2)는 여기서도 회복하지 못합니다.

3. 재발 방지 케이스 통과율

같은 모델이라도 "일반적인 문제를 잘 푸는 것"과 "우리 지시를 잘 따르고, 과거 사고를 다시 안 내는 것"은 다릅니다. 재발 방지 셋의 통과율을 따로 봅니다.

Claude Opus 5가 83.1로 최상위이고 Sol과 Terra가 74.0, Luna(high)가 71.4로 뒤를 잇습니다. 눈에 띄는 건 Claude Sonnet 5입니다. 대표 케이스에서는 중위권(43.0)이었는데 재발 방지에서 58.4로 크게 밀립니다. 앞서 정보 노출이 83.3으로 상위권에서 떨어져 있던 것이 여기서 그대로 드러난 셈이죠. 이런 이유로 대표 케이스와 재발 방지 케이스 통과율을 따로 봅니다.

현 메인 모델과의 비교에서는 앞 단계와 다른 그림이 나옵니다. Sonnet 4.6은 70.1로 이 지표에서만큼은 상위권에 가깝습니다. 그래서 교체 후보의 조건은 대표 케이스 통과율을 올리면서 이 수준을 떨어뜨리지 않느냐가 됩니다. 이 조건은 후보를 하나 더 걸러냅니다. 대표 케이스에서 공동 1위였던 Luna(xhigh)가 재발 방지 67.5로 현 메인보다 낮습니다.

4. 비용과 응답 속도

앞 세 단계에서 상위권을 이뤘던 모델들이 여기서 마저 정리됩니다. 실시간 채팅 상담이 견딜 수 있는 응답 시간은 수 초대인데, 대표 케이스 1위였던 Sol은 18.1초입니다. 속도를 통과한 모델들은 이번엔 세션 단가에서 밀립니다. 재발 방지 최상위였던 Opus 5는 이 벤치마크를 한 번 도는 데 최저가 후보의 20배가 넘게 듭니다.

현 메인 Sonnet 4.6도 이 기준에서는 비싼 쪽입니다. 애초에 이번 검토를 시작하게 만든 게 그 지점이었죠. 네 단계를 모두 통과한 건 GPT-5.6 Luna와 Terra 두 계열뿐입니다.

한눈에 보는 전체 결과와 결론

통과율 1~3위인 Sol과 Luna(xhigh), Opus 5가 각각 응답 속도, 재발 방지, 비용 때문에 후보에서 빠졌습니다.

남은 Luna(high)와 Terra는 품질만으로는 결정을 할 수 없습니다. Terra는 4.7초로 가장 빠르고 재발 방지도 74.0으로 더 높습니다. 통과율 49.1 대 51.8은 표본 오차 안이고요. 같은 벤치마크를 도는 데 Terra는 Luna의 8.4배가 듭니다. 결국 마지막 결정을 내린 건 비용이었습니다.

effort도 중요한 축이었습니다. Luna 하나만 봐도 통과율이 33.3(none)에서 53.5(xhigh)까지 20점 넘게 벌어지는데, 웬만한 모델 간 차이보다 큰 폭입니다. 그래서 모델을 고른 기준을 effort에도 그대로 적용했습니다. 통과율 차이가 표본 오차를 벗어나면 그 자체로 탈락, 오차 안이면 재발 방지와 속도, 비용으로 결정합니다. xhigh는 뒤쪽인데 재발 방지가 67.5로 현 메인보다 낮아, 메인 응답에는 Luna high 로 확정했습니다.

반대로 레이턴시와 비용에 민감하고, 성능 차이가 크지 않은 RAG 에이전트는 기존에도 가성비 모델을 사용하고 있었고, 이번 비교 결과 Luna 의 effort를 더 낮춰 적용했습니다. 같은 모델이라도 용도별로 effort를 다르게 가져가는 것이 모델 전환의 실질적인 작업이 됐습니다.

현 메인 Sonnet 4.6과 나란히 놓으면 통과율은 40.4에서 51.8로 오르고, 재발 방지는 70.1에서 71.4로 유지되며, 실행 비용은 약 1/13로 내려갑니다. "품질을 올리면서 싸게" 라는, 흔치 않은 교체 명분입니다.

Luna가 Sonnet을 모든 케이스에서 이기는 건 아닙니다. 벤치마크 안에는 Sonnet이 이기는 역전 케이스들이 있습니다. 우리가 확인한 건 "모든 케이스에서 우월하다"가 아니라, 우리 워크로드 분포 전체에서, 품질, 비용, 속도를 함께 놓고 봤을 때 종합 우위라는 것입니다.

공개 벤치마크가 말해주지 않는 것: GLM-5.2 사례

τ²-bench는 고객 상담 에이전트 분야에서 가장 유명한 공개 벤치마크입니다. 에이전트가 시뮬레이션된 고객과 멀티턴으로 대화하며 정책을 지키고 툴을 실행하는, 우리 워크로드와 구조적으로 가장 가까운 벤치마크죠. 그 τ²-bench에서 GLM-5.2는 최상위권입니다. 공개 지표만 보면 차기 모델 후보 중 하나입니다.

우리 측정은 달랐습니다. GLM이 못하는 모델이라서가 아닙니다. 통과율 45.6은 Claude Sonnet 5(43.0)보다 높고, 공개 벤치마크의 명성이 거품은 아니었습니다. 아래는 reasoning effort를 네 단계로 바꿔가며 측정한 결과입니다.

가장 빠른 none(5.8초)은 통과율이 36.0까지 떨어지고, 점수가 가장 높은 max는 평균 17.1초로 실시간 상담 범위를 벗어납니다. 어느 effort로도 Luna보다 나은 지점은 없었습니다. 공개 벤치마크가 잰 점수는 상담을 기다리는 고객의 시간을 계산에 넣지 않습니다.

그리고 결정적으로, 우리가 최종 선택한 Luna는 이 리더보드에 아예 존재하지 않습니다. GPT-5.6은 상위 티어(Sol, Terra)만 등재돼 있고 가성비 티어인 Luna는 어디에도 없죠. 직접 재지 않았다면 후보 목록에 오르지도 못했을 모델입니다. 공개 리더보드는 "이 도메인 형식에서 가장 똑똑한 모델이 무엇인가"에 대해 참고할 수 있지만, 우리는 "우리 상담 에이전트에 앉힐 모델이 무엇인가"에 대한 답을 찾아야 합니다.

모델 결정은 끝이 아니다

위 지표들은 모두 자체 벤치마크 상의 결과이지, 운영 지표는 아닙니다. 실제 모델 전환시에는 벤치마크를 통한 모델 비교 외에도 고민해야 할 것들이 더 있습니다.

• Provider 선택: 같은 모델도 어느 provider를 경유하느냐에 따라 조건이 다릅니다. 발표된 가격 인하가 처음에는 direct API에만 적용됐기 때문에, 저희가 쓰는 provider에서도 같은 할인이 제공되는지부터 확인해야 했습니다. 여기에 데이터 보호 요건(ZDR) 같은 계약상 확인 사항, 장애에 대비한 fallback provider와 fallback 모델 구성까지 함께 검토했습니다.

• 가격 체계 대응: GPT-5.6부터 cache write가 유료화되고 272K 컨텍스트 경계로 입력 단가가 2배, 출력 단가 1.5배가 되는 등 과금 구조가 달라져서, 내부 비용 트래킹 체계도 함께 확장했습니다.

• 적용 순서: 앞서 말했듯 ALF가 LLM을 쓰는 영역은 메인 응답 생성 말고도 아주 많습니다. 그중 상담 품질에 직접 영향을 주면서도 영향 범위가 상대적으로 작은 Agentic RAG부터 전환했고, 메인 모델은 현재 A/B 테스트 단계에 있습니다.

이런 검토가 끝나도 곧장 모든 채널에 적용하지는 않습니다. 배포 자체도 아래 단계를 거쳐 점진적이고 안전하게 진행합니다.

테스트베드 선배포 → A/B 테스트 및 1차 배포 → 2차 배포 → 전체 배포

1. 테스트베드 선배포: 일부 테스트베드 채널에 먼저 배포해 동작을 꼼꼼히 검증합니다.

2. A/B 테스트 및 1차 배포: A/B 테스트 결과를 분석해 안정성을 확인하며 대상을 넓히되, 변화에 민감하고 보수적인 버티컬 채널을 제외한 채널에 우선 배포합니다.

3. 2차 배포: A/B 테스트 결과를 보고 확정한 뒤 대부분의 채널에 배포합니다.

4. 전체 배포: 시스템 안정성이 완전히 확보되면, 제외했던 채널까지 포함한 모든 채널로 최종 배포를 완료합니다.

5줄 요약

1. 트리거 - 신모델 출시 및 가격 변화를 보고, 우리 트래픽 기준 비용 임팩트부터 추산한다

2. 공개 벤치마크는 참고만 - 순위는 우리 워크로드로 이식되지 않고, 후보 모델이 리더보드에 아예 없을 수도 있다

3. 자체 벤치마크로 측정 - 사람 라벨로 검증한 LLM Judge 와 pass^k 기준으로, 능력 지표 5가지, Evaluation 과 Regression 통과율, 비용, 레이턴시를 함께 측정한다

4. 지표를 나눠 보고 종합 판단 - 5가지 능력별 점수, Evaluation, Regression 을 각각 본 뒤, 비용과 응답 속도로 실시간 상담에 안 맞는 후보를 걸러내고, 남은 후보 중 종합 우위를 고른다. 최상위권은 점수 차가 근소해 사실상 동점이라, 절대 1등이 아니라 비용과 속도까지 함께 본다.

5. 점진 배포 + A/B 테스트 - 영향도 낮은 영역과 테스트베드 채널부터 열고, A/B 결과를 보며 1차 → 2차 → 전체로 확대한다

마치며...

새 모델은 앞으로도 계속 나올 겁니다. 그때마다 우리가 던져야 하는 질문에 대한 답을 공개 리더보드에서는 얻을 수 없습니다. "무엇이 가장 똑똑한가"가 아니라 "이 모델을 우리 상담 에이전트에 앉혀도 되는가"이고, 이 답은 우리 워크로드 위에서 우리 제약을 얹고 직접 재봐야만 나옵니다.

이번에 나온 답은 GPT-5.6 Luna(high) 였습니다. 아직 어디에서도 "상담 에이전트라면 Luna가 낫다"는 평은 보이지 않고, 유명한 공개 벤치마크는 오히려 다른 모델을 가리킵니다. 하지만 우리는 우리 데이터로 먼저 재보고, 제약 위에서 트레이드오프를 따진 뒤 적용합니다.

물론 끝나지 않은 숙제도 있습니다. 최근 일부 테스트셋에서 상위 모델들이 거의 만점을 받기 시작했는데, 만점이 늘어난 건 모델이 좋아졌다는 뜻이기도 하지만 동시에 우리 벤치마크가 포화되고 있다는 신호입니다. 더 어려운 평가셋으로 변별력을 되찾는 일, 그리고 지금 돌리고 있는 A/B 테스트로 벤치마크 점수와 실제 통과율의 상관을 실측하는 일이 다음 차례입니다. 다음 모델이 나오면 우리는 또 같은 방식으로 측정하고 있을 겁니다.