요즘 뜬다는 FDE, 왜 Voice AI랑 싸우고 있을까?

안녕하세요. 채널톡 FDE팀의 누누입니다. 저희는 고객의 업무에 맞게 솔루션을 구성하고, 실제 현장에서 사용할 수 있도록 배포하는 일을 하고 있어요.

Voice ALF는 전화를 받아 고객과 대화하고 필요한 업무를 처리하는 AI 음성 상담사예요. 어떤 정보를 묻고 어떤 순서로 업무를 처리할지 정해 둔 흐름을 ALF Task라고 불러요. 저희는 고객의 업무에 맞게 이 흐름을 구성하고, 실제 통화에서도 의도대로 동작하는지 확인해요.

그런데 직접 전화를 걸어 보면 예상하지 못한 상황을 만나곤 했어요. 같은 질문을 반복하거나, 고객의 답을 기다리지 않고 처리하거나, 한 단계에서 멈춰 상담이 이어지지 않는 경우도 있었어요. 문제를 고친 뒤에는 다시 전화해서 확인해야 했고요. 고객에게 배포할 수 있는 상태를 만들려면, 이런 검증을 충분히 반복할 수 있어야 했어요.

이번 글에서는 그 과정에서 겪은 어려움과, 상담 흐름을 반복해서 검증하기 위해 만든 자동 QA 도구를 소개하려고 해요.

테스트 전화를 반복할수록 배포가 늦어졌어요

Task를 고객 채널에 배포하기 전에는 세팅 담당자가 고객 역할로 직접 전화해 상담 흐름을 확인했어요.

채팅 상담사인 ALF는 브라우저 창을 여러 개 열어 서로 다른 시나리오를 나란히 테스트할 수 있어요. 한 대화의 답변을 기다리는 동안 다른 대화를 확인하면 되죠. 반면 Voice ALF는 담당자가 상대의 말을 전화로 듣고 직접 답해야 해요. 한 사람이 여러 통화를 동시에 이어 가기는 어려워, 검증할 시나리오가 늘수록 통화에 들이는 시간도 늘어났어요.

한 번 잘 끝난 상담도 다시 테스트하면 고객의 답을 기다리지 않거나 같은 질문을 반복하는 경우가 있었어요. 이런 문제를 찾기 위해 시나리오 10개를 각각 20번씩, 총 200번 검증해 달라는 요청도 나왔어요. 이렇게 많은 통화를 사람이 하나씩 진행하는 데는 한계가 있었고, 고객 역할을 대신할 방법이 필요했어요.

고객 역할을 AI에 맡겼어요

Voice ALF는 음성 인식(STT)으로 고객의 말을 텍스트로 바꿔요. 상담 엔진이 이를 바탕으로 업무를 처리하고 답변을 만들면, 음성 합성(TTS)으로 읽어 줘요. 저희는 이 가운데 상담 엔진이 고객의 요청을 처리하는 과정부터 자동으로 검증하기로 했어요.

먼저 고객 역할을 하는 AI에게 상황과 답변 조건을 시나리오로 알려 줬어요. 이 AI가 Voice ALF의 질문에 맞춰 대답하면, 테스트 실행기가 둘 사이에서 질문과 답변을 텍스트로 전달해요. 전화 한 통이 끝날 때까지 기다릴 필요 없이 여러 시나리오를 동시에 실행할 수 있게 된 거예요. 채팅을 주고받듯 상담 흐름을 병렬로 검증하고, Task를 수정한 뒤에도 같은 조건으로 다시 확인할 수 있어요.

답변은 나왔는데 다음 단계로 넘어가지 않았어요

처음 만든 테스트에서는 봇의 답변이 나왔는데도 상담이 다음 단계로 넘어가지 않고 멈추는 문제가 발생했어요. 무엇을 기다리고 있는지 확인하려고, 음성 서비스와 상담 엔진이 주고받는 이벤트를 살펴봤어요.

안내 메시지를 들려주는 단계에서는 음성 재생이 끝났다는 이벤트를 받아야 다음 단계로 넘어갔어요. 그런데 텍스트로만 대화하는 테스트에서는 실제로 음성을 재생하지 않아 이 신호가 오지 않았어요. 기다리는 시간을 늘려도 상담이 진행되지 않은 이유였어요.

테스트 실행기는 text_done을 받으면, 먼저 지금 진행 중인 대화 차례의 답변인지 번호를 확인해요. 번호가 일치하면 받은 번호와 답변 내용을 담아 봇의 speech_done을 보내요. 실제 음성을 재생하지 않는 테스트에서도 이 신호로 재생 완료를 알리자, 완료 신호를 기다리던 안내 단계가 다음 단계로 진행할 수 있게 됐어요.

Task 완료만으로 상담의 성공을 판단하지 않았어요

초기에는 Task가 완료되면 테스트를 통과한 것으로 판단했지만 환불을 원하는지 물은 뒤, 고객의 답을 받기도 전에 환불로 처리하도록 값을 저장한 대화도 있었어요. Task가 끝났다는 사실만으로는 상담이 올바르게 진행됐는지 알 수 없었어요.

이를 구분하려고 평가를 맡은 AI가 대화 내용과 실제 실행 기록을 대조하도록 했어요. 정해 둔 순서와 지시에 따라 질문하고, 고객의 답을 확인한 뒤 Task 노드의 지시문, Task 흐름 도중 임시로 저장되어야 하는 값을 잘 처리했는지 살펴봐요. 오류가 표시된 실행도 기록을 확인해 상담 중에 생긴 문제인지, 테스트 실행기의 문제인지 구분했어요.

이때 확인하는 항목은 다음 여덟 가지예요. Task의 시작과 종료뿐 아니라, 고객의 답을 기다리고 그 내용을 정확히 반영했는지도 함께 평가해요.

실제 QA에서 가장 치명적이었던 문제는 특정 단계(노드)에서 빠져나오지 못해 상담이 멈추는 경우였어요. 답변이 자연스러워도 다음 절차로 이어지지 않으면 고객의 문제는 해결되지 않은 채 남아요. 상담은 고객이 무엇을 필요로 하는지 빠르고 정확하게 파악하고, 문제를 해결해 다시 서비스를 원활하게 이용하도록 돕는 과정이기 때문이에요.

그래서 Task를 끝까지 정확하게 수행하는 능력에 더 큰 비중을 뒀어요. 대화 진행에 20점, 상담 절차 완료와 단계별 지시 이행에 각각 15점을 배정했어요. 시작한 Task 중 종료 지점에 도달한 비율인 Task 완주율을 중요하게 보되, 고객의 답을 생략하거나 잘못된 정보로 처리한 상담은 성공으로 보지 않아요.

AI가 각 항목의 충족 여부와 판단 근거를 남기면, 프로그램이 점수를 합산해요. 여덟 항목을 모두 충족해야 통과(PASS)하고, 하나라도 충족하지 못하면 실패(FAIL)로 판정해요. 시나리오 준비부터 실행, 평가, 리포트 작성까지 이 과정을 AI 에이전트가 반복하도록 하나의 스킬로 묶었어요.

Task 배포 과정은 이렇게 달라졌어요

Voice ALF의 신기능을 고객에게 배포하는 뉴디플로이먼트팀(ND Team)에서도 이 도구를 사용하고 있어요. 줄라이(ND Team)는 Task 하나를 검증할 때 직접 거는 전화가 약 50회에서 5회로 줄었다고 했어요. 로완(ND Team)도 직접 통화하는 횟수가 이전의 약 20% 수준으로 줄었다고 전했어요. Task마다 차이는 있지만, 두 사람 모두 반복 통화의 부담이 크게 줄었다는 점을 체감했어요.

로완(ND Team)은 Task 초안을 만드는 단계부터 자동 QA를 활용했어요. 고객 시나리오로 만든 초안을 테스트하고, 실행 기록에서 문제를 찾아 AI 지시문을 고친 뒤 다시 검증했어요. 완성된 Task를 마지막에 검사하던 QA가, 초안을 다듬는 과정에서도 쓰이기 시작한 거예요.

이 활용 방식은 고객사의 AI 세팅을 담당하는 AXC Team으로도 이어졌어요. AXC Team도 고객 채널에 Voice ALF를 세팅할 때 이 도구로 상담 흐름을 검증하기 시작했어요. 초안 작성, 자동 QA, 수정과 재검증을 반복하는 방식이 신기능 배포를 넘어 고객별 세팅 과정으로 넓어진 거예요.

다음으로는 실제 음성까지 검증하려고 해요

현재는 고객의 말을 정확히 알아듣는지, 봇이 말하는 도중 고객이 끼어들어도 잘 대응하는지 직접 통화하며 확인하고 있어요. 이 과정까지 자동으로 검증하려고, 전화를 거는 아웃바운드 마케팅 기능과 전화를 받는 인바운드 Voice ALF를 연결하는 방법을 구상하고 있어요.

두 대의 기기가 실제 전화망으로 통화하면서, 한쪽이 말하면 다른 쪽이 듣고 응답하게 하는 방식이에요. 이렇게 실제 음성을 주고받으며 음성 인식부터 상담 처리와 음성 응답까지 함께 검증하려고 해요. 봇이 말하는 도중 고객이 끼어드는 상황도 확인하는 것이 다음 목표예요.

고객의 현장에서 시작하는 채널톡 FDE

고객에게 Voice ALF를 배포하는 과정에서, 반복 통화에 많은 시간이 들고 있다는 문제를 발견했어요. 이를 해결하기 위해 만든 QA 도구는 ND Team의 신기능 배포와 AXC Team의 고객별 세팅에도 쓰이게 됐어요. 담당자가 직접 같은 대화를 반복하던 시간을 줄이고, 실행 결과를 살펴 상담 흐름을 보완할 수 있게 된 거예요.

고객이 기능을 실제 업무에 쓸 수 있을 때까지 필요한 문제를 풀어 가는 것, 그것이 채널톡 FDE의 일이에요. 이번에는 그 과정에서 Voice AI 검증 도구를 만들었어요. 앞으로도 현장에서 찾은 해법을 다른 고객에게 적용하고, 여러 고객에게 공통으로 필요한 기능은 제품팀과 함께 발전시켜 가려고 해요.

고객의 문제를 직접 풀고, 그 해법을 더 많은 고객에게 전하는 일에 관심이 있다면 채널톡 FDE팀을 살펴봐 주세요.