제로 터치 개선: 사람의 감독을 내장한 AI 에이전트 자율 최적화

모든 AI 에이전트는 언젠가 성능의 한계에 부딪힙니다. 고객 사례의 95%는 프롬프트를 다듬고, 액션북을 반복해서 개선하며, 테스트 시나리오를 조정하는 방식으로 원활하게 처리할 수 있습니다. 하지만 남은 5%는 낯선 상황, 사람의 판단이 필요한 예외 사례, 지난 분기에는 유효했지만 현재의 운영 환경과는 맞지 않게 된 정책처럼 테스트 사례를 추가하는 것만으로는 해결하기 어려운 문제입니다.

AI가 5만 건의 테스트 대화에서 100%의 점수를 받았다고 해서 고객 서비스를 완전히 익힌 것은 아닙니다. 단지 테스트 세트를 완벽하게 통과하는 법을 학습했을 뿐입니다. 기존의 틀 안에서 이루어지는 최적화에는 분명한 한계가 있습니다. 이러한 한계를 넘어서려면 미리 준비된 상황이 아닌, 지금 실제로 벌어지는 상황에서 학습할 수 있어야 합니다.

제로 터치 개선(Zero-Touch Improvement, ZTI)은 실제 대화에서 발생한 실패를 분석하고, 정확한 액션북 변경안을 제안하며, 실패한 사례를 기준으로 변경안을 테스트한 뒤 배포까지 진행하는 자율 개선 시스템입니다. 팀의 준비 수준에 맞춰 AI 에이전트의 자율성 수준을 네 단계로 점진적으로 높일 수 있습니다.

작동 방식

• 실제 대화 기반 분석: ZTI는 테스트 사례가 아니라 실제 고객 대화를 분석해 실패 패턴을 찾아냅니다. 실패 사례를 근본 원인별로 분류하고, 문제가 발생한 액션북 분기와 시나리오 유형, 영향을 받은 대화 수를 구체적으로 보여줍니다.
• 정교한 액션북 변경안: ZTI는 막연한 프롬프트 수정을 제안하지 않습니다. 추가, 삭제, 변경할 내용을 정교하게 보여주는 액션북 변경 내역을 생성해, 실제로 적용하기 전에 팀이 이를 검토하고 승인할 수 있습니다.
• 반복적인 테스트 및 배포 루프: 제안된 모든 수정 사항은 실제로 실패 사례가 존재했던 대화를 대상으로 테스트됩니다. ZTI는 해당 실패 사례가 해결될 때까지 변경과 테스트를 반복한 뒤 프로덕션 환경에 배포합니다. 또한 각 반복 단계의 통과율도 모든 과정에서 확인할 수 있습니다.
• 네 단계의 자율성: ZTI는 네 단계로 구분된 자율성 수준에 따라 작동합니다. Lv.1에서는 AI가 모든 변경 사항을 제안하고 사람이 승인합니다. Lv.2에서는 AI가 승인된 범위 안에서 개선 루프를 실행하고, 사람은 전체 방향을 조율합니다. Lv.3에서는 사람의 승인 절차 없이 완전히 자율적으로 작동합니다. 자율성 단계의 전환은 정해진 주기가 아닌, AI와 사람의 판단 일치율을 기준으로 결정됩니다.
• 단계별 승인 게이트: Lv.3에서도 재무 기준, 컴플라이언스 요건, 민감한 주제 등 AI가 지켜야 할 경계는 사람이 직접 정의합니다. AI는 허용 범위에서 제외된 항목을 자율적으로 변경할 수 없습니다.

제로 터치 개선은 Trust OS의 일부로 Lv.2에서 사람이 내린 모든 결정을 학습에 반영해, Lv.3의 완전한 자율성으로 나아갈 수 있는 기반을 마련합니다.