Agent Calls Human · Human-in-the-Loop Escalation
에이전트가 사람을 부른다
문제의 배경
에이전틱 시스템의 목표가 자동화 극대화라 해도, 설계상 또는 필요에 따라 에이전트가 멈추고 사람의 도움을 청해야 하는 상황이 있다. 결정에 대한 확신이 결정적 임계치 아래로 떨어질 때, 몹시 모호한 데이터를 만났을 때, 또는 회사 정책이 사람의 승인을 요구하는 판돈 큰 결정일 때다.
맥락
자율 에이전트가 작동 중에 스스로 해결할 수 없는 상황을 만난다. 시스템은 효율을 위해 자동화를 극대화해야 하지만, 안전을 보장하고 에이전트 역량 밖의 경계 사례를 다루려면 사람의 감독도 허용해야 한다.
문제
에이전트가 자율 작동을 우아하게 멈추고 사람에게 결정을 넘기려면 어떻게 해야 하는가. 맥락을 제대로 포착하지 못하거나 사람의 응답을 올바로 담아내지 못하면 워크플로 전체가 무너진다.
해법
흔히 human-in-the-loop 검문소라 부르는 정식 에스컬레이션 기제를 구현한다. 사람의 개입이 필요한 상황을 식별하면 에이전트가 현재 상태와 관련 맥락 전부를 구조화된 요청으로 포장한다. 이 요청은 전용 UI나 과업 대기열을 통해 사람 운영자에게 전달된다. 사람이 결정을 내릴 때까지 에이전트의 워크플로는 멈춰 있고, 그 결정이 시스템에 되먹여지면 에이전트가 사람이 검증한 새 정보로 과업을 재개한다.
사례 — 대출 신청의 모호함을 푼다
LoanApprovalAgent의 목표는 확신이 95% 아래로 떨어지지 않는 한 신청을 자율 처리하는 것이다. 사람 심사역의 목표는 에스컬레이션된 모호한 건을 검토해 최종 판단을 내리는 것이다.
장점
- 안전과 신뢰 — 안전하고 믿을 만한 시스템을 짓는 근본 패턴이다. 결정적이거나 모호한 판단이 사람의 검증을 거치게 해 값비싼 자동화 오류의 위험을 줄인다.
- 경계 사례 처리 — 에이전트가 학습하지 않았을 수 있는, 필연적으로 나타나는 경계 사례와 새로운 상황을 다루는 견고한 기제를 제공한다.
단점
- 병목 — 고리 안의 사람이 성능 병목이 될 수 있다. 시스템 전체 속도가 사람 운영자의 가용성과 응답성에 제한된다.
구현 지침
사람을 향하는 인터페이스를 신중히 설계하라. 맥락을 간결하게 제시하고, 모호함을 최소화하도록 구조화된 입력 방식(버튼, 폼)을 제공해야 한다. 에이전트의 “멈춤” 상태를 관리하는 견고한 기제도 갖춰야 한다. 여기에는 타임아웃과, 사람이 일정 시간 안에 응답하지 않을 경우의 기본 행동이 포함된다.