얕게 고칠 것인가,
깊게 고칠 것인가

생성형 AI의 첫 물결은 거대한 단일 프런티어 모델에 집중했다. 그러나 지형은 지능적 에이전트들의 분산된 사회로 옮겨가고 있다. 사업 가치를 끌어내려면 이 에이전트들이 특정 기업 맥락 안에서 정확하고 신뢰할 만하며 최적으로 작동해야 한다. 그러려면 상당한 적응이 필요하다.

또 하나의 변화가 있다. 단일 중앙 LLM에 의존하던 방식에서 벗어나는 것이다. 여러 에이전트로 구성된 분산 시스템이 늘고 있고, 각 에이전트는 저마다의 “뇌”를 가질 수 있다. 내부 모델은 비용, 성능, 지연, 품질에 따라 달라지고, 역할에 따라 양상이나 아키텍처가 다를 수도 있다. 업계에서 Router-Executor나 Planner-Worker라 부르는 관행이 그것이다. 이 책은 5장에서 Tool Routing과 Supervisor Architecture 패턴으로 이 개념을 정식화한다.

그런데 여기서 흔한 오해 하나를 짚어야 한다. 적응은 하나의 방법을 고르는 문제가 아니다. 에이전트의 요구와 맥락, 가용 자원, 필요한 맞춤화의 정도에 맞춰 여러 전략을 사려 깊게 조합하는 문제다. RAG 하나로 될 일도 있고, 파인튜닝까지 가야 할 일도 있고, 셋을 다 써야 할 일도 있다.

1장의 GenAI 성숙도 모델에서 마지막 두 단계는 단일 에이전트와 멀티 에이전트였다. 여기서는 그 둘을 확대해 여섯 단계의 에이전틱 AI 성숙도 모델로 펼친다. 단순하고 중앙집중적인 모델에서 복잡하고 분산된 협업 네트워크에 이르는 여정이다. 이 스펙트럼은 왜 시스템이 복잡해지고 자율성이 커질수록 Multi-Agent Planning, Consensus, Resource Allocation, Trust Modeling 같은 패턴이 필수가 되는지를 설명한다.

더 진보한 시스템으로 갈수록 설계상의 질문 하나가 떠오른다. 에이전트는 얼마나 커야 하는가. 하나의 에이전트가 업무 프로세스 전체를 감싸야 하는가, 아니면 더 큰 AI 오케스트레이션의 일부로서 단순하고 원자적인 과업에 집중해야 하는가.

정답은 하나가 아니다. 최적의 입도는 문제에 달렸다. 에이전트는 세밀한 원자 단위일 수도 있고 — 재고 수준만 확인하는 에이전트처럼 — 거친 복합 시스템일 수도 있다 — 주문 이행 전 과정을 조율하는 에이전트처럼. 다음에 볼 아키텍처가 이 서로 다른 입도가 어떻게 공존하고 협업하는지를 보여주는 실용적 모형이다.

이 장의 나머지는 네 가지 기법을 다룬다. 그런데 이 넷을 나란히 늘어놓고 보면 하나의 축이 드러난다. 모델의 가중치를 얼마나 깊이 건드리는가. 그 깊이가 지속성과 비용과 데이터 요구를 함께 결정한다.

이제 왼쪽부터가 아니라 실무에서 가장 먼저 손대는 순서로 보자. RAG, 파인튜닝, ICL, 그리고 그 전부를 떠받치는 그라운딩이다.

1장에서 못 박은 맥락이 왕이다라는 원칙은 에이전트에 이르면 더욱 무거워진다. 에이전트는 잘 알고 결정하고 정확히 행동해야 하는데, 그 능력은 현재적이고 관련성 있고 정확한 정보에 대한 접근에 전적으로 달려 있다.

RAG는 에이전트의 LLM 중추에 필요한 맥락을 필요한 바로 그 시점, 곧 추론 시점에 동적으로 공급하는 기법이다. 정적인 사전학습 지식에만 의존하는 대신, 지정된 외부의 최신 지식원에서 적절한 정보를 능동적으로 가져온다.

말로 하면 추상적이다. 그래서 이 장은 같은 상황을 RAG 없이 한 번, RAG로 한 번 돌려 보이는 대조 실험을 세 번 반복한다. 그 셋을 차례로 보자.

사용자가 이렇게 말한다.

금융시장에서는 시의성이 극단적으로 중요하다. 시장 심리는 새 정보에 따라 몇 분 만에 뒤집히고, 몇 달 전 학습 데이터에 의존하는 LLM은 심각하게 불리하다. 실적 발표 하나가 회사의 전망과 시장 인식을 하룻밤 사이에 바꿔 놓는다.

금융기관에서 컴플라이언스 에이전트의 역할은 결정적이다. 불법 활동을 막고 복잡하게 진화하는 규제 준수를 확보하기 위해 거래를 면밀히 검토한다. 판돈이 매우 크다. 위반은 중대한 제재와 금전 손실과 평판 훼손으로 이어진다. 관할별로 다른 자금세탁방지(AML) 규정, 공개 규제보다 엄격할 수 있는 은행 내부 정책, 끊임없이 갱신되는 국제 제재 목록을 헤쳐 나가야 한다. 이런 일에 범용 LLM의 기본 지식만 믿는 것은 용납할 수 없는 위험이다.

파인튜닝이 깊고 지속적인 특화를 준다면, ICL은 즉각적인 적응을 준다. 현재 프롬프트나 대화 안에 주어진 정보와 예시만으로 새 과업을 배우거나 응답을 바꾸게 하는 것이다. 결정적으로 모델의 가중치나 매개변수는 전혀 바뀌지 않는다.

기본 기제는 단순하다. 프롬프트 안에 예시를 직접 보여준다. 몇 개만 넣는 few-shot일 수도 있고, 컨텍스트 창이 큰 모델이라면 아주 많이 넣는 many-shot일 수도 있다. LLM은 이 맥락 단서에서 밑에 깔린 패턴을 추론해, 새로 마주하는 비슷한 입력에 적용한다.

전자상거래 제품 리뷰를 분석하는 에이전트를 보자. 핵심 과업은 리뷰 전체의 감성이 아니라 개별 기능별 감성을 뽑아내는 것이다. 제품 개발팀에는 이 세밀한 피드백이 대단히 값지다. 새 리뷰가 들어왔다.

ICL의 효능은 사용하는 LLM의 고유 능력, 특히 적은 예시에서 일반화하는 능력과 컨텍스트 창의 크기에 크게 좌우된다. 창이 클수록 더 포괄적이고 많은 예시를 담을 수 있고, 대체로 더 견고하고 정확한 학습이 된다.

ICL은 파인튜닝이 주는 깊고 지속적인 특화를 주지는 못한다. 그러나 에이전트에게 유연성과 즉각적 대응이라는 결정적 층위를 더한다. RAG와 파인튜닝 양쪽을 보완하는 가치 있는 수단이다.