아래층 없이
위층은 없다

먼저 정의부터 하자. 생성형 AI(GenAI)는 방대한 데이터의 근본 패턴을 학습해 새로운 콘텐츠를 만들고, 추론하고, 맥락을 이해하고, 추천을 내놓는 인공지능 분야다. 기존 AI가 주로 이미 있는 정보를 분석했다면, GenAI는 새로운 산물을 만들어낸다. 마케팅 문구, 작동하는 코드, 그 밖의 창작물이 그것이다. 이 차이가 전부다.

다만 잠재력이 크다는 말과 쓸 만하다는 말은 다르다. 실험적 개념에서 운영 등급 시스템으로 넘어가는 일은 기업에 상당한 난관이다. 보안, 신뢰성, 거버넌스에 대한 전략적 집중이 필요하고, 아키텍처에는 엄격한 입력 검증과 정화 같은 가드레일과 정책 집행 장치가 들어가야 한다. 1장은 그 여정의 지도다.

이 책은 GenAI의 능력을 인간 인지의 복합적 국면에 빗대어 넷으로 나눈다.

창작하고, 추론하고, 맥락을 이해하고, 추천한다. 이 네 가지가 합쳐진 것이 GenAI의 변혁적 잠재력의 토대다. 그리고 이 능력을 실제로 구현하는 엔진이 대규모 언어모델(LLM)이다. LLM은 많은 생성형 응용의 인지 중추 역할을 한다.

여기서 이 장의 핵심이 나온다. 능력이 아무리 뛰어나도 그 효용은 하나에 결정적으로 달려 있다. 맥락이다.

책은 좋은 비유를 든다. LLM을 대화가 한창 진행 중인 자리에 갑자기 떨어진, 대단히 박식하고 유창한 대화자라고 생각해 보라는 것이다. 앞선 대화도, 지금 주제도, 상황의 미묘한 결도 모르는 채라면 아무리 말을 잘하는 사람이라도 엉뚱하거나 틀리거나 무의미한 소리를 하게 된다.

사전학습 데이터가 아무리 방대해도 LLM은 적절하고 시의적절하며 정확한 맥락을 필요로 한다. 맥락이 부족하면 두 가지 방식으로 틀린다. 하나는 그럴듯하지만 사실과 다른 답을 내놓는 것 — 이것이 환각이다. 다른 하나는 일반적으로는 맞지만 이 상황에는 적용되지 않아 결과적으로 틀린 답이다. 두 번째가 더 위험하다. 틀렸다는 사실을 알아채기 어렵기 때문이다.

주택담보대출 심사역을 돕는 AI 비서를 생각해 보자. 심사역이 묻는다.

LLM은 일반 지식에 근거해 43퍼센트라고 답한다. 미국의 통상적인 적격 주택담보대출(QM) 기준으로는 사실에 부합하는 답이다. 그런데 말해지지 않은 맥락이 있었다. 심사역이 보고 있던 것은 플로리다 거주자의 FHA 대출 신청서였고, 자금을 대는 곳은 MegaBank USA라는 특정 대주(貸主)였다.

이 맥락에서 43퍼센트는 틀렸을 가능성이 높고, 오도할 소지도 있다.

• FHA 지침은 대체로 더 높은 DTI를 허용한다. 보완 요소가 있으면 50%, 때로는 57%까지도 간다.
• 그러나 MegaBank USA는 자체 lender overlay로 48% 같은 더 엄격한 상한을 둘 수 있다.
• 여기에 플로리다 주 규정이 또 다른 단서를 붙일 수 있다.

진짜 정답은 이 맥락 요소들의 교차점에서만 나온다. 대출 프로그램(FHA), 신청자의 보완 요소, 대주의 내부 정책, 지역 규제. 모델은 일반 대출 지식을 훨씬 넘어서는 정밀한 운영 맥락을 필요로 한다. 불충분하거나 모호한 맥락 제공이야말로 복잡한 실무 상황에서 부정확한 출력을 낳는 첫째 원인이다.

맥락 관리는 의지의 문제가 아니라 구조의 문제다. 이 책이 제시하는 에이전틱 설계 패턴이 여기서 등장한다. 패턴은 에이전트 기반 시스템 구축의 공통 난제 — 그중에서도 맥락 관리 — 에 대한 구조화되고 반복 가능한 해법이다. Task Delegation Framework, Collaborative Task Decomposition, Iterative Debate for Robust Reasoning 같은 것들이다.

그중 하나를 미리 맛보자.

패턴을 설계 단계에서 고려하고 구현하면 아키텍처와 애플리케이션에 암묵적 가드레일을 심게 된다. 에이전트 행동에 경계가 생기고, 결정이 더 잘 알려진 정보에 기반하며, 행동이 요구되는 맥락에 부합할 가능성이 커진다. 반복 토론이나 특정 피드백 루프처럼 패턴에 내장된 구조화된 상호작용은 자기수정의 기회를 만든다. 잘못된 행동을 하기 전에 불일치를 잡아내거나 동료 검토를 통해 추론을 다듬을 수 있다.

그래서 이 책은 검색증강생성(RAG)에 상당한 비중을 둔다. 외부 소스에서 관련 정보를 동적으로 가져와 LLM의 응답에 반영하는 기법이다. 나아가 답변을 검증 가능한 원자료에 접지(grounding)시키고 인용을 제공하는 방법, 데이터베이스와 지식 그래프처럼 더 정교한 데이터 구조로 풍부한 맥락을 공급하는 방법도 다룬다.

GenAI의 응용은 두 축으로 나뉜다. 여러 업무 기능에 공통으로 걸치는 수평 응용과, 특정 산업의 고유 과제를 겨냥한 수직 응용이다.

성숙도 모델은 조직이 현재 역량을 진단하고 앞으로의 항로를 그리는 전략 도구다. 역량과 정교함의 수준을 단계로 구분해, 기초적 활동에서 고도의 에이전틱 시스템으로 나아가는 전형적 진행을 보여준다. 자기 조직의 위치를 아는 것이 투자와 인력 육성과 구현 노력을 원하는 사업 성과에 맞추는 출발점이다.

중요한 것은 Level 5와 6 — 에이전틱 및 멀티 에이전트 — 로 올라가려면 상호운용성에 관한 새로운 표준을 받아들여야 한다는 점이다.

이 대목이 실무적으로 가장 쓸모 있다. 성숙도 모델이 로드맵이라면, 이 책이 소개하는 에이전틱 설계 패턴은 그 위를 달리는 탈것이다. 그리고 조직이 도달하는 성숙도 수준은 어떤 패턴을 구현하기로 선택했는지의 직접적 결과다.

그러므로 순서를 뒤집어 생각할 수 있다. 목표 역량을 먼저 정한다. 예컨대 “금융 거래에 쓸 수 있도록 완전히 감사 가능하고 안전한 시스템”이라고 하자. 그러면 거기서 아키텍처 요구사항을 역설계할 수 있다. 그 신뢰성 수준에 필요한 결정적 패턴 네다섯 개에 자원과 투자를 집중하면 된다.

“AI를 만들자”는 초점 없는 시도 대신, 의도적이고 비용 효율적인 공학 경로가 생긴다. 선별된 패턴의 구현에 집중함으로써 모든 기술 투자가 검증된 성숙 상태와 사업 가치로 직결되게 만드는 것이다.

잠재력이 크고 응용이 넘쳐나는데도, 실험적 PoC에서 견고하고 확장 가능한 운영 등급 시스템으로 가는 길은 많은 조직에 큰 장벽이다. 특히 복잡한 해부 구조와 상호작용을 가진 에이전틱 AI라면 기술적·운영적·법적·윤리적 난제가 얽힌 그물을 통과해야 한다.

PoC의 졸업은 기술적 실현 가능성보다 전략적·조직적 준비에 크게 달려 있다. 명확한 사업 가치와 ROI 입증이 관건이다. 추가 투자를 정당화할 정량적 편익이 없어 좌초하는 파일럿이 많다. 사업부·IT·법무·컴플라이언스를 아우르는 이해관계자 정렬과 기존 워크플로에 대한 명확한 운영 통합 계획이 필수다. 또한 문제–해법 적합성을 확보해야 기술의 오용을 막는다. 마지막으로 인력을 준비시키는 변화 관리와, 쓸 만하고 믿을 만한 시스템으로 사용자 채택을 이끄는 노력이 필요하다.

성공적 배포의 토대는 데이터 거버넌스와 품질이다. 학습 데이터에 대한 법적 권리, 즉 소유권과 라이선스를 확보하는 것이 결정적 첫걸음이다. 시스템 성능은 고품질의, 관련성 있고, 편향되지 않은 데이터 접근에 깊이 의존한다. 데이터 품질이 나쁘면 이후의 모든 노력이 무너진다. 정확한 환경 지각이 필요한 에이전트에게는 더욱 그렇다. 데이터 통합의 난제는 대개 조직 곳곳의 복잡한 데이터 사일로를 허무는 일로 귀결된다. 여기에 GDPR이나 HIPAA 같은 규제 준수와 프라이버시가 더해진다. 이것은 타협 대상이 아니다.

운영 시스템은 높은 수준의 견고성과 보안을 요구한다. 모델과 에이전트는 적대적 공격에 저항해야 하고, 강력한 입력 검증과 정화가 핵심 방어선이다. 다양한 실제 상황에서 일관된 성능(도메인 적합성과 일반화)을 보장해야 하고, 시간에 따른 모델·에이전트 행동 드리프트를 관리할 장치가 필요하다. 외부 시스템과 상호작용하는 에이전트라면 도구 사용, 특히 API 호출의 보안이 중요하다. 확장성은 적절한 인프라 선택(클라우드, TPU/GPU), 효율적인 저지연 서빙 아키텍처, 견고한 데이터 파이프라인을 요구한다. 성숙한 LLMOps/AgentOps를 통한 포괄적 모니터링이 생애주기 관리에 필수적이다. 레거시 통합과 유지보수 가능한 API 설계도 만만치 않은데, MCP와 A2A 같은 상호운용 표준이 이 지점을 돕는다.

데이터 과학, ML 엔지니어링, 소프트웨어 개발, 운영에 걸친 기술 인력을 확보하고 유지하는 일은 대체로 어렵다. 또한 대형 모델이나 복잡한 에이전틱 시스템을 구축·학습·미세조정·운영하는 데 드는 비용과 자원 제약이 상당해 신중한 관리가 필요하다.

이 모든 것을 관통하는 것이 윤리와 책임 있는 AI다. 데이터·모델·에이전트 결정에 잠재된 편향을 다루고 완화하는 일은 공정성과 형평을 위해 결정적이다. 투명성, 설명 가능성 — 에이전트나 모델이 왜 그런 결정을 내렸는지 이해하는 것 — 그리고 견고한 거버넌스 체계를 세우는 일이 책임성과 책임 있는 배포에 필수다. 법적·윤리적 기준 준수는 선택 사항이 아니다. 지속 가능하고 신뢰할 만한 AI의 근본이다.

한 대형 이커머스 기업이 고객 서비스 문의를 처리하고 상담 인력의 부담을 줄이려고 반품·주문조회 에이전트를 만들었다. 목표는 가장 자주 묻는 두 질문에 24시간 즉답하는 것이었다. “내 주문 상태가 어떻게 되나?”와 “물건을 어떻게 반품하나?”

고객 불만이 커지고 소셜 미디어에 부정적 언급이 늘고 에이전트의 실수를 수동으로 바로잡는 비용이 높아진 끝에, 회사는 일주일 만에 에이전트를 내렸다.

이 다면적 난제를 넘으려면 C레벨의 전략적 결단, 인프라와 인재에 대한 상당한 투자, 견고한 거버넌스, 그리고 실험을 넘어 GenAI와 에이전틱 AI를 기업의 핵심 가치 창출 역량으로 심는 명확한 로드맵이 필요하다.