Hands-On RAG for Production · 제10장 검색의 진화 에이전틱 긴 컨텍스트 능동형 엣지 거버넌스 결론

Chapter 10 — 도면 A10 / 전망도 · 종장

RAG의 미래 The Future of RAG

생성형 AI에서 땅은 끊임없이 흔들린다. 매주 새 기법과 논문과 벤더 발표가 쏟아지고, 무엇이 의미 있는 아키텍처의 전환이고 무엇이 그저 “이번 주의 유행”이나 벤더 마케팅인지 가려내기 어렵다. 이 마지막 장은 앞을 내다보며 신호와 잡음을 갈라내려 한다.

원서Hands-On RAG for Production
O’Reilly, 2026
저자Ofer Mendelevitch
Forrest Sheng Bao
범위제10장 전문 (원서 pp.311–319)
그림 10-1
구성10개 절 · 도해 3점
신호 목록 · 종결부
No.신호 — 다음 세대를 규정할 흐름성격
01검색의 진화후기 상호작용 임베딩, 지시를 따르는 재순위기, 네이티브 멀티모달 검색, 자동화되는 그래프 증강.부품의 정밀화 02에이전틱 RAG로의 이동검색 엔진에서 추론 엔진으로. 계획하고 반성하고 행동한다.System 1 → System 2 03데이터 중력과 연합 검색데이터를 모델로 옮기는 대신 질의를 데이터가 있는 곳으로 보낸다.아키텍처의 역전 04긴 컨텍스트의 영향“RAG 대 롱컨텍스트”가 아니라 컨텍스트 인식 RAG다.거짓 이분법의 해소 05컨텍스트 엔지니어링RAG가 롱컨텍스트 LLM의 어텐션 메커니즘이 된다.초점의 이동 06반응형에서 능동형으로묻기를 기다리지 않고 필요한 순간에 답을 내놓는다.상호작용의 전환 07엣지의 RAG소형 언어모델이 추론 엔진을 데이터가 있는 곳으로 가져간다.경제 모델의 전환 08규모에서의 거버넌스준수를 설계에 넣는다. 주권, 잊힐 권리, 감사 가능성.규제가 만드는 요구
00서론 · 여기까지 온 길

“작동한다”를 넘어선
자리에서

RAG는 사적인 기업 데이터에 LLM을 적용하는 접근 가운데 아마도 가장 영향력이 큰 것이다. 지난 몇 해 사이 실험적 기법에서, 자기 데이터에 근거한 챗GPT 같은 경험이 필요한 기업의 표준 아키텍처 패턴으로 승격했고, 지금은 개념검증에서 프로덕션 배포로 빠르게 옮겨가고 있다.

이 책 전체에 걸쳐 RAG의 기둥을 익혔다. LLM, 임베딩, 벡터 스토어, 재순위다. 작동하는 개념검증이 주말 하나로 살아나는 것도 보았다. 그러나 로컬 스크립트에서 회복력 있는 프로덕션급 생태계로 가는 도약, 거기서 진짜 엔지니어링이 시작된다. “작동한다”를 넘어 지연과 규모에서의 정확도와 장기적 유지 가능성을 풀어야 한다.

프로덕션 RAG는 코드에 관한 것만이 아니다. 엄정한 거버넌스와 보안을 요구하는 분산 시스템이다. 규모에서 적재를 관리하며 테라바이트급 멀티모달 콘텐츠에 걸쳐 데이터 완전성을 보장해야 한다. 더 중요하게는 심층 방어 보안 전략을 구현해야 한다. 데이터가 모델에 닿기 전에 PII를 지워내는 엔티티 인식 레닥션을 배치하고, 주니어 애널리스트가 민감한 인사 문서를 검색할 수 없도록 엄격한 역할 기반 접근 통제를 강제하고, SOC 2·GDPR·HIPAA 같은 준수 표준을 위해 포괄적 감사 추적을 유지하는 일이다.

보안을 넘어 총소유비용이라는 운영의 현실을 마주한다. 벤더 통합의 복잡성을 관리하고, 결합 해제된 마이크로서비스로 지연을 최적화하고, 기계학습과 데브옵스와 보안의 간극을 잇는 다분야 팀을 꾸려야 한다.

예측은 아주 어렵다. 특히 미래에 관한 예측은.

— 닐스 보어. 원서가 이 마지막 장의 각주에 달아 둔 단서다.
01신호 01 · 부품의 정밀화

검색의 진화

검색 계층은 더 이상 정적인 도구가 아니라 빠르게 진화하는 최전선이다. 파이프라인을 구성하는 밑바탕 부품이 계속 개선되면서, “충분히 좋은” 검색의 시대를 지나 새로운 정밀도의 표준으로 옮겨가고 있다.

후기 상호작용 임베딩
표준 임베딩 모델은 문서 청크 하나를 단일 임베딩 벡터로 압축한다. ColBERT 같은 “후기 상호작용(late interaction)” 모델은 모든 토큰의 벡터를 유지하고 최종 임베딩 계산을 질의 단계까지 미룬다. 이렇게 하면 흔히 더 세밀한 일치가 가능해지고 전반적 정확도가 개선되지만, 저장과 메모리 요구가 커지는 대가를 치른다.1
미묘함을 아는 재순위기
일반적으로 이전 세대보다 더 정확할 뿐 아니라 지시를 따를 수 있는 재순위기가 나오고 있다. 법률이나 의료 같은 특정 도메인의 미묘함으로 텍스트를 재순위할 수 있게 된다.
네이티브 멀티모달 검색
멀티모달 생성형 AI 연구가 계속 진전하고 멀티모달 모델이 정확도와 속도 양쪽에서 개선되면서, 이미지에 캡션을 달아 텍스트를 색인하던 시대를 지나가고 있다. 8장에서 논의한 대로 파이프라인은 멀티모달 데이터를 텍스트와 같은 벡터 공간에 사상하는 네이티브 멀티모달 임베딩을 활용하는 방향으로 진화한다. ColPali는 후기 상호작용 접근을 시각 패치에 적용해, 복잡한 멀티모달 문서의 더 정확한 네이티브 검색을 가능하게 한다.
그래프 증강 검색
지식 그래프를 만들고 확장하는 도구와 기법이 점점 자동화될 것으로 기대한다. 안정적이고 값이 높은 구조화 지식을 가진 도메인, 그리고 온톨로지와 엔티티 해소에 투자할 의지가 있는 팀에서 가장 효과적이라는 사실은 그대로겠지만, 이 자동화가 채택을 끌어올릴 것이다. 그러면 KG는 “3분기 보고서에 언급된 공급업체가 법무 준수 문서에 나열된 위험 요인과 어떻게 관계되는가?” 같은 복잡한 멀티홉 질문에 더 정확한 응답을 가능하게 한다.
RAG 검색의 원재료가 마침내 그 아키텍처의 야심을 따라잡고 있다. 검색 계층이 규모에서 정확한 응답을 전달할 수 있는 고정밀 계기로 변하는 중이다.
02신호 02 · 검색 엔진에서 추론 엔진으로

에이전틱 RAG로의 이동

검색은 역사적으로 AI의 “시스템 1”이었다. 빠르고 직관적이지만 선형적이다. 시맨틱이든 어휘든 하이브리드든 목표는 단순하다. 관련 텍스트 청크를 식별해 가장 관련성 높은 것을 하류의 생성 LLM에 넘긴다. 많은 사용 사례에서 잘 작동하는 “한 번에 끝내는” 파이프라인이지만, 더 미묘한 상황을 마주하면 실패할 수 있다.

프로덕션에서 RAG의 미래는 “시스템 2” 사고로 빠르게 옮겨가고 있다. 7장에서 본 에이전틱 RAG를 통해, 시스템이 검색만 하는 것이 아니라 계획하고 추론하고 도구를 반복적으로 오케스트레이션한다.

System 1 — 빠르고 직관적이지만 선형이다 질의 검색 상위 k 청크 생성 응답 검색된 문서가 질문에 답하지 못하면 환각하거나 “모른다”고 응답한다 System 2 — 계획하고 실행하고 스스로 점검한다 모호한 요청 계획 수립 · 분해 도구 호출 실행 자기 성찰 · 판정 답 공백을 감지하면 갱신된 새 검색 질의를 발행한다 — 필요한 정보를 찾을 때까지 반복
〈System 1과 System 2〉 에이전틱 워크플로에서 LLM은 더 이상 파이프라인 끝의 요약기가 아니다. 통제자다. 모호한 요청을 구체적 계획으로 분해하고, 구별되는 여러 검색 단계를 도구 호출로 실행하고, 자기 결과를 스스로 성찰한다.

표준 파이프라인에서 검색된 문서가 질문에 답하지 못하면 흔히 환각하거나 “모른다”고 답하고 만다. 에이전틱 파이프라인은 그 공백을 감지하고 갱신된 새 검색 질의를 발행하며, 사용자 질의에 제대로 답할 정보를 찾을 때까지 이 과정을 여러 번 반복한다. 이것이 RAG를 “검색 엔진”에서 “추론 엔진”으로 옮긴다.

더 나아가 도구는 데이터를 가져오는 데 그치지 않고 행동할 수 있으므로, AI 에이전트가 덮는 사용 사례의 폭이 더 넓고 많은 경우 더 영향력이 크다. 에이전틱 RAG 기반의 고객 지원 챗봇은 질문에 답하는 것만이 아니라 지원 티켓을 열고 우선순위를 갱신하는 일까지 할 수 있다.

엔지니어링 세금 — 데모와 프로덕션을 가르는 것

“추론 엔진”으로의 이동은 매력적이지만, 프로덕션 에이전트를 단순한 데모와 구별짓는 상당한 엔지니어링 세금을 들여온다. 선형적이고 한 번에 끝나는 RAG에서 반복 순환으로 옮기면 관측성 간극이 생긴다. 실패를 디버깅하려면 단일 검색이 아니라 여러 추론 단계와 도구 호출과 자기 성찰로 이루어진 복잡한 궤적을 추적해야 한다.

지연과 비용에도 영향을 준다. 한때 2초 걸리던 질의가 이제 30초 이상 걸릴 수 있고, 에이전트가 답에 수렴하지 못해 값비싼 “폭주 루프”에 빠지는 일을 막으려면 반복 상한과 예산 상한 같은 엄격한 결정론적 가드레일이 필요하다. 궁극적으로 에이전틱 RAG로의 전환은 자율성과 통제 사이의 교환이다. 에이전트는 훨씬 넓고 영향력 있는 사용 사례를 다룰 수 있지만, 프로덕션에 배포될 때 더 성숙하고 정교한 인프라를 요구한다.

03신호 03 · 아키텍처의 역전

데이터 중력과 연합 검색

기업이 에이전틱 AI를 계속 채택하면서, 엔터프라이즈 데이터의 실무적 현실인 데이터 중력을 마주해야 한다.

프로덕션에서 “모든 기업 데이터를 벡터 스토어에 색인하라”는 발상은 흔히 환상이다. 재무 데이터는 스노플레이크에 살고, 고객 로그는 엘라스틱서치에 있고, 규제 문서는 전문 법률 금고에 놓여 있다. 살아 있고 거버넌스되는 페타바이트급 데이터를 RAG 데이터 저장소로 옮기는 일은 엔지니어링의 악몽일 뿐 아니라, 제대로 다루지 못하면 준수 위반으로 이어질 수 있다.

✗ 데이터를 모델로 — 이동의 악몽 스노플레이크 엘라스틱서치 법률 금고 중앙 벡터 스토어 페타바이트 이동 · 준수 위반의 위험 ✓ 질의를 데이터로 — 연합 검색 에이전트 도구 · MCP SQL → 웨어하우스 로그 저장소 문서 저장소 데이터는 제자리에 두고 질의를 원천으로 보낸다 다만 원천의 검색 품질에 종속된다
〈데이터 중력〉 데이터를 모델로 옮기는 대신 질의를 원천으로 보낸다. 에이전틱 시스템이 도구를 통해(직접 또는 MCP 서버를 통해) 데이터셋을 그 고유 환경에서 질의한다.
연합 검색이 안고 오는 결정적 의존

그러나 이 연합 접근은 결정적 의존을 들여온다. 그 고유 환경이 도구 호출을 통해 에이전트에 정확한 데이터를 줄 수 있는가. 연합 검색에 의존하면 도구가 호출하는 외부 시스템의 네이티브 검색 역량에 운명을 맡기게 된다. 에이전트가 부정확한 키워드 검색(BM25)에 의존하는 레거시 문서 저장소에 질의해 무관한 결과를 받으면, 사용자 질의에 정확히 답할 능력이 제약된다.

연합 검색이 성공하려면 더 똑똑한 에이전트가 필요한 것이 아니다. 의미론적 이해와 하이브리드 검색과 재순위와 text2SQL을 통합해 레거시 시스템의 검색을 현대화할 더 나은 방법이 필요하다.

04신호 04 · 거짓 이분법의 해소

긴 컨텍스트의 영향

LLM이 100만, 심지어 1,000만 토큰의 컨텍스트 창을 자랑하게 되면서 흔한 질문이 떠오른다. RAG가 정말 필요한가? 그냥 전체 텍스트를 프롬프트에 붙여 넣으면 되지 않는가?

현실은, 논쟁이 “RAG 대 롱컨텍스트”가 되어서는 안 된다는 것이다. 미래는 컨텍스트 인식 RAG에 있다.

긴 컨텍스트 창은 RAG를 죽이지 않는다. RAG를 더 강력하게 만든다. 비좁은 4k 컨텍스트 창에 끼워 넣을 작고 흩어진 조각을 찾는 도구였던 RAG가, 모델에 더 크고 일관된 “서사” 청크를 먹이는 고정밀 필터로 진화한다. 그러면 모델은 한 장(chapter) 전체나 완전한 기술 명세의 미묘함을 유지하면서도, 검색이 주는 낮은 비용과 잡음 감소의 이득을 함께 누린다.

진실은 이렇다. RAG는 낡은 것이 되기는커녕 그저 초점을 컨텍스트 엔지니어링으로 옮기고 있을 뿐이다.

05신호 05 · 초점의 이동

프롬프트 엔지니어링에서
컨텍스트 엔지니어링으로

거의 무한해 보이는2 컨텍스트 창을 갖더라도 세 가지 결정적 제약이 남는다.

비용

모든 사용자 질의마다 1,000만 토큰을 처리하는 일은 대량 엔터프라이즈 사용 사례에서 비싸다.

지연

단순한 질문 하나에 답하기 전에 모델이 방대한 문서를 “읽는” 60초를 기다리는 일은 받아들일 수 없는 사용자 경험을 만들 수 있다.3

“중간에서 길을 잃음”

연구는 LLM이 거대한 컨텍스트 창의 중간에 파묻힌 구체적 세부를, 앞이나 끝의 정보에 비해 우선하기 어려워한다는 것을 보인다.

게다가 실제 컨텍스트 창의 한계가 무엇이든(가령 1,000만 토큰) 기업 데이터 전부가 그 크기에 들어가리라고 상상하기는 어렵다. 그러므로 모든 RAG 질의는 결국 방대한 엔터프라이즈 데이터셋을 LLM의 컨텍스트 창에 편안히 들어가는 고품질 “후보 목록”으로 걸러내는 일이며, 그것이 LLM이 자기 일을 하는 데 필요한 가장 관련성 높은 정보다.

컨텍스트 엔지니어링이라는 용어는 완벽한 프롬프트를 동적으로 조립한다는 이 발상을 반영한다. 검색된 사실과 사용자의 이력과 시스템 지시를, 정확도를 최대화하면서 비용과 지연을 최소화하는 하나의 꾸러미로 섞는 일이다.

전체 엔터프라이즈 데이터셋 수백만 청크 — 대부분은 이 질의와 무관하다 RAG 프롬프트 컨텍스트 창 선별된 소수의 청크 + 사용자 이력 + 시스템 지시 생성 LLM 비싼 초점 RAG가 무엇이 모델의 비싼 초점을 받을 값이 있는지 결정한다 다시 말해 RAG는 롱컨텍스트 LLM의 어텐션 메커니즘이 된다
〈그림 10-1〉 RAG의 필터링 기능을 어텐션 메커니즘의 한 형태로 볼 수 있다. 전체 엔터프라이즈 데이터셋에서 LLM의 컨텍스트 창을 위해 가장 관련성 높은 청크를 선택하는(또는 “주의를 기울이는”) 일이다.
06신호 06 · 묻기 전에 답한다

반응형에서 능동형 RAG로

더 큰 컨텍스트 창에는 또 하나의 이득이 있다. 시스템이 사용자의 디지털 환경 전체를 프롬프트로 취급할 수 있게 된다. 이제 시스템은 사용자의 화면과 최근 로그와 열려 있는 문서를 조용히 관찰해4 의도를 암묵적으로 이해할 수 있다. 이전이라면 표준 창을 넘쳐흘렀을 데이터다. 이것이 배경에서 작동하는 능동형(proactive) RAG 아키텍처의 발상이다.

사례 — 고장 난 유압 펌프

인간 상담원이 “고장 난 유압 펌프”에 관한 티켓을 열면 RAG 시스템이 실시간으로 화면을 분석한다. 상담원이 질의를 타이핑하기도 전에 시스템은 그 펌프의 도면과 최근에 해결된 유사 티켓 세 건을 검색해 사이드바에 표시할 수 있다. 이 환경에서 질의는 최종 사용자가 명시적으로 타이핑하는 것이 아니라 맥락에 의해 함축된다.

능동형 RAG는 묻기를 기다리지 않는다. 필요한 바로 그 순간에 올바른 답을 내놓는다.
07신호 07 · 경제 모델의 전환

엣지의 RAG: 소형 언어모델

전통적으로 고품질 RAG 시스템을 만드는 일은 어려운 선택을 제기했다. 공용 클라우드 API에 의존하거나(사용 편의를 위해 데이터 프라이버시를 희생), 프런티어급 모델을 자체 호스팅하기 위해 큰 내부 GPU 클러스터를 유지하거나였다. 대형 오픈소스 LLM으로 에어갭 시스템을 만드는 일은 늘 가능했지만, 인프라 오버헤드가 대다수 조직에 상당한 장벽이었다.

소형 언어모델(SLM)의 부상이 이 계산을 계속 바꾸고 있다. 흔히 320억 파라미터 미만, 때로는 40억이나 80억 파라미터로도 자기 체급을 훌쩍 넘어서는 효율적인 모델들이다. 이 모델들은 데이터센터 규모의 하드웨어 없이도 데이터와 인프라에 대한 온전한 통제를 제공하는 “로컬 우선” 또는 에어갭 아키텍처를 가능하게 한다.

프로덕션 준비성과 호스팅 용이성

호스팅 API에서 벗어나는 일이 추론 하드웨어를 관리할 책임을 들여오지만, SLM은 장기적 운영 위험을 줄인다. 프로덕션 엔지니어에게 가장 즉각적인 이점은 SLM이 생성 단계를 “블랙박스” API에서 예측 가능한 소프트웨어 구성요소로 바꾼다는 점이다. 비싼 다중 GPU 클러스터 대신 범용 하드웨어에서 돌아가므로, 파이프라인을 애플리케이션의 나머지와 같은 CI/CD 주기 안에서 버전 관리하고 테스트하고 배포할 수 있다. 외부 API의 지원 중단이나 속도 제한 스로틀링이 일으키는 연쇄 장애도 사라진다.

엔진을 데이터가 있는 곳으로

의료·국방·금융 같은 규제 부문에서 민감한 PII나 지적재산을 공용 제공자에게 보내는 일은 흔히 애초에 논외다. SLM은 데이터를 엔진으로 보내는 대신 추론 엔진을 데이터가 있는 곳으로 가져가게 해준다. 이 역전은 민감한 문서가 보안 경계를 결코 떠나지 않음을 뜻하며, 많은 프로젝트를 개념검증 단계에 묶어 두던 프라이버시 준수 장벽을 해소한다.

경제 모델의 변환

클라우드 API에서 로컬 SLM으로 옮기면 프로덕션 RAG의 단위 경제가 근본적으로 바뀐다. 토큰 기반 가격의 변동비 대신 하드웨어의 고정비로 이동한다. 대량 애플리케이션에서는 총소유비용을 몇 자릿수 줄일 잠재력이 있다. 이 전환은 멀티모달 RAG에서 더욱 결정적이다. VLM API 호출의 높은 비용과 큰 시각 자산 전송의 지연이 감당하기 어려울 수 있기 때문이다. 로컬 SLM이 멀티모달 역량을 갖추면서, 조직이 민감한 시각·음성 자산을 클라우드에서 처리할 때의 비용과 지연과 데이터 소재지 장벽을 우회하며 채택이 가속될 것으로 기대한다.

로컬 추론은 네트워크 왕복도 없애 무시할 수 없는 지연 이득을 주고, 프로덕션 애플리케이션에서 사용자가 기대하는 경험을 제공한다. 궁극적으로 SLM이 정확도와 추론 역량에서 개선되면서, 외부 API 호출로는 달성하기 어려운 강한 데이터 프라이버시나 지연이나 가동률 요구를 가진 사용 사례까지 RAG가 가능해지고 있다.

08신호 08 · 규제가 만드는 요구

규모에서의 거버넌스와 준수

4장에서 논의한 대로 개념검증에서 프로덕션으로 가는 전환은 흔히 벽에 부딪힌다. 기술 때문이 아니라 거버넌스·위험·준수(GRC) 때문이다. RAG와 AI 에이전트가 더 많은 미션 크리티컬 애플리케이션을 구동하면서, 이 관심사는 나중에 생각할 것에서 핵심 아키텍처 요구사항으로 옮겨간다. 이 이동은 EU AI Act 같은 부상하는 규제 틀이 크게 추동한다. RAG 시스템은 설계에 의해 “준수를 인식”해야 하며, 개념검증에서는 좀처럼 나타나지 않는 세 가지 복잡한 난제를 풀어야 한다.

데이터 주권
모든 전역 데이터를 하나의 데이터베이스에 그냥 쏟아 넣을 수는 없다. 프로덕션 애플리케이션은 여러 지역을 지원하고 사용자 질의를 특정 지역 색인으로 지능적으로 라우팅해야 할 가능성이 높다. 독일 직원의 질의를 프랑크푸르트에 호스팅된 벡터 스토어로 보내, 데이터가 국경을 불법적으로 넘지 않도록 보장하는 식이다.
“잊힐 권리” (GDPR·CCPA)
표준 데이터베이스에서 사용자를 삭제하는 일은 쉽다. 문서 청크를 부호화한 벡터·어휘 데이터베이스에서 삭제하는 일은 더 어렵다. 사용자가 잊힐 권리를 행사하면 그의 데이터에서 파생된 모든 청크를 추적해 외과적으로 제거할 수 있어야 한다. 테라바이트급 데이터를 처음부터 재색인하는 일은 실행 가능한 운영 전략이 아니므로, 적재 계층에서의 견고한 메타데이터 태깅 전략이 필요하다.
감사 가능성과 설명 가능성
답을 제공하는 것만으로는 더 이상 충분하지 않다. 많은 프로덕션 애플리케이션이 왜 그 답이 나왔는지 증명할 수 있어야 한다. RAG를 위한 불변 감사 로그의 채택이 늘어날 것으로 기대한다. 특정 프롬프트, 검색된 정확한 문서 버전, 생성된 출력을 인용으로 연결하는 “증거의 사슬”을 포착하는 로그다. 환각이 실제 법적·금전적 결과를 낳을 수 있는 금융이나 법률 부문에서 책임 방어에 결정적이다.
“느낌으로 확인”에서 평가 주도 개발로

이 새로운 규제 지형은 RAG 애플리케이션을 만드는 방식을 근본적으로 바꾼다. 주관적인 “바이브 체크”를 엄격한 평가 주도 개발로 대체하는 것이다. 6장에서 논의한 대로 이 전환은 평가를 출시 후 진단에서 CI/CD 파이프라인의 핵심 부분으로 옮긴다. 골든 데이터셋에 대해 충실성과 관련성을 시험하는 자동 평가 게이트를 통과하지 못하면 어떤 모델이나 프롬프트 변경도 배포되지 않는다. 이것이 거버넌스를 정적인 규칙의 집합에서 사용자와 조직을 함께 보호하는 동적이고 자동화된 안전장치로 바꾼다.

결론은 이렇다. 다음 시대의 RAG에서 성공할 조직은 가장 똑똑한 LLM을 가진 곳이 아니라, 그 모델을 신뢰할 수 있고 투명하며 안전한 운영 파이프라인으로 감쌀 수 있는 곳이다.
09결론 · 종장

살아 있는 지식 베이스

이 책은 RAG의 역학에서 시작했다. 텍스트를 쪼개고, 임베딩 벡터를 저장하고, LLM 프롬프트를 짜고, 지연을 관리하는 일이었다. 그리고 그것들이 훨씬 더 큰 무언가의 토대일 뿐이라는 깨달음으로 끝난다. 이제 만들고 있는 것은 “검색 엔진”이나 “챗봇”이 아니다. 기업의 두뇌다.

기업의 역사 내내 제도적 지식은 조각나 있었다. 현재나 과거 직원의 머릿속에 갇혀 있고, 잊힌 폴더에 묻혀 있고, 서로 말을 걸 수 없는 시스템에 고립되어 있었다. 앞으로 만들 RAG 기반 시스템의 약속은 그 지식의 통합이다.

다음 시대에 설계할 파이프라인은 수동적 도구에서 능동적 동반자로 진화할 것이다. 질문에 답하는 데 그치지 않고, 사람이 놓칠 수 있는 점들을 잇고, 조직에서 내려지는 모든 결정이 기업 전체의 집단 지성에 근거하도록 보장할 것이다.

Stable — 안정된 토대 변하지 않는 패턴
  • RAG — 검색으로 응답을 근거지우는 일
  • 도구 사용 — 모델을 세계와 잇는 일
  • 에이전트 — 계획하고 반복하는 통제 구조
  • 지식 그래프 — 관계를 명시적으로 다루는 일
  • 평가자 — 측정하지 못하면 고칠 수 없다는 원리
Shifting — 움직이는 스택 계속 바뀔 것들
  • LLM — 더 빠르고 놀랍도록 정확해질 것이다
  • 벡터 데이터베이스 — 범용재가 될 것이다
  • 컨텍스트 창 — 계속 넓어질 것이다
  • 에이전틱 프레임워크 — 계속 나타나고 사라질 것이다
  • 가드레일 — 계속 진화할 것이다

이 미래를 향해 만들어 갈 때, 우리가 탐색한 핵심 패턴을 안정된 토대로 대하라. LLM과 벡터 데이터베이스와 에이전틱 프레임워크와 가드레일이 계속 흔들리고 진화하는 동안에도 말이다. 이 책을 덮으면서 기억할 것은, RAG의 구성요소는 바뀐다는 사실이다. 스택에 너무 애착을 갖지 말고, 대신 사명에 집중하라.

RAG의 미래는 특정 알고리즘에 관한 것이 아니다. 그것은 소프트웨어가 우리가 쓰는 도구에서 우리가 협업하는 지성으로 이행하는 일에 관한 것이다. 기업이라는 맥락 안에서 말이다.

우리가 논의한 함정들, 환각과 드리프트와 보안과 프라이버시와 지연은 실재한다. 엔지니어링 난제는 크다. 그러나 기회는 그보다 더 크다. 이제 정적인 데이터의 산을 살아 숨 쉬는 통찰의 엔진으로 바꿀 청사진을 손에 쥐었다.

토대는 놓였다. 도구는 손에 있다.

이제 만들 시간이다.

The foundation is laid · The tools are in your hands · Now, it is time to build

1 후기 상호작용 임베딩 모델은 보통 50배 더 많은 저장 공간을 요구하고 질의 시점 연산도 유의미하게 크다. 단순한 벡터 내적이 아니라 토큰 수준의 MaxSim 연산을 수행하기 때문이다.

2 물론 무한한 것은 없다. 그러나 GPT-3의 컨텍스트 길이가 2048이었던 것을 생각하면 1,000만 토큰은 무한처럼 느껴진다.

3 앤스로픽, 구글, OpenAI 같은 많은 LLM 제공자가 프롬프트 캐싱을 제공해 롱컨텍스트 RAG의 비용과 지연을 어느 정도 줄여 준다는 점을 언급해 둘 만하다. 꽤 도움이 되지만 근본 문제를 해결하지는 못한다.

4 능동적 관찰이 맥락적 관련성을 극대화할 수 있지만, 데이터 프라이버시와 지속적 동의, 로컬 처리 대 클라우드 처리에 관한 결정적 난제를 들여온다.

참고 자료: ColBERT(후기 상호작용), ColPali(시각 패치 후기 상호작용), EU AI Act, 그리고 “예측은 아주 어렵다, 특히 미래에 관한 예측은”이라는 닐스 보어의 말.