이 장의 더 깊은 교훈은 의료와 법률이 검색에 어려운 도메인이라는 것 — 그것은 분명하다 — 이 아니다. 어려운 도메인에서 검색을 통하게 만드는 규율이 도메인과 무관하게 같은 규율이라는 것이다. 소아 용량의 실패와 폐기된 판례의 실패는 같은 아키텍처적 성질을 가리켰다. 맥락에 유관한 진실을 표면에 유관한 일치와 구별하는 구조적 기제가 없었다는 것.
아세트아미노펜 용량은 실제 임상 참조의 실제 용량이었다. 다만 다른 환자군의 용량이었다. 투여 전에 담당 소아과의가 잡아냈다.
판례는 실재했고 인용도 실재했다. 다만 그것이 받쳤던 법리는 더는 유효한 법이 아니었다. 서면 제출 전에 감독 변호사가 잡아냈다.
2025년 말의 두 프로덕션 실패가 2026년 2월 열린 의료·법률 기술 책임자들의 소규모 비공개 회의의 대화를 이끌었다. 첫 실패는 어느 어린이병원 네트워크의 임상 의사결정 지원 체계에서 나온 소아 투약 용량 권고였다. 병원 전자의무기록에 통합된 검색 증강 어시스턴트가 생성한 그 권고는 젖먹이 환자에게 청소년에게 알맞은 아세트아미노펜 용량을 권했다. 담당 소아과의가 투여 전에 오류를 잡아냈다. 병원의 최고의료정보책임자는 이 아슬아슬한 사건을 참석자들에게, 의료계 책임자가 겨우 피한 사건을 서술할 때 쓰는 조심스러운 솔직함으로 알렸다.
둘째 실패는 어느 지역 법률사무소가 쓰던 AI 판례 조사 어시스턴트의 출력이었다. 특정 연방 항소법원의 약식판결 기준을 묻자 어시스턴트는 자신 있는 답을 냈고, 그 답은 감독 변호사가 두 해 전 전원합의체 판결로 폐기되었음을 알아본 판례를 인용하고 있었다. 판례는 여전히 실재했다. 인용도 실재했다. 그것이 받쳤던 법리가 더는 유효한 법이 아니었다. 변호사가 서면 제출 전에 오류를 잡아냈다. 대표 변호사는 이 사건을, 얼마만큼의 과오 책임 노출을 간신히 피했는지 정확히 아는 법률가의 담담한 우려로 서술했다.
두 실패는 다른 산업에서, 다른 말뭉치에 대해, 다른 아키텍처로, 다른 관할에서 일어났다. 표면으로는 다른 문제로 보였다. 그 회의의 대화가 확립한 것은, 실은 두 도메인에서 표현된 하나의 문제였다는 것이다. 권위 있게 들리는 체계가, 실재하는 출처에 접지되어 있으면서도 유관한 진실의 현재 상태를 그르게 표상하는 답을 내놓는 문제다.
소아 용량은 실제 임상 참조의 실제 용량이었다. 다만 그른 환자군의 용량이었다. 폐기된 판례는 실제 판례집의 실제 판례였다. 다만 검색 체계가 띄우지 못한 후속 판결이 바꿔 놓은 법이었다. 두 실패 모두 같은 아키텍처적 성질을 가리켰다. 맥락에 유관한 진실(이 환자군에 대한 이 용량, 이 관할에서 이 날짜에 이 법)을 표면에 유관한 일치(이 용량이 이 참조에 나온다, 이 판례가 이 판례집에 있다)와 구별하는 구조적 기제가 없었다는 것.
이 장은 그 두 실패의 수습에서 나온 프로덕션 체계를 걸어 나간다. 다병원 네트워크의 임상 의사결정 지원 배포와, 대형 법률사무소의 법률 조사 배포다. 구조는 13장과 나란하다. 각 사례가 말뭉치와 수집, 검색과 재순위화, 에이전틱 오케스트레이션, 구조적 가드레일, 운영의 생애주기를 다룬다. 그리고 장은 회의의 대화가 이른 종합으로 닫힌다 — 세 사례 모두에, 그리고 어떤 고위험 검색 배포에도 적용되는 통합 원칙들이다.
두 사례를 잇달아 읽는 것은 그 통일성이 보이게 하려는 뜻이다. 같은 아키텍처적 수(手)가 다른 어휘로 되풀이될 때 바탕의 원리는 처음 만난 도메인과 무관하게 알아볼 수 있게 된다. 이 장들이 다루지 않은 도메인 — 제약 연구, 항공우주 인증, 조세 자문 — 의 검색을 짓는 팀이라면 5부를 읽은 뒤 자기 도메인에서 환자군 메타데이터와 인용 그래프와 권위 계층에 해당하는 것을 식별하고, 자기 배포가 요구하는 구조적 가드레일을 지을 수 있어야 한다.
이 장을 연 소아 용량 실패는 병원 네트워크의 임상 검색 체계에 있던 구체적 빈틈을 가리켰다. 검색에 환자 맥락 메타데이터가 없었다는 것이다. 체계는 어떤 환자군에는 옳고 다른 환자군에는 위험한 투약 권고를 회수했고, 회수된 지침이 질의가 던져진 순간 활성이던 그 환자에게 맞는지 확인할 기제가 없었다. 실패한 배포를 대체한 프로덕션 체계는 이 빈틈을 구조적으로 닫았다.
병원 네트워크의 임상 말뭉치는 약 12만 건의 문서로 이루어진다. 전문 학회의 임상 진료지침, 기관 프로토콜, 약물 참조, 네트워크 자체의 진료 경로다. 말뭉치의 모든 청크는 그것이 적용되는 환자군으로 태그된다. 연령대(신생아, 소아, 청소년, 성인, 노인), 용량 계산이 요구하는 경우의 체중 구간, 장기 기능 수정자(신장애, 간장애), 임신 상태, 그리고 임상적 적용 가능성에 영향을 주는 그 밖의 맥락 차원들이다. 메타데이터 추출은 원본 문서의 구조화된 머리글에서 일부 자동화되고, 임상적으로 가장 중대한 청크에 대해서는 네트워크의 임상정보 팀이 태그를 검증한다.
환자군 메타데이터가 안전한 검색을 가능하게 만드는 것이다. 임상 어시스턴트가 젖먹이의 아세트아미노펜 투약을 질문받으면, 검색 파이프라인은 순위를 매기기 전에 말뭉치를 알맞은 연령대로 태그된 청크로 필터링한다. 청소년이나 성인 환자군으로 태그된 청크는 순위 자리를 다투지 않고 구조적으로 배제된다. 아세트아미노펜 실패는 이 필터링의 실패였다. 수습 전 체계는 모든 환자군에 걸쳐 회수해 표면 관련성으로 순위를 매겼고, 표면 문면이 맞고 환자군 필터가 적용되지 않았으므로 소아 질의에 성인 환자군 내용을 띄웠다.
임상 진료지침은 전문 학회가 정하는 일정으로 개정되며, 옛 지침과 현행 지침 사이의 간극은 환자 안전에 직접적 함의를 지닐 수 있다. 따라서 말뭉치는 모든 진료지침의 모든 버전을 발효일과 대체 관계와 함께 유지한다. 13장의 규제 버전 관리와 같다. 검색 파이프라인은 질의가 역사적 맥락을 지정하지 않는 한 현행 지침을 기본으로 삼는다. 임상 질의는 좀처럼 그러지 않고 연구 질의는 이따금 그렇게 한다.
수집 파이프라인에는 주요 지침 발간 기관 — 미국소아과학회, 미국감염병학회, 미국심장협회, 그 밖에 네트워크 진료에 유관한 곳들 — 의 일일 감시가 있어, 지침 갱신이 공표되면 자동으로 수집한다. 각 갱신은 스테이징 환경에 머무르며 네트워크의 임상정보 팀이 이전 버전과의 차이를 검토하고 새 지침이 옳게 색인되고 태그되었는지 검증한다. 이 검토 뒤에만 새 버전이 프로덕션 말뭉치에서 권위를 얻는다. 규율은 13장의 규제 개정 워크플로를 임상 진료지침 갱신의 주기와 내용에 맞춰 적응시킨 것이다.
임상 검색의 리랭커는 5장의 크로스 인코더 패턴을 환자 맥락 인지로 확장한다. 활성 환자 기록의 맥락에서 질의가 들어오면, 리랭커는 질의 문면과 함께 구조화된 환자 맥락(연령, 체중, 유관 진단, 투약, 알레르기)을 받는다. 재순위화 점수는 질의–문서 관련성과, 환자군 태그가 그 환자와 맞는 청크를 승격하고 표면 관련성이 높아도 태그가 어긋나는 청크를 강등하는 맥락 일치 점수를 결합한다.
이 맥락 인지 재순위화가, 환자 맥락 필터를 확신 있게 적용하기에 너무 좁을 때에도 알맞은 임상 지침을 믿음직하게 띄우는 것이다. 프로덕션 체계에서 젖먹이 아세트아미노펜 질의는 소아로 태그된 청크만 회수하고, 그다음 리랭커가 일반 소아로 태그된 것보다 젖먹이에 특히 태그된 청크를 환자군 일치 정밀도에 명시적 무게를 두어 승격한다. 그 결합 효과는, 어떤 임상 질의든 최상위 청크가 맥락 속 그 특정 환자에게 가장 알맞은 청크가 되는 것이다.
표면 유관 검색은 질의의 어휘를 말뭉치에 맞춘다. 맥락 유관 검색은 회수된 내용이 실제로 알맞은지를 정하는 구체적 맥락 제약 안에서 질의를 맞춘다 — 임상에서는 환자군, 법률에서는 관할과 날짜, 상업에서는 고객 세그먼트.
고위험 도메인은 맥락 유관 검색을 부드러운 선호가 아니라 구조적 성질로 요구한다. 기제는 모든 청크의 명시적 맥락 메타데이터와, 순위 매김 전에 맥락 일치를 강제하는 필터-후-재순위 로직이다. 이 규율이 없으면 표면 유관 검색은 언젠가 환자군이 어긋나거나 관할이 어긋난 내용을 옳은 내용과 같은 확신으로 띄운다.
맥락 인지 검색이 임상 검색 실패의 가장 흔한 부류를 막는다. 구조적 가드레일이 남은 부류를 막는다 — 검색은 성공했으나 생성된 응답이 검색만으로는 줄 수 없는 검증을 요구하는 구체적 수치나 사실 주장을 담은 경우다. 병원 네트워크의 프로덕션 체계는 임상에 고유한 가드레일 셋을 구현한다.
임상 어시스턴트가 생성한 모든 용량 권고는 사용자에게 보이기 전에 구조적 경계에 견주어 검사된다. 경계는 유지 관리되는 약물 투약 데이터베이스에서 온다. 검색 말뭉치와 독립된 별도의 구조화 데이터 원천으로, 약물마다 환자군·체중·적응증별 허용 용량 범위를 정의한다. 생성된 권고를 용량 관련 필드(약물, 용량, 경로, 빈도)로 파싱해 각 필드를 경계 데이터베이스에 견준다. 권고가 그 환자 맥락의 허용 경계를 벗어나면 응답은 기각되고, 체계는 경계 위반을 명시해 생성을 재시도하거나 이 사안이 임상의의 직접 판단을 요한다는 거부를 돌려준다.
이 경계 검사가, 상류의 검색 실패가 잡히지 않았더라도 그 소아 아세트아미노펜 실패를 잡았을 것이다. 성인 환자군 용량은 그 환자의 체중에 대한 소아 경계에 견주면 구조적 검사를 통과하지 못하고 응답은 제시되는 대신 막혔을 것이다. 규율은 13장 인용 검증과 같다. 언어 모델이 홀로 믿음직하게 강제할 수 없는 안전 제약을 구조적으로 강제하는 것, 다만 다른 안전 성질에 적용한 것이다.
용량 경계에 더해, 투약 관련 모든 응답은 같은 구조화 약물 데이터베이스의 금기 규칙에 견주어 검사된다. 환자의 현재 투약과 알레르기와 유관 진단을 어시스턴트가 권고한 약물의 알려진 상호작용과 금기에 견준다. 식별된 금기는 응답이 강조하는 경고나, 상호작용의 중증도에 따라 응답 자체를 막는 거부를 촉발한다. 기제는 다시 구조적이다 — 금기 규칙은 언어 모델 외부에 있고 자신 있는 생성으로 우회될 수 없다.
의료의 감사 기록은 13장의 패턴을 임상 고유 필드로 확장한다. 모든 임상 질의가 환자 식별자(또는 환자 간 분석을 위한 비식별 해시), 임상의 식별자, 질의 시점의 환자 맥락, 환자군 태그를 지닌 회수된 청크, 재순위화 결정, 용량 경계와 금기 검사 결과, 생성된 응답, 그리고 처분(사용자에게 보임, 사용자가 수정함, 기각됨)과 함께 기록된다. 이 기록은 규제 준수(HIPAA 문서화, 품질 보증, 의무기록 통합)와 임상 품질 개선(워크플로 개선이나 교육 필요를 시사하는 체계 사용 패턴의 식별) 양쪽을 섬긴다.
# 투약 권고를 위한 임상 가드레일의 구성 def safe_clinical_response(query, patient_context, retrieved_chunks): # 1. 회수된 증거에서 후보 응답을 생성한다 response = generator.generate(query, retrieved_chunks, patient_context) # 2. 응답에서 구조화된 용량 주장을 파싱한다 dose_claims = parse_dose_claims(response.text) # 3. 각 주장을 구조화 경계 데이터베이스에 견준다 for claim in dose_claims: bounds = dose_db.bounds( drug=claim.drug, population=patient_context.population, weight_kg=patient_context.weight_kg, indication=claim.indication) if not bounds.contains(claim.dose, claim.frequency): log_guardrail_event('dose_bounds_violation', claim, bounds) return refusal('Recommendation exceeded safe bounds; ' + 'clinical judgement required.') # 4. 환자의 투약과 알레르기에 견주어 금기를 검사한다 for claim in dose_claims: contras = contraindication_db.check( drug=claim.drug, current_meds=patient_context.medications, allergies=patient_context.allergies, diagnoses=patient_context.diagnoses) if contras.severe: log_guardrail_event('contraindication_severe', claim, contras) return refusal_with_alternative(contras) elif contras.moderate: response = annotate_warning(response, contras) # 5. 모든 검사 통과 — 온전한 감사 흔적과 함께 응답을 돌려준다 audit_log.record(query, patient_context, retrieved_chunks, dose_claims, response) return response
용량 검증과 금기 검사와 임상 감사 기록의 결합이 체계를 임상 워크플로에 통합해도 안전하게 만드는 것이다. 수습 전 체계는 임상의들이 알맞은 회의로 썼으나 구조적 안전 보장은 없었다. 프로덕션 체계는 안전 성질이 지향이 아니라 입증 가능하므로 임상 워크플로에 더 가까이 통합될 수 있다. 아세트아미노펜 사건을 알린 그 최고의료정보책임자는 후속 대화에서, 배포 이후 한 해 동안 프로덕션 체계가 40만 건 넘는 임상 질의에 쓰이면서 비슷한 아슬아슬한 사건이 임상의에게 닿은 일은 한 번도 없었다고 말했다. 구조적 가드레일이 프로덕션 트래픽 전반에 걸쳐 이어지고 믿음직하게 제 몫을 해낸 것이다.
복잡한 임상 질의는 흔히 여러 세부 전문과의 지식을 요구한다. 당뇨와 만성 신질환을 함께 지닌 환자의 관리에 관한 질의는 신장내과 지침과 내분비내과 지침, 그리고 신장애에서의 투약에 관한 약리 지침을 모두 요구할 수 있다. 프로덕션 체계는 복잡한 질의를 세부 전문과 하위 질의로 쪼개고, 자기 세부 전문과에 알맞은 말뭉치 부분과 재순위화 가중으로 설정된 전문가 검색 에이전트에 배정하고, 응답을 통합된 권고로 종합하는 오케스트레이터를 쓴다. 8장의 멀티 에이전트 아키텍처를 의료에 맞춘 것이다.
종합 단계가 결정적이고 임상 특정적이다. 세부 전문과의 발견이 상호작용할 때 — 신장내과 권고가 내분비내과 권고와 충돌할 때, 또는 약리 제약이 어느 세부 전문과가 선호할 선택지를 좁힐 때 — 종합은 그 상호작용을 매끄럽게 덮는 대신 명시적으로 드러내야 한다. 패턴은 13장의 관할 간 충돌 감지를 되비춘다. 긴장 관계를 명시적으로 인정하는 것이, 그것을 감춘 거짓으로 자신 있는 통합 답보다 임상의에게 더 쓸모 있다.
12장의 RAGOps 생애주기가 의료 특유의 적응과 함께 적용된다. 개정 워크플로는 임상 진료지침 갱신을 임상정보 검토를 의무로 거친 뒤 승격한다. 이어지는 평가는 9장 패턴을 정답이 알려진 약 5천 건의 임상 질문 선별 집합으로 확장해 프로덕션 체계에 매일 돌린다. 퇴행은 조사를 촉발하고, 유의미한 퇴행은 되돌림을 촉발한다. 12장의 배포 패턴은 각별한 조심과 함께 쓰인다. 임상 배포 대부분이 처음에는 1% 이하의 카나리 전개를 쓰고, 오랜 관찰 뒤에만 점진적으로 넓힌다.
의료에 고유한 추가 생애주기 요소는 임상적 관여다. 체계의 거동은 분기마다 임상 자문위원회가 검토한다. 집계 지표를 살피고, 표시된 사례를 검토하고, 개선의 우선순위에 의견을 낸다. 이 사람이 개입하는 거버넌스가, 시간이 가도 임상의의 신뢰를 지키는 임상 체계와 임상의들이 실패를 겪어 가며 점점 불신하게 되는 체계를 가른다. 그 최고의료정보책임자는 이 위원회 구조를 구조적 가드레일 다음으로 가장 중요한 운영 투자라고 서술했다. 구조적 가드레일이 체계를 안전하게 만들고, 위원회가 그 안전을 쓰는 임상의들에게 이어지도록 믿을 만하게 만든다.
대표 변호사가 회의에서 서술한 폐기 판례 실패는 구체적 아키텍처 빈틈을 가리켰다. 법률사무소의 조사 어시스턴트에 인용 추적과 유효 법리 검증이 없었다는 것이다. 어시스턴트는 실제 판례집의 실제 판례를 회수해 그 판시를 정확히 요약했다. 그 판시가 후속 전원합의체 판결로 폐기되었음을 띄우지 않았을 뿐이다. 실패한 배포를 대체한 프로덕션 체계는 인용 추적과 유효 법리 검증을 아키텍처의 구조적 성질로 만든다.
사무소의 법률 말뭉치는 약 400만 건의 문서다. 연방과 주의 판결문, 법령, 규정, 2차 자료, 그리고 사무소 자체의 작업 산출물이다. 표준 청크 수준 메타데이터를 넘어 말뭉치는 인용 그래프를 유지한다. 어느 판례가 어느 판례를 인용하는지, 어느 방향으로(긍정적 취급, 부정적 취급, 구별), 그리고 어떤 후속 처분과 함께(여전히 유효한 법, 폐기됨, 실효됨, 사실관계로 구별됨)를 구조화해 표상한 것이다. 이 그래프는 권위 있는 법률 데이터베이스에서 유지되며, 기존 판례의 취급에 영향을 주는 새 판결이 나오는 대로 끊임없이 갱신된다.
인용 그래프가 유효 법리 검증의 구조적 바탕이다. 법률 조사 어시스턴트가 판례를 회수해 응답에 인용하려 할 때, 체계는 인용 그래프에서 그 판례의 현재 상태를 검사한다. 폐기된 판례는 구조적으로 표시된다. 체계는 그것을 인용하기를 거절하거나, 폐기 상태를 폐기한 판례에 대한 인용과 함께 명시한다. 수습을 촉발한 그 폐기 판례 실패는 프로덕션 체계에서 일어날 수 없다. 원래 판례가 유효한 법으로 제시되기 전에 인용 그래프가 폐기 판례를 띄웠을 것이기 때문이다.
법률 문면은 13장 규제 문면의 성질을 많이 공유한다. 전문 어휘, 인용이 촘촘한 구조, 관할의 조각남. 검색 패턴도 그에 맞춰 적응한다. 인용 인지 어휘 가중을 곁들인 하이브리드 검색(판례 인용, 법령 인용, 그 밖의 형식적 참조를 가중)이 토대다. 재순위화는 관할 인지(제9항소법원의 질의는 제9항소법원 권위를 앞세운다)와 유효 법리 가중을 곁들인 최근성(새 판례를 앞세우되 부정적 후속 취급을 받은 판례에는 음의 가중)을 담는다.
관할 재순위화는 법률 맥락에서 규제 맥락보다 미묘하다. 법률 선례가 관할 경계를 넘는 계층 구조를 지니기 때문이다 — 대법원 권위는 모든 항소법원을 구속하고, 항소법원 권위는 그 항소법원 안을 구속하고, 지방법원 권위는 다른 곳에서 설득적이다 — 그리고 리랭커는 지리적 관할 자체만이 아니라 이 계층까지 붙잡아야 한다.
법률 질의는 빈번히 여러 관할에 걸친다. 연방–주 선점 문제, 다주(多州) 계약 분쟁, 준거법 분석. 8장의 멀티 에이전트 오케스트레이션이 관할 특화 에이전트와 함께 이런 질의에 배포되어, 각자 자기 관할 범위 안의 조사를 다룬다. 오케스트레이터는 질의를 쪼개어 전문가에게 배정하고, 관할 사이의 관계에 명시적으로 주의하며 종합한다 — 주법에 대한 연방의 선점, 준거법 규칙, 권위의 충돌. 패턴은 13장의 관할 간 규제 오케스트레이션을 되비추되, 법률 질의가 흔히 각 관할의 입장을 독립적으로 제시하는 데 그치지 않고 관할 사이 관계의 명시적 분석을 요구한다는 복잡성이 더해진다.
유효 법리 검증은 판례들이 서로 어떻게 관계되는지에 대한 구조화된 표상 없이는 불가능하다. 검증을 구조적으로 만드는 그 인용 그래프는 그 자체로 상당한 데이터 공학 산출물이다. 끊임없이 유지되고, 권위 있는 법률 데이터베이스에 견주어 검증되고, 메타데이터 번짐과 구조적 검사를 통해 검색 체계와 통합된다.
도메인 고유의 구조화 데이터 — 법률의 인용 그래프, 의료의 약물 상호작용 데이터베이스, 금융의 규제 권위 계층 — 가 고위험 검색에서 구조적 가드레일을 가능하게 하는 것이다. 범용 검색이 도메인 고유의 구조화 데이터를 대신할 수 없다. 이 도메인들의 프로덕션급 배포는 검색 파이프라인에 투자하는 만큼의 정성으로 그 구조화 데이터의 유지에 투자한다.
세 사례 — 13장의 금융 컴플라이언스, 이 장의 의료와 법률 — 는 같은 패턴이 세 도메인의 방언으로 표현된 것을 보인다. 이 장을 연 그 회의의 대화는 끝내 세 사례 모두에, 그리고 그 연장으로 어떤 고위험 검색 배포에도 적용되는 작은 한 벌의 통합 원칙으로 수렴했다.
표면 유관 검색은 고위험 도메인에 불충분하다. 임상의 환자군, 법률의 관할과 날짜, 규제의 권위 등급 — 도메인마다 회수된 내용이 실제로 알맞은지 정하는 맥락의 차원이 있고, 그 차원들은 필터링과 재순위화를 통해 구조적으로 강제되어야 한다. 그것이 없으면 표면 일치는 언젠가 맥락이 그른 내용을 옳은 내용과 같은 권위로 띄운다. 5부의 모든 사례에 공통된 실패의 형태가 그것이다.
확신 기반 어림 — 모델 자신의 확실성 평가 — 은 자신 있게 틀리는 값이 파국적인 도메인에서 안전 기제로 불충분하다. 구조적 가드레일 — 회수된 청크에 견준 인용 검증, 구조화 데이터베이스에 견준 용량 경계, 인용 그래프에 견준 유효 법리 검증 — 은 안전 성질을 알고리즘으로 강제하며 자신 있는 생성으로 우회될 수 없다. 팀이 마음 쓰는 모든 안전 성질은 가능한 한 구조적으로 강제되어야 한다.
구조적 가드레일은 검색 말뭉치만으로는 줄 수 없는 구조화 데이터에 의지한다. 법률 검증의 인용 그래프. 임상 안전 검사의 약물 상호작용 데이터베이스. 규제 최신성의 권위 계층과 개정 일정. 이 도메인 구조화 데이터는 그 자체로 상당한 공학 산출물이며 검색 말뭉치와 같은 규율로 유지되어야 한다.
고위험 질의는 흔히 답이 충돌하거나 불확실하거나 범위가 제한된다. 이런 경우에 자신 있게 들리는 답을 내놓는 체계가, 충돌과 불확실과 범위 제한을 명시적으로 인정하는 체계보다 더 위험하다. 거부는 실패가 아니라 기능이다. 관할 간 규제 충돌, 다전문과 임상 상호작용, 다관할 법률 물음 — 각 경우에 옳은 답은 문제의 구조를 매끄럽게 덮는 대신 드러내는 답이다.
규정은 개정되고, 임상 진료지침은 개정되고, 판례는 폐기된다. 배포 시점에 최신이던 체계는 도메인 변화를 감지하고 검증하고 통제된 워크플로로 프로덕션 말뭉치에 번지게 하는 운영 생애주기 없이는 점점 묵는다. 개정 워크플로, 선별된 도메인 질문 집합에 대한 이어지는 평가, 그리고 사람이 개입하는 거버넌스 위원회가, 지속 가능한 고위험 배포와 출시에는 성공하고 그 뒤로 퇴화하는 배포를 가르는 운영의 구조다.
이 다섯 원칙이 함께 고위험 검색 도메인을 가로질러 일반화되는 틀을 이룬다. 규제되거나 안전이 결정적이거나 그 밖에 고위험인 도메인의 프로덕션 검색을 짓는 팀은 자기 배포에 대해 네 물음에 답할 수 있어야 한다. 어떤 맥락 차원이 중요하며 체계가 그것을 어떻게 강제하는가. 어느 구조적 가드레일이 본질적이며 그것이 어떤 도메인 구조화 데이터에 의지하는가. 충돌과 불확실이 매끄럽게 덮이는 대신 어떻게 드러나는가. 도메인이 진화하는 동안 운영 생애주기가 체계를 어떻게 최신으로 지키는가.
자기 배포에 대해 이 물음에 답할 수 없는 팀은 고위험 도메인이 요구하는 성숙의 문턱 아래에서 일하고 있으며, 은행과 병원 네트워크와 법률사무소가 각자의 수습 전에 겪은 종류의 실패에 노출되어 있다.
많은 팀이 범용 검색 아키텍처를 도메인 특수 고위험 맥락에 배포하고, 도메인 특화 적응 없이 그것이 통하기를 기대한다. 환자군 메타데이터, 인용 그래프, 규제 권위 계층 — 이것들은 있으면 좋은 정련이 아니라 각 도메인의 안전한 작동을 위한 구조적 요건이다.
처방 — 아세트아미노펜 실패, 폐기 판례 실패, 그리고 13장의 지어낸 인용 실패는 모두 도메인 특화 구조 요건이 없었기에 범용 검색이 도메인 특수 맥락에서 실패한 사례다. 자기 도메인의 등가물을 먼저 식별하라.
어떤 팀은 검색 말뭉치와 언어 모델 계층에 크게 투자하면서, 그것을 받치는 구조화 데이터 — 인용 그래프, 약물 데이터베이스, 권위 계층 — 는 본질적인 것이 아니라 있으면 좋은 것으로 다룬다. 구조화 데이터가 구조적 가드레일을 가능하게 하는 것이다.
처방 — 약물 상호작용 데이터베이스 없는 임상 체계는 금기를 믿음직하게 검사할 수 없다. 인용 그래프 없는 법률 체계는 유효 법리를 검증할 수 없다. 권위 계층 없는 규제 체계는 구속력 있는 법과 해석 논평을 구별할 수 없다. 구조적 가드레일이 본질적인 도메인에서 구조화 데이터는 선택 사항이 아니다.
어떤 팀은 출시 시점에 도메인 전문가를 고용해 체계의 출력을 검증하는 것으로 이어지는 안전이 보장된다고 가정한다. 출시 시점에 적용된 도메인 전문성은 출시 시점의 거동을 검증한다. 말뭉치가 진화하고 도메인이 변하는 동안 그 거동을 유지하지는 않는다.
처방 — 거동을 시간에 걸쳐 유지하는 것은 운영 생애주기다. 개정 워크플로, 이어지는 평가, 거버넌스 위원회. 출시 시점의 전문가 검증과 그 뒤의 운영 생애주기는 상보적이며, 서로의 대체물이 아니다.
임상 검색은 환자 맥락 메타데이터를 말뭉치의 구조적 성질로 요구한다. 환자군, 체중 구간, 장기 기능, 임신 상태, 알레르기 이력이 회수된 내용의 적절함을 정하는 필터·재순위 차원이다. 맥락 인지 검색이 없으면 표면 일치가 환자군이 어긋난 내용을 옳은 내용과 같은 확신으로 띄운다 — 소아 아세트아미노펜 사건을 낳은 그 실패 양식이다.
임상 구조적 가드레일 — 구조화 약물 데이터베이스에 견준 용량 경계 검사, 금기 검증, 포괄적 임상 감사 기록 — 이 안전 성질을 알고리즘으로 강제한다. 가드레일은 검색 말뭉치와 나란히 존재하며 같은 공학적 엄정함으로 유지되는 도메인 구조화 데이터에 의지한다.
법률 검색은 유효 법리 검증의 구조적 바탕으로 인용 그래프를 요구한다. 그래프는 어느 판례가 어느 판례를 어느 방향으로 인용하며 현재의 취급 상태가 무엇인지 표상한다. 인용 그래프가 없으면 검색은 폐기된 판례를 표시 없이 띄울 수 있다 — 법률사무소가 하마터면 과오 책임 노출을 낳을 뻔한 그 실패 양식이다.
멀티 에이전트 오케스트레이션이 법률의 관할 추론과 임상의 다전문과 통합에, 규제의 관할 간 분석과 같은 구조적 패턴으로 적용된다. 오케스트레이터가 쪼개고, 전문가가 자기 도메인을 다루고, 종합이 충돌과 상호작용을 매끄럽게 덮는 대신 명시적으로 드러낸다.
고위험 검색의 통합 원칙 다섯은 규제 금융과 의료와 법률을 가로질러 일반화된다. 맥락에 유관한 검색, 어림이 아니라 구조적인 가드레일, 도메인 구조화 데이터, 충돌과 불확실의 명시적 드러냄, 그리고 도메인이 진화하는 동안 체계를 지키는 운영 생애주기. 어떤 고위험 검색 배포든 이 다섯에 견주어 평가할 수 있다.
위 문헌 목록은 원서 14장의 Further Reading을 그대로 옮긴 것이다. 서지 사항의 최종 확인은 원 출처를 통해 하는 것이 옳다.
15장이 90일 플레이북으로 이 책을 닫는다. 앞선 모든 장에서 세운 패턴을 담은 프로덕션 에이전틱 RAG 배포까지, 팀을 현재 상태에서 데려가는 실무의 경로다. 플레이북은 첫 석 달의 일을 구체적인 주간 마일스톤으로 구조화하고, 내려야 할 결정과 만들어야 할 산출물을 식별하고, 한 단계에서 다음 단계로 나아갈 준비가 되었는지 이해하는 진단 물음을 준다. 5부의 사례들이 세 도메인에서 목적지가 어떤 모습인지 보였다면, 15장은 독자가 지금 서 있는 곳에서 자기 맥락의 비슷한 목적지까지 가는 길이다.
돌아보면 이 장의 이야기는 다름과 같음에 관한 것이었다. 젖먹이에게 청소년의 용량을 권한 일과 폐기된 판례를 유효한 법으로 인용한 일은 산업도 말뭉치도 아키텍처도 관할도 달랐다. 표면으로는 다른 문제였다. 그러나 회의의 대화가 밝힌 것은 하나의 문제였다. 실재하는 것을 회수하고서, 지금 유효한 것을 제시했다고 여긴 일.
일이관지(一以貫之)라 하였으니, 하나로써 꿰뚫는다는 말은 여러 가지를 하나로 뭉갠다는 뜻이 아니다. 여러 가지가 저마다인 채로 하나의 이치에 이어져 있음을 알아보는 일이다. 의료의 환자군과 법률의 관할과 금융의 권위 등급은 서로 바꿔 쓸 수 없는 다른 것이다. 다만 그것들이 모두 맥락이라는 한 자리를 지키고 있다. 도메인을 배우는 일과 이치를 배우는 일이 따로가 아닌 까닭이 여기 있다.