과제와 도메인을 구체화한다
약어, 이니셜, 당시 문체처럼 현재 데이터에 특유한 언어 습관을 지시에 포함한다.
Chapter 5 · pages 97–114
기록의 숲에서
기록의 숲에서
관계를 건져 올리다
문서는 대개 말을 다 해놓고도 아무것도 정리해주지 않는다. 사람과 기관, 연구 주제와 추천의 맥락은 종이 위에 흩어져 있다. 제5장은 그 흩어진 흔적을 명명된 개체와 관계로 묶어, 다시 질문할 수 있는 지식으로 바꾸는 방법을 다룬다.
2핵심 과제
지식 표현·지식 학습
지식 표현·지식 학습
3프롬프트 예제의
주요 진화 단계
주요 진화 단계
11재사용 가능한
프롬프트 실무 원칙
프롬프트 실무 원칙
97–114검토 범위
도서 제5장
도서 제5장
01 / THE ARCHIVES CHALLENGE
아카이브는 창고가 아니라, 아직 읽히지 않은 관계의 지형이다
이메일, 채팅, 법령, 논문, 기사, 소셜미디어는 구조가 없어서 무가치한 것이 아니다. 오히려 구조가 아직 드러나지 않았을 뿐이다. 문제는 정보가 아니라, 정보를 다시 사용할 수 있게 만드는 질서다.
비정형 텍스트를 지식으로 바꾸는 일에는 두 개의 능선이 놓여 있다. 첫째는 지식 표현이다. 흩어진 정보를 컴퓨터와 사람이 함께 접근하고 확장할 수 있도록 모델링해야 한다. 둘째는 지식 학습이다. NLP와 LLM을 동원해 문서 속 개체와 관계를 발견하고, 그 발견을 구조화해야 한다. 지식그래프는 이 두 능선 사이에 놓인 다리다.
지식 표현
고립되고 분산된 사실을 재사용 가능한 개념, 타입, 속성, 방향성 있는 관계로 정돈한다. 잘 설계된 표현은 후속 분석과 질의의 비용을 낮춘다.
지식 학습
문서에 숨어 있는 사람·기관·주제·행위와 그 연결을 NER, 관계 추출, LLM 등으로 식별한다. 발견 자체보다 일관된 분류와 정규화가 중요하다.
ROCKEFELLER FOUNDATION · PROGRAM OFFICER DIARY · RECONSTRUCTED VIEW
급히 적은 문장이 훗날 연구 네트워크가 된다
프로그램 담당자는 회의, 전화, 저녁 식사에서 얻은 정보를 타자기로 기록했다. 기록에는 연구자의 성과와 평판, 대학과 연구기관, 연구 분야와 기술, 추천과 반대의 뉘앙스가 한데 섞였다. 약어, 이니셜, 오탈자, 당시의 전문 용어가 문장 사이에 남아 있어 단순한 검색만으로는 맥락을 복원하기 어렵다.
사람기관연구 주제
아카이브의 범위
RAC는 Rockefeller Foundation, Ford Foundation을 포함한 40개 이상의 자선재단·연구기관·문화조직 기록을 연구자에게 제공한다.
역사적 배경
Rockefeller Foundation은 1913년에 설립됐다. 표적형 자선사업은 연구 분야와 인물 네트워크를 통해 지원 대상을 선택하는 현대적 관행을 형성했다.
분석의 목적
누가 누구를 추천했는가, 지원 결정 전 어떤 대화가 반복됐는가, 연구 하위 분야의 관심이 시간에 따라 어떻게 이동했는가를 묻는다.
문서의 가치는 글자 수에 있지 않다. 어느 인물이 어느 자리에서 어떤 주제를 꺼냈고, 그 말이 다음 결정으로 어떻게 이어졌는지에 있다.제5장의 사례를 바탕으로 한 해설적 재구성
02 / KNOWLEDGE EXTRACTION PIPELINE
종이를 읽는 기계에서, 관계를 이해하는 시스템으로
제5장의 기본 경로는 단순하다. 비정형 자료를 디지털화하고, 개체를 찾고, 개체 사이의 관계를 뽑는다. 그러나 각 단계는 서로 다른 실패 양상을 갖고 있으며, 마지막 지식그래프의 품질은 가장 약한 단계에 의해 제한된다.
자료 탐색문서 유형과 언어적 난점을 파악
→
스키마 가설필요한 개체·관계 타입을 정의
→
추출 실행모델 또는 LLM으로 구조화
→
미니 KG눈으로 구조적 실패를 확인
03 / NAMED ENTITIES & RELATIONS
이름을 붙이는 일과, 사이를 설명하는 일
NER은 문장 속 대상에게 명찰을 단다. 관계 추출은 그 명찰들이 어떻게 이어지는지를 밝힌다. 지식그래프는 둘 중 하나만으로 완성되지 않는다.
Named Entity Recognition
원문에서 개체 언급을 식별하고 미리 정의한 범주에 배정한다.
일반 범주Person, Location, Organization
도메인 범주연구 분야, 기술, 질병, 직업·관심사
핵심 난점사전이나 범용 모델이 포착하지 못하는 복합 연구 주제
Relation Extraction
개체 쌍 사이의 의미 관계와 방향을 식별한다.
예시PERSON → WORKS_FOR → ORGANIZATION
대안 모델링ORGANIZATION → EMPLOYS → PERSON
핵심 원칙표현 방식보다 문서 전체에서의 일관성이 우선한다.
범용 NER의 한계
사람과 기관은 찾더라도 “aerological research”, “polar air masses” 같은 연구 주제를 하나의 도메인 개체로 묶지 못할 수 있다.
Topic의 세부 타입
RAC 사례에서 주제는 연구 분야, 기술, 질병으로 세분될 수 있다. 목적에 맞는 타입 체계가 있어야 후속 질의가 단순해진다.
관계의 방향성
Jane Austen → WORKS_FOR → Google처럼 관계의 방향을 명시한다. 반대 방향을 쓰더라도 전체 데이터에서 동일한 규칙을 유지해야 한다.
이름만 모으면 명부가 되고, 관계만 모으면 주어 없는 문장이 된다. 지식그래프는 누가 무엇이며, 그 무엇이 누구와 어떻게 이어졌는지를 함께 기록할 때 비로소 길이 된다.
04 / BUILDING WITH LLMS
여러 모델을 잇던 파이프라인을, 하나의 언어 모델이 가로지른다
전통적 NLP는 NER, 관계 추출, 공지시 해결, 개체 정규화를 각각 설계하고 연결한다. LLM은 문서 전체의 문맥을 바탕으로 이 과정을 한 번에 수행할 가능성을 연다. 다만 생성 능력은 곧 변동성과 환각의 가능성이기도 하다.
Transfer learning
대규모 사전학습에서 얻은 언어 패턴과 지식을 관계 추출 같은 새로운 과제에 재사용한다. 적은 수의 수작업 라벨로도 빠르게 시작할 수 있다.
Data-centric 전환
모델 구조만 다듬는 대신 학습 데이터의 품질과 양을 중시한다. LLM은 자연어 지시만으로도 과제를 수행하지만, 입력과 기준의 품질은 여전히 결과를 지배한다.
Hallucination
근거가 없는 상황에서도 그럴듯한 사실과 추론을 생성할 수 있다. 사실 추출에서는 창의성이 장점이 아니라 데이터 오염 경로가 된다.
온도와 출력 변동성
제5장의 원칙을 시각화한 교육용 개념 실험이다.
개념적 출력 변동 위험매우 낮음
개체·관계 추출처럼 사실 중심 과제에는 temperature 0과 명확한 출력 형식이 적합하다.
실제 모델의 오류율을 계산하는 도구가 아니다. 원문이 설명하는 방향성을 이해하기 위한 시뮬레이션이다.
05 / PROMPT EVOLUTION
좋은 프롬프트는 한 번의 영감이 아니라, 실패를 기록한 연대기다
RAC 사례의 핵심은 “LLM이 잘했다”가 아니다. 어떤 부분이 불안정했고, 무엇을 명시했을 때 타입과 관계가 정돈됐으며, 대표 예제를 확장했을 때 누락이 어떻게 줄었는지를 보여주는 데 있다.
PROMPT · V1generic one-shot
역할: 텍스트에서 지식그래프를 구성하는 전문가 과제: 가능한 한 많은 개체와 관계를 식별 출력: [개체1, 타입1, 관계, 개체2, 타입2] 조건: 관계의 방향을 보존 예제: 교수·대학·동료·연구 주제를 포함한 짧은 문장
강함
낮음
낮음
성·대명사를 전체 이름으로 복원하고 약식 직함을 확장하는 능력은 뛰어났다. 그러나
specializes in, is measuring, demonstrates처럼 의미가 가까운 관계가 여러 타입으로 갈라졌고, 실행마다 일부 관계가 빠졌다.PROMPT · V2schema-guided
관심 개체: person, location, organization, date, occupation
관심 관계: works for, works with, student of,
talked about, talked with, works on
도메인 지침:
- 사람은 전체 이름 뒤에 성·이니셜로 재언급될 수 있음
- 대학과 학과는 다양한 약어로 표기될 수 있음
- occupation은 연구 분야·관심사·기술을 포괄강함
개선
중간
연구 주제가
occupation으로 통일되고 직함이 완전한 형태로 출력됐다. 다만 관계 동사가 여전히 measures, specializes in 등으로 갈라졌고 calorimetric method가 누락됐다.PROMPT · V3representative one-shot
복합 예제에 다음 패턴을 모두 포함 - 약식 직함 → 정규화된 직함 - person → works for → organization - person → student of → person - person → works on → occupation - 사람·기관의 약칭과 문맥 기반 복원 - 주요 관계의 기대 출력까지 명시
강함
높음
충족
D. H. Andrews와 J. B. Mayer의 소속, 직함, 연구 주제, 사제 관계, 협업 관계가 목표 타입에 맞게 정돈됐다. 실제 프로젝트에서는 JSON 출력과 관계 속성까지 확장했다.
정량 점수처럼 보이는 막대의 의미
위 막대는 원문에 없는 성능 수치를 만들어낸 것이 아니라, 각 버전에서 서술된 질적 변화만 시각적으로 정리한 것이다. 실제 precision·recall·F1은 별도 검증 데이터로 계산해야 한다.
06 / PROMPT ENGINEERING FIELD GUIDE
프롬프트를 다듬는 열한 가지 현장 원칙
모델 이름은 바뀌어도 데이터의 약어, 도메인 용어, 출력의 불안정성은 남는다. 제5장이 강조하는 원칙은 특정 모델의 요령이 아니라, 추출 시스템을 검증 가능한 공정으로 만드는 방법이다.
개체·관계 클래스의 이름을 설계한다
관심 타입을 목록으로 제공한다. Topic처럼 지나치게 넓은 이름이 성능을 흐리면 더 분명한 이름으로 바꾼다.
복합적이고 대표적인 예제를 준다
모델이 어려워하는 문장 구조와 핵심 관계 타입을 예제 하나에 최대한 고르게 포함한다.
모델과 파라미터를 비교한다
사실 추출에는 낮은 temperature가 적합하다. 이 장의 실험은 GPT-4o mini와 temperature 0을 사용했다.
반복 실행의 안정성을 시험한다
같은 텍스트와 같은 프롬프트를 여러 번 실행해 결과의 겹침과 누락 변화를 확인한다.
프롬프트에도 단위 테스트를 둔다
실패 사례와 기대 출력을 테스트 목록에 추가하고, 수정할 때마다 일괄 실행해 이전 성과의 회귀를 막는다.
마일스톤마다 미니 KG를 본다
수십 쪽의 표본으로 작은 그래프를 만들고, 약칭 기관·모호한 이니셜·소속 누락 같은 구조적 실패를 눈으로 찾는다.
정량 평가를 수행한다
QA 담당자가 정답·오답·누락을 표시하고 개체·관계 클래스별 precision, recall, F1을 계산한다. 보조적으로 다른 LLM을 judge로 사용할 수 있다.
스키마를 모르면 탐색용 KG부터 만든다
범용 추출 프롬프트로 비정규화된 작은 KG를 만든 뒤, 실제로 어떤 개체와 관계가 존재하는지 탐색한다.
LLM의 언어 지식을 과소평가하지 않는다
오탈자, 약식 직함, 대학 약칭을 문맥에서 복원하도록 깨끗한 기대 출력을 제시한다.
끝없이 프롬프트만 고치지 않는다
몇 차례 빠르게 개선하고 미니 KG로 확인한다. 한계가 분명하면 남은 자원을 fine-tuning에 투자한다.
정답표가 생기면 감상이 측정으로 바뀐다
Precision · Recall · F1 계산기
개체 또는 특정 관계 클래스 하나를 평가한다고 가정한다.
Precision0.875
예측한 항목 가운데 실제로 맞은 비율
TP / (TP + FP)
Recall0.840
실제 정답 가운데 찾아낸 비율
TP / (TP + FN)
F10.857
precision과 recall의 조화 평균
2PR / (P + R)
07 / TRADITIONAL NLP OR LLM?
새 기술이 왔다고 옛 기술의 자리가 사라지는 것은 아니다
제5장의 결론은 승자독식이 아니다. 데이터 규모, 지연시간, 보안, 사내 전문성, 초기 투자비에 따라 서로 다른 선택이 합리적이다. 더 나아가 한 기술이 다른 기술의 학습 데이터를 준비할 수 있다.
| 관점 | 전통적 NLP | LLM |
|---|---|---|
| 예측 속도 | 장점 작은 모델은 CPU에서도 빠르게 동작 | 약점 대형 모델은 GPU를 사용해도 상대적으로 느림 |
| 인프라와 비용 | 장점 단순하고 저렴한 온프레미스 구성 가능 | 약점 GPU, 모델 버전, 서빙 인프라의 복잡성 |
| 초기 도메인 적응 | 약점 여러 학습 데이터와 전문 인력이 필요 | 장점 프롬프트와 transfer learning으로 빠르게 시작 |
| 파이프라인 | 약점 NER·RE·공지시·개체 해소 모델을 연결 | 장점 한 번의 문맥 처리로 여러 작업을 통합 가능 |
| 후처리 | 모델별 출력의 정규화·정제·연결이 필요 | 장점 문맥 이해와 생성 능력으로 정규화 부담 감소 |
| 대규모 데이터 | 장점 낮은 단위 예측 비용 | 주의 규모가 커지면 API·GPU 비용이 빠르게 누적 |
| 보안 | 장점 격리 배포가 비교적 쉽고 저렴 | 주의 클라우드 사용이 불가하면 자체 GPU 운영 부담 |
프로젝트 조건
체크 상태에 따라 원문의 장단점 논리를 적용한다.
LLM-FIRST
LLM으로 빠르게 탐색하고 검증한다
프롬프트 기반 추출로 미니 KG를 만든 뒤 품질이 충분하면 본 처리로 확장한다. 부족하면 preannotation을 활용해 fine-tuning 데이터나 전통 NLP 학습 데이터를 만든다.
낮은 초기 도메인 적응 비용
복합 문맥과 약어를 한 흐름에서 처리
정규화·개체 해소 후처리 부담 감소
가장 실용적인 결론: 공존
LLM을 production에 쓰기 어렵다면 프롬프트 기반 preannotation으로 전통 NLP의 라벨링 비용을 줄일 수 있다. 반대로 전통 NLP가 속도와 보안을 담당하고 LLM이 어려운 문서나 품질 검수에 투입되는 혼합 구조도 가능하다.
08 / PRACTICAL WORKFLOW
제5장을 실제 프로젝트 절차로 바꾸면
문서의 먼지를 털어내는 것에서 끝나지 않는다. 질문을 세우고, 타입을 정하고, 작은 그래프를 보고, 수치로 검증하고, 적절한 기술 경로를 선택해야 한다.
업무 질문과 문서 범위를 고정한다
지원 결정의 선행 패턴, 추천 네트워크, 내부 논의 횟수, 분야별 시간 추세처럼 후속 KG가 답해야 할 질문을 먼저 적는다.
문서의 언어적 난점을 표본 조사한다
이니셜, 성만의 재언급, 학과 약칭, 시대별 용어, 오탈자, 관계의 암묵성을 확인한다.
관심 개체와 관계의 최소 스키마를 만든다
사람·기관·장소·날짜·연구 주제와 works for·works with·student of·talked about·works on 등을 정의한다.
낮은 temperature로 빠른 프롬프트 반복을 수행한다
범용 지시에서 시작해 실패를 기록하고, 타입 목록과 도메인 규칙, 대표 예제를 차례로 추가한다.
마일스톤마다 수십 쪽 규모의 미니 KG를 만든다
그래프를 탐색해 약칭 기관의 분산, 같은 의미 관계의 과다 생성, 누락된 사람과 관계를 찾는다.
고정 테스트와 정량 평가를 수행한다
반복 안정성, 클래스별 precision·recall·F1, 시스템적 누락을 확인하고 모델 드리프트 감시 기준을 남긴다.
Prompt-only, fine-tuning, 전통 NLP 또는 혼합 경로를 결정한다
정확도만이 아니라 처리량, 총비용, 보안, 유지보수, 사내 역량을 함께 고려한다.
09 / CHAPTER SYNTHESIS
문장에서 그래프로, 그래프에서 다시 질문으로
제5장은 지식그래프 구축의 가장 인간적인 부분을 보여준다. 사람이 급히 남긴 불완전한 문장을 기계가 읽되, 사람이 정한 개념과 검증 절차 안에서 읽게 만드는 일이다.
핵심 명제
1비정형 텍스트에서 KG를 만들려면 도메인 고유 개체와 관계를 식별해야 한다.
2전통 NLP는 여러 전용 모델과 고품질 주석 데이터를 필요로 하며 초기 투자가 크다.
3LLM은 프롬프트 반복 또는 fine-tuning으로 낮은 초기 비용의 도메인 추출을 가능하게 한다.
4생성 능력은 문맥 복원과 정규화를 돕지만, 불안정성과 환각을 평가 절차로 통제해야 한다.
5전통 NLP와 LLM은 경쟁 관계만이 아니라 서로의 학습 데이터와 운영 약점을 보완하는 조합이 될 수 있다.
한 문장으로 남기는 제5장
좋은 지식 추출은 모델이 많이 아는 데서 끝나지 않는다. 무엇을 찾아야 하는지 분명히 이름 붙이고, 같은 문서를 거듭 읽혀도 같은 관계가 남는지 확인하며, 작은 그래프에서 실패를 눈으로 발견하는 데서 완성된다.
다음 장으로 이어지는 질문
이제 추출된 개체와 관계를 실제 KG 스키마에 적재하고, 중복을 정리하며, 연구자 네트워크와 영향 경로를 어떻게 분석할 것인가.