01. 서론
LLM은 텍스트 데이터만을 학습함에도 불구하고, 내부 잠재 공간에서 고도로 구조화된 지각적 기하학(Perceptual Geometry)을 형성합니다. 이는 언어적 공출현 통계 내에 내재된 변환 대칭성으로부터 자연스럽게 발생합니다.
// 핵심 시사점
인간의 지각적 조직화 원리가 언어를 통해 모델의 내부 표현으로 정렬(Alignment)될 수 있음을 시사합니다.
기계론적 해석
감각 데이터 없이 '퀄리아 맵'을 복원하는 세계 모델 규명
목표
잔차 스트림 내 매니폴드 형성/소멸 궤적 분석
02. 분석 방법론
고차원 잔차 스트림의 기하학적 정밀 측정을 위한 프로토콜
자극 추출 및 프롬프팅
최소 구조화 프롬프트(Minimal Structured Prompts)를 사용하여 외부 추론 작업 및 세만틱 노이즈를 제거합니다.
RSA & 거리 지표
코사인 디스밀러리티를 기초 지표로 활용하여 방향적 구조를 고립시킵니다.
기하학적 시각화
MDS와 Isomap을 병행하여 지오데식 거리를 보존한 맵을 검증합니다.
03. 도메인별 지각 기하학 형성
색상 (Color)
중간 레이어에서 원형 매니폴드(Circular Manifold)를 형성하여 인간의 색상환을 정밀하게 복원합니다.
감정 (Emotion)
Valence-Arousal 구조에 정렬된 안정적인 매니폴드. 심층 레이어에서도 높은 안정성을 유지합니다.
음고 (Pitch)
이산적 분류가 아닌 호(Arc) 형태의 연속적이고 서수적인 궤적으로 조직화됩니다.
맛 (Taste)
가장 초기에 형성되나 RSA 점수가 낮고 노이즈가 많아 구조가 빠르게 붕괴됩니다.
"So What?" - 도메인별 정렬 시퀀스
맛과 같은 단순 구조는 초기에 완성되지만, 감정이나 색상처럼 복잡한 세만틱 결합이 필요한 도메인은 심층 레이어의 연산이 필수적입니다. 이는 모델의 단계적 추상화 과정을 입증합니다.
04. 일시적 출현 및 감쇠 경로
레이어별 표현적 자원의 변환 3단계 프로필
Phase 1: Diffuse
Early Layers
어휘적 기능(Lexical features) 인코딩에 집중
Phase 2: Organised
Middle Layers (The Peak)
추상적 기하학으로 재구성되어 정렬도 극대화
Phase 3: Attenuated
Final Layers
태스크 중심 추론 아티팩트 개입으로 구조 붕괴
05. 아키텍처별 비교 분석
| 분석 항목 | LLaMA-3 / Gemma-7B | Qwen-3-4B |
|---|---|---|
| Representational Trajectory | 전형적인 Rise-Peak-Fall 프로필 유지 | 변칙적 변환 경로 관찰 |
| 특이 현상 | 지각 정렬의 점진적/선형적 감쇠 | 심층 레이어 반등(Late-layer Rebound) |
| 색상 도메인 특성 | 중간 레이어 정점 후 급격 감쇠 | 후반 레이어에서 일시적 재조직 |
| 전략적 시사점 | 표준적 변환 파이프라인 | 고유의 다단계 정보 재구성 메커니즘 |
결론 및 제언
핵심 결론
LLM 내부의 지각 기하학은 고정된 상태가 아니라, 레이어를 거치며 조직화되었다가 태스크 수행을 위해 소모되는 '일시적인 표현적 자원'입니다.
기계론적 도구로서의 가치
특정 레이어에서 지각 구조가 선명하게 드러난다는 사실은 블랙박스 신경망 해석 및 안전한 AI 설계의 강력한 도구가 됩니다. 향후 멀티모달 정렬 작업 시 중간 레이어 활용이 공학적으로 유리합니다.
References
- • Karkada et al. (2026). Emergent Symmetries in Language Models.
- • Russell, J. A. (1980). A Circumplex Model of Affect.
- • Recent benchmarks (2025): Representational Trajectories in LLaMA-3.2 & Qwen-2.5.