Abstract-CoT 기반 차세대 LLM 추론 지능 및 비용 최적화 전략

1. 서론: 언어적 CoT의 한계와 추론 효율성의 필요성

전통적인 자연어 기반 생각의 사슬(Chain-of-Thought, CoT) 추론은 모델의 성능을 높이는 데 기여했지만, 다음과 같은 세 가지 치명적인 단점을 안고 있습니다.

• 추론 비용 및 지연 시간: 방대한 텍스트 생성으로 인해 토큰 비용이 급격히 증가합니다.
• 학습 복잡도: 강화학습(RL) 과정에서 긴 추론 경로는 높은 메모리 및 연산 부하를 초래합니다.
• 잠재적 불충실성: 생성된 자연어 설명이 모델의 실제 내부 추론 과정을 정확하게 반영하지 못할 수 있습니다.

Abstract-CoT는 추론 성능과 인간의 가독성이 분리될 수 있다는 관찰에 기반하여 "비언어적 잠재 추론"을 도입합니다. 이 전략은 연속적인 개념 공간 대신 이산적인 토큰 공간에서 작동하여 시스템 복잡도를 낮추고 제어 가능성을 높입니다. 이는 모델이 인간의 이해를 위한 언어가 아닌, 모델 스스로에게 최적화된 암묵적인 "사고의 언어(Language of Thought)"를 사용하도록 훈련합니다.

2. 아키텍처 설계: 예약 어휘 확장 및 제약된 디코딩

Abstract-CoT의 구현은 모델의 임베딩 레이어를 수정하지 않고 사후 학습(Post-training) 단계에서 어휘를 확장하는 방식을 취합니다.

예약 어휘(V_abs) 및 최적 스케일링

• 기존 토크나이저에 M개의 새로운 "예약 토큰(Reserved Tokens)" $V_{abs}$를 추가합니다.
• 컨텍스트 스케일링 분석 결과, 성능은 M=64를 넘어서면 정체되거나 소폭 하락하는 경향을 보입니다. 따라서 자원 효율성과 추론 성능의 균형을 위해 M=64를 최적의 구성으로 선택합니다.
• 추론 세그먼트를 정의하기 위해 <beginabstract> 및 <endabstract> 구분자를 도입합니다.

제약된 디코딩 및 채널 용량 관리

추론 과정에서 제약된 디코딩(Constrained Decoding)을 적용하여 모델이 $V_{abs} \cup \{\text{<endabstract>}\}$ 집합에서만 토큰을 생성하도록 강제합니다. 최대 토큰 길이($m_{max}$)인 추론 예산(Inference Budget)은 섀넌의 채널 용량 프레임워크로 해석됩니다. 실험 결과 $m_{max}=128$에서 최적의 정보 압축 효율을 달성했습니다.

3. 학습 프로세스 1단계: 정책 반복 웜업 (Warm-up)

새로운 토큰의 무작위 초기 임베딩 때문에, 의미 있는 개념적 표현을 구축하기 위해 Dolci-Think-SFT 데이터셋(약 60만 샘플)을 사용한 웜업 루프가 필수적입니다.

정보 병목(IB) 기반 SFT

블록 구조의 어텐션 마스크 $A_{i,j}$를 통해 정보 흐름을 제어합니다. 모델은 프롬프트 $X$와 추론 토큰 $Z$를 조건으로 응답 $Y$를 생성하는 $C \rightarrow H_{Zabs} \rightarrow Y$ 구조를 형성합니다.

데이터 처리 부등식(Eq 2)에 따라, 모델은 복잡한 자연어 CoT($C$)의 핵심 논리를 좁은 $Z$ 채널로 압축하도록 강제됩니다. 응답 생성 시 자연어 CoT는 명시적으로 제로 마스킹(Zero-masking)됩니다.

자기 증류 (Self-Distillation)

웜업된 가중치를 사용하여 모델이 자연어 가이드($C$) 없이 프롬프트($X$)로부터 직접 추론 토큰($Z$)을 생성하도록 훈련하여 내부화된 잠재 추론을 유도합니다.

4. 학습 프로세스 2단계: 웜스타트 강화학습 (Warm-started RL)

웜업 이후, GRPO(Group Relative Policy Optimization)를 사용하여 Dolci-Think-RL 데이터셋으로 최적화를 수행합니다.

• 웜스타트의 이점: 무작위 임베딩에서 시작하는 콜드스타트 RL은 성능 기준치를 충족하지 못하는 반면, 웜업 모델은 추론 언어의 멱법칙(Power-law) 분포를 효과적으로 형성합니다.
• 보상 설계 및 생성적 보상 모델(GRM): gpt-oss-20b 모델을 통해 유용성, 정확성, 명확성, 관련성, 안전성의 5가지 차원을 평가합니다.
• KL 정규화: 정책 업데이트 중 모델의 고유한 생성 능력이 붕괴되는 것을 방지하기 위해 추론 토큰과 응답 토큰 분포 모두에 적용됩니다.

5. 성능 평가: 토큰 효율성 및 고난도 추론 품질

Abstract-CoT는 수학적 추론, 대학원 수준 문제(GPQA), 올림피아드 수준 문제(AIME)에서 뛰어난 성능을 보입니다.

6. 추론 언어 분석: 멱법칙과 구성성

학습된 이산 잠재 토큰은 자연어의 통계적 특성을 반영합니다.

• 지프의 법칙(Zipf's Law) 발현: 특정 토큰(<TOKEN_F>)이 압도적인 빈도로 사용되며, 이는 모델이 해당 토큰에 일반적인 논리 연산이나 개념적 가교 역할을 할당했음을 시사합니다.
• 구조적 견고성: 추론 토큰 순서를 섞으면 성능이 크게 저하되지만, 절단(Truncation) 실험에서는 자연어 CoT보다 성능 하락이 완만하여 짧고 암묵적인 추론 경로의 견고함을 입증했습니다.

7. 결론: 실무 적용 제언 및 기술적 시사점

Abstract-CoT는 대규모 추가 사전 학습 없이 사후 학습만으로 추론 전용 언어를 구축할 수 있게 함으로써 기업용 LLM 최적화에 실질적인 이점을 제공합니다.

엔지니어링 팀은 '병목 SFT → 웜스타트 RL'이라는 2단계 학습 레시피를 활용하여 최상위 수준의 추론 지능을 유지하면서도 추론 비용을 최대 11.6배까지 절감할 수 있습니다. 향후 연구는 문제 난이도에 따라 추론 길이를 조절하는 예산 적응형 메커니즘과 다중 에이전트 환경을 위한 계층적 코드북 구조 탐색에 집중될 것입니다.