LLM의 지능형 에이전트
전환을 위한 기술 명세서
단순한 토큰 예측 모델을 넘어, 능동적 문제 해결과 매개변수화된 행동을 구현하는 차세대 언어 에이전트 프레임워크.
1. 패러다임의 전환
현대 AI 연구는 단순한 통계적 지식 기반의 '지능형 자동 완성기'에서 실행 시점의 제어와 자가 수정을 포함하는 '매개변수화된 행동(Parameterized Behavior)'을 갖춘 언어 에이전트로 진화하고 있습니다.
2. 지도 미세 조정 (SFT)
어시스턴트 페르소나 이식, 구조적 응답 최적화, 턴 테이킹 프로토콜 및 복잡한 지시 이행 능력 확보.
3. 강화 학습 (RL)
GPO를 통한 정책 최적화 및 KL 발산 제약을 통한 일반 언어 능력 훼손 및 환각 방지 매커니즘.
4. 보상 체계
근거 기반(Vibes-based) 평가에서 코드 실행 등 결정론적 검증(Verifiable) 체계로의 기술적 전이.
5 & 6. 내부 사고 및 도구 활용
'자동 회귀적 트랩'을 극복하기 위해 <thought> 사고 토큰을 활용한 추론 시간 확장(Inference-time scaling)을 구현합니다. 또한 도구를 단순한 액션이 아닌 '사고를 위한 도구(Tools for Thinking)'로 재정의하여 파이썬 코드 실행 등을 통한 지적 증폭을 수행합니다.
7. 결론: 형식적 검증을 통한 무결성
에이전트 훈련의 최종 단계는 보상 해킹이 불가능한 '협력적 게임' 환경을 조성하는 것입니다. Lean과 같은 형식적 검증 도구를 공리 수준에서 적용함으로써, 인간의 언어를 고차원적 연구 보조 도구로 변환하는 '자동 형식화(Auto-formalization)'의 표준 프레임워크를 정립합니다.