자기개선 자율 에이전트는 연구 프로토타입에서 배포 시스템으로 이행하고 있다. 이 서베이는 현대의 자기개선 에이전트를 경험을 누적적 능력 향상으로 변환하는 적응 시스템으로 규정하고, 파운데이션 모델(FM)과 운영 스캐폴드(프롬프트·메모리·도구·제어 로직)의 결합으로 에이전트를 표현하는 시스템 수준의 통일 프레임워크를 제시한다.
"The first ultraintelligent machine is the last invention that man need ever make." — I. J. Good (1966), 지능 폭발(Intelligence Explosion) 가설
자기개선은 본질적으로 자기참조적(self-referential) 과정이다. 시스템이 자신의 최적화 메커니즘과 운영 로직을 스스로 검사·평가·수정하는 능력을 뜻한다. Schmidhuber(1987)의 자기참조 학습 프레임워크와 괴델 머신(2003)이 이론적 상한을 제시했지만, 과거에는 어셈블리 수준 코드나 원시 시냅스 가중치라는 방대한 저수준 탐색 공간이 병목이었다. 현대 FM은 자연어를 추론·정책 실행·자기수정의 통합 시맨틱 매체로 도입함으로써 이 병목을 완화했고, 실질적 성능 향상의 경험적 증거가 축적되고 있다.
논문은 수정 대상에 따라 두 개의 일차 경로로 기존 연구를 조직한다. 두 경로 모두 상호작용에서 추출한 학습 신호가 구동하며, 분류 체계는 무엇이 갱신되는가와 개선 신호가 어디서 오는가를 분리한다.
모델 파라미터를 갱신하여 능력을 가중치에 내재화한다. 느리지만 안정적인 장기 축적(consolidation) 형태로, 다양한 과업에 걸쳐 능력 향상을 상각한다.
S_t ≈ D_tS_t ≈ e_tS_t ≈ τ_t모델은 동결한 채 구조적 구성요소를 비파라미터적으로 갱신한다. 빠르고 가역적이며, 에이전트의 유효 관측·행동 시맨틱을 재형성한다.
p_t → p_t+1m_t → m_t+1T_t → T_t+1Σ_t → Σ_t+1기존 리뷰는 FM 파인튜닝과 에이전트 스캐폴딩을 분리된 주제로 다루고, 고전 AI까지 개념적 뿌리를 추적하는 경우가 드물다. 본 서베이는 (1) 역사적 맥락과 진화 궤적의 정리, (2) 통일 형식화와 체계적 분류(FM 개선 / 스캐폴드 개선), (3) 경험적 지형·평가 패러다임· 개방 문제의 통합 분석이라는 세 가지 기여를 제시한다.
| 비교 차원 | 본 서베이 (2026) | Gao et al. (2026a) | Fang et al. (2025a) | Tao et al. (2024) |
|---|---|---|---|---|
| 에이전트 형식화 | ✓ 주요 | ✓ 주요 | ✓ 주요 | ◦ 부차 |
| 정의 범위 | ✓ 주요 | ✓ 주요 | ◦ 부차 | ◦ 부차 |
| 역사적 뿌리 | ✓ 주요 | – 비중 없음 | ◦ 부차 | ◦ 부차 |
| 신호 관점 | ✓ 주요 | ◦ 부차 | ✓ 주요 | ✓ 주요 |
| 갱신 기질(substrate) | ✓ 주요 | ✓ 주요 | ✓ 주요 | ◦ 부차 |
| 평가 관점 | ✓ 주요 | ✓ 주요 | ✓ 주요 | ✓ 주요 |
| 도메인 커버리지 | ✓ 주요 | ◦ 부차 | ◦ 부차 | – 비중 없음 |
| 전망과 이슈 | ✓ 주요 | ◦ 부차 | ✓ 주요 | ◦ 부차 |
자기개선은 현대 FM에 고유한 것이 아니라 AI의 근본 목표다. 표준 기계학습이 고정된 아키텍처 내부의 파라미터를 최적화하는 반면, 진정한 자기개선은 시스템이 자신의 운영 로직·휴리스틱·학습 알고리즘 자체를 명시적으로 검사하고 재작성할 것을 요구한다.
최소제곱법(Legendre 1805; Gauss 1809)이 오차 최소화를 위한 체계적 파라미터 조정을 시연했다 — 1801년 가우스의 세레스 재발견은 200년 전의 신경망식 패턴 인식 사례로 회고된다. 사이버네틱스(Wiener 1948), 애슈비의 항상성(1952), 튜링의 "child machine"(1948/1950), 로젠블랫의 퍼셉트론(1958)과 새뮤얼의 체커 프로그램(1959)이 피드백 기반 행동 최적화를 보였으나, 학습 알고리즘 자체는 고정되어 있었다. 괴델(1931)은 자기참조적 형식 문장의 구성을 통해 자신의 코드를 조작하는 프로그램의 이론적 청사진을 제공했고, Good(1966)은 지능 폭발 개념을 제시했다.
폰 노이만의 자기재생산 오토마타 이론(1966)과 Myhill(1964)의 형식화가 기술(記述)의 편집을 통한 복잡도 증대를 명확히 했다. Lenat의 AM(1984)은 휴리스틱으로 수학적 개념 공간을 탐색했고, EURISKO(1983)는 휴리스틱 자체를 조작 가능한 Lisp 객체로 표현해 자신의 문제해결 전략을 생성·수정·시험했다. 다만 Schmidhuber(1987)가 지적했듯 EURISKO의 실질적 성공은 외부 평가 신호로서의 사용자에게 크게 의존했다 — 강건한 내부 평가 신호의 필요성은 현대 에이전트 시스템에도 지속되는 과제다.
Schmidhuber(1987)의 자기참조 학습은 학습 절차 자체를 탐색 대상으로 만들었고, Bengio et al.(1991)은 시냅스 학습 규칙의 파라미터화를 시연했다. 고속 가중치 프로그래머(FWP, 1991–93)는 자기수정을 연속 프로그램 공간으로 옮겼으며, 1991년의 비정규화 선형 트랜스포머(ULTRA)로 회고적으로 식별된다. 성공담 알고리즘(SSA, 1994–97)은 정책 자기수정의 백트래킹을 통한 점진적 자기개선을 확립했다. NEAT(2002), AIXI(2000)를 거쳐 괴델 머신(2003)은 기대 효용 개선을 수학적으로 증명할 수 있을 때만 자신의 코드를 재작성하는 — 정리 증명기까지 포함해 모든 구성요소가 수정 대상인 — 완전 자기참조 기계를 제시했다.
이론 트랙에서는 자기기만·보상 조작·치명적 오류의 위험(Orseau & Ring 2011), 반사적 오라클 (Fallenstein et al. 2015), 논리적 귀납(Garrabrant et al. 2020)이 안전하고 제약된 자기수정의 필요성을 규명했다. 공학 트랙에서는 괴델 머신 구현 시도(2012), 제한적 재귀 자기개선(Nivel et al. 2013), 신경 아키텍처 탐색(NAS, 2017), 자기대국 강화학습(AlphaZero 계열)이 인간 감독 없는 능력 성장의 기반을 마련했다.
FM은 자기개선을 두 메커니즘으로 분리했다. 빠른 무학습 적응 — 인컨텍스트 학습은 어텐션의 KV 캐시가 만드는 일시적·문맥 의존적 가중치 변화로, 1991년 고속 가중치 프로그래머와 기능적으로 등가다. 느린 파라미터 최적화 — RLHF(2022), Constitutional AI(2022), ReAct/Reflexion의 실행 오류 → 자연어 성찰 변환, Voyager의 스킬 라이브러리, 세대를 거듭하는 컴퓨터 사용 에이전트까지. 현대는 자기개선을 파라미터와 스캐폴딩을 가로지르는 중첩 루프로 재구성하며, 제어·평가·안전의 고전적 질문을 대규모로 재점화한다.
FM은 근본적으로 무상태 추론 엔진이므로, 자율성은 인지 코어를 지속적·상호작용적 스캐폴드와 결합해야 달성된다. 시점 t의 에이전트 구성과 유도 정책은 다음과 같이 정의된다.
여기서 p_t는 구조화된 프롬프트, m_t는 메모리 메커니즘과 검색·갱신 정책,
T_t는 외부 도구 집합과 호출 인터페이스, g_t는 라우팅·스케줄링·안전 제약 같은
제어 로직이다. 실행 상태 X_t(KV 캐시, 중간 계획, 단기 작업 메모리)는 본질적으로
일시적(ephemeral)이며 과업 경계에서 폐기된다 — 이것이 내재적 구성 (θ, Σ)의 지속적 갱신과
단순한 문맥 축적을 구분하는 핵심이다.
E는 유도 정책을 과업 맥락 C_t에서 실행해 학습 신호(궤적·성찰·비평·제안된 편집)를
생산하는 에이전트 실행 절차이고, U는 그 자기생성 신호를 내재적 구성요소(θ 또는 Σ)에
커밋하는 시스템 수준 갱신 규칙이다. Σ_t가 E의 명시적 인자인 이유는 직접적 자기검사
(프롬프트 템플릿 비평, 도구 구성 감사)를 허용하기 위해서다. 갱신은 되돌릴 수 없는 것은 아니지만
지속적(durable)이며, 상호작용 스트림에 걸쳐 성공 전략을 점점 안정적인 정책으로 응고시킨다.
정책 실행이 경험·보조 산출물(궤적, 평가, 선호, 합성 레이블)을 생성하고, 이것이 학습 목적함수를 구성해 외부 최적화 절차가 θ 를 갱신한다. 에이전트의 행동이 미래 파라미터를 결정하는 데이터와 감독을 형성한다.
정책 실행이 자신의 운영 정의를 직접 편집한다 — 프롬프트 템플릿 수정, 메모리 재조직, 도구 인터페이스 재구성, 제어 로직 변경으로 Σ 를 명시적으로 갱신한다. 실행 공간에서의 자기개선이다.
스킬은 갱신 연산자 U의 재사용 가능한 인스턴스 — 에이전트가 보존·재사용하는, 자신의 구성
A_t에 대한 명명된 갱신이다. 스킬의 정체성은 그것이 인코딩하는 갱신이며, 저장 기질(도구 T, 지시 p,
메모리 항목 m, 응고된 가중치 θ, 제어 로직 g)은 저장 위치만을 지정한다 — 이것이 스킬을 분류 체계의
기질 축과 직교하게 만든다. 재사용은 두 형태다: 반복 호출되는 루틴, 또는 설치자(installer)처럼
한 번 적용되지만 이식 가능한 산출물로 남는 갱신. 스코프도 두 가지다:
객체 수준 스킬은 과업/세계 상태에 작용하며(예: collect-wood 루틴 — 계층적 RL의 옵션에 대응),
메타 수준 스킬은 에이전트 자신의 구성 A_t에 작용한다(새 도구 작성, 프롬프트 리팩토링, 경험의
메모리 응고, 스캐폴드 패치). 메타 수준 스킬은 A_t에 작용하는 동시에 A_t로 직렬화되므로,
연산자가 자신의 피연산자가 되는 자기참조 루프를 복원한다.
θ 갱신은 고정된 결정 과정 하의 표준 정책 최적화(PPO, DPO)와 정렬된다. Σ 갱신은 고전 RL 밖에 있다 — 도구 추가·메모리 수정은 유효 상태-행동 공간과 관측 처리 로직을 바꿔 MDP 자체를 재형성하며, 이산·구조적 산출물을 경사하강이 아닌 탐색·생성·기호 편집으로 갱신한다. 학습 신호의 원천도 외부 스칼라 보상에서 자기생성 감독으로 이동한다.
배포 중 반복 갱신되고 개선 궤적으로 평가될 때 교차한다. θ 는 분포 이동·파국적 망각이라는 고전적 안정성 문제를 계승하며 리플레이·정규화·PEFT·버저닝으로 완화한다. Σ 는 적응을 명시적·점검 가능한 구성요소로 외재화하지만 메모리 오염, 도구 시맨틱 드리프트, 취약한 템플릿 의존이라는 고유 실패 모드를 도입한다.
에이전트가 빈번한 실패 모드를 겨냥하거나 검증기 불일치를 최대화하는 환경을 찾을 때 교차한다. 오라클 레이블 대신 자기생성 검증에 의존하므로 표준 능동 학습을 넘어, 학습 진보·베이지안 놀라움· 압축 진보를 극대화하는 실험을 능동적으로 구성하는 고전적 인공 호기심 프레임워크 (Schmidhuber 1991–2010)에 직접 연결된다.
이력 θ_1:t, Σ_1:t의 유지는 제안된 갱신이 성능을 저해하거나 제약을 위반할 때의
검증과 롤백(이전 체크포인트 복귀)을 지원한다. 개입 유형들은 상호배타적이 아니라 조합적이다 —
단일 갱신이 복수의 스캐폴드 구성요소를 동시에 편집할 수 있다.
에이전트가 자신의 실행으로 훈련 신호를 생성하고, 그 자기유도 신호에 학습 알고리즘을 적용해 θ를 갱신한다. 학습된 표현과 행동 사전확률이 가중치에 압축되므로, 갱신은 정책의 근본적 정련, 체계적 오류의 감소, 목표와의 정렬 개선을 가능하게 한다. 신호의 형태에 따라 세 하위 범주로 나뉜다.
FM이 인지적 학습자와 데이터 합성기를 겸한다. 가중치에 압축된 시맨틱 사전확률을 활용해 지시-응답 쌍, 추론 궤적, 실행 로그 형태의 시연을 새로운 외부 관측 없이 자율 구성하며, 병목을 인간 주석 획득 비용에서 생성 전략과 내부 필터링 메커니즘의 설계로 이동시킨다.
소수 시드에서 대규모 코퍼스 구축(Self-Instruct), 복잡도 진화(Evol-Instruct), 자기일관성 필터링(LMSI)과 외부 검증기 선별, 재귀적 문제 분해 큐리큘럼(LADDER), 다양성 풀 확장(DIVE). TT-SI는 불확실성 추정으로 추론 시점의 약점을 탐지해 표적 LoRA 적응을 수행한다 — 소량 데이터로 인스턴스별 즉시 개선.
CoT가 부가된 지시-응답 쌍, 도구 API 호출·코드 실행 시퀀스와 중간 환경 피드백을 포함한 구조화 궤적(장기 과업의 의존성·오류 복구 감독), 멀티모달 합성 샘플, 분해된 문제 트리와 자기편집 지시 같은 메타인지 산출물. 형식은 목표 능력과 정합해야 한다.
생성 코퍼스의 재귀 학습은 모델 붕괴·망각의 위험을 도입하고, 다양성 부족은 패턴 붕괴를 낳는다. 안전장치: 실데이터 축적 병행(Gerstgrasser 2024), 외부 검증기·정리 증명기 검증, 다양성 인지 풀링, 불확실성 구동 테스트타임 생성, 인간 감사.
감독 획득을 내부 평가 과정으로 재구성한다. FM이 출력 생성기·자기평가자·인지적 학습자를 겸하며, 루브릭 준수·대안 비교·추론 명료화라는 언어 고유 능력으로 스칼라 점수, 선호 쌍, 일관성 신호, 자연어 비평을 새 환경 상호작용 없이 생산한다.
과업 지시·채점 루브릭·헌법적 원칙 κ_t에 비추어 후보를 점수화·순위화·비교한다. Constitutional AI(원칙 기반 AI 피드백 → 선호 모델 → RL), Meta-Rewarding(판단의 판단까지 선호 쌍으로), 참조 해 없는 LLM 판정 보상(SRSI), 자기 데이터로 성장하는 보상 모델(SER). 유연하지만 모호한 기준·편향된 판정자는 피상적 준수를 보상할 수 있다.
동일 과업의 다수 후보 간 합의·엔트로피·자기확신을 약한 신호로 사용한다: e_t = C(Y_t(x)). TTRL(다수결 투표 → 테스트타임 RL 보상), SRT, EMPO(엔트로피 신호), INTUITOR(자기확신을 내재 보상으로). 광범위하게 적용 가능하나 일관성은 정확성의 대리일 뿐이다 — 확신에 찬 오답은 반복 샘플링으로 증폭되고, 보정(calibration) 불량 시 취약하다.
e_t = R(x, y_t) = (c_t, y*_t) — 비평 c_t와 수정 출력 y*_t. 쌍 (y_t, y*_t)은 선호 신호 y* ≻ y를, 비평은 설명적 감독을 구성한다. ReST-meets-ReAct, SELF(언어 피드백 반복 정련), RISE(재귀 자기성찰), Reflect-Retry-Reward, AlphaLLM(탐색+비평). 스칼라 보상보다 풍부하지만 그럴듯한 오답 비평, 비평의 표면 형식에 대한 과적합이라는 실패 모드를 동반한다.
트레이드오프. 내재적 평가는 인간 주석 의존을 줄이지만, 평가자가 개선 대상 정책과 긴밀히 결합되어 공통 맹점을 강화하고 평가 기준에 과적합될 위험이 있다. 안전장치: 생성기와 평가자를 다른 체크포인트/모델 계열로 분리, 인간 주석·근거 검증이라는 외부 앵커 유지, 평가자 간 불일치를 불확실성 신호로 취급, 루브릭·보상 모델·판정 품질의 정기 감사. 내재적 평가는 유일한 감독원이 아니라 더 넓은 개선 루프의 한 구성요소로 보아야 한다.
학습 신호가 행동 이후에 일어난 일에 접지된다. FM 에이전트의 경험은 (s, a, r, s′) 튜플 스트림이 아니라 웹 페이지, 스크린샷, 코드 로그, 컴파일러 오류, 도구 호출, 중간 추론 흔적을 포함하며, FM이 읽을 수 있으므로 동일 경험을 RL·SFT·선호 구성·실패 분석에 유연하게 재사용할 수 있다.
(1) 프로그램적 검증기 — 유닛 테스트의 통과/실패가 직접 신호(Agent-RLVR); SQL 실행, 정리 증명, 점검 가능한 사후조건의 도구 사용으로 확장. (2) 학습된 보상 모델 — WebRL의 결과 감독 ORM, UI-Genie의 정책-보상 모델 공진화, MobileGUI-RL의 궤적 인지 GRPO. (3) 자기생성 과업 — Absolute Zero의 자기대국 과업 생성(수락은 실행 검증이 결정), ETO의 성공/실패 궤적 대조. AgentGym 같은 표준화 플랫폼이 반복적 경험 수집의 공학 비용을 낮춘다.
학습된 역학 모델 W(s′, r | s, a)이 프록시가 되어 예측 상태·롤아웃을 생성한다(Schmidhuber 1990; Ha & Schmidhuber 2018). FM 기반 세계 모델의 강점: 대규모 생성 사전학습이 강력한 역학 사전확률을 제공하고, 생성 관측이 정책 입력과 동일 표현 공간이므로 별도 정렬 없이 사용 가능. WebEvolver(공진화 웹 세계 모델), WebSynthesis(가역적 탐색 기반 궤적 합성), WebDreamer(모델 기반 계획), SPA(자기대국 상태 추정·전이 모델), WMPO(픽셀 공간 세계 모델의 상상 롤아웃 최적화), GLoW(이중 스케일 텍스트 세계 메모리 — 실제 상호작용 100–800× 절감).
이 설정 고유의 과제: 언어를 통한 보상 해킹(검증기 명세 자체가 조작 가능한 언어적 객체), 좁은 외재 보상에 대한 광범위 RL이 사전학습 능력을 침식하는 능력 회귀, 세계 모델이 그럴듯하지만 틀린 전이를 조작하는 환각 역학, 장기 경험을 컨텍스트 윈도에 압축해야 하는 궤적 길이-컨텍스트 긴장.
§5 요약. 파라미터 중심 자기개선은 학습된 행동을 FM 가중치에 광범위하게 인코딩한다. 성공은 자기생성 신호의 신뢰성 관리, 분포 이동 완화, 반복 훈련의 계산 비용 균형에 달려 있다.
θ를 고정한 채 Σ_t = (p_t, m_t, T_t, g_t)에 구조적 변경을 커밋함으로써, 동결된 모델이 조건화·접지·제약되는 방식을 재형성한다. 빠르고 가역적이며 파국적 망각 위험이 없는 과업 특화 적응을 제공한다. 버전 이력 Σ_1:t가 유해한 수정에 대한 검증과 롤백을 지원하며, 개입 유형은 조합적이다.
프롬프트는 에이전트의 핵심 행동 사전확률로, FM이 환경을 해석하는 방식을 정의한다. 여기서의 프롬프트는 상호작용 간 재사용되는 구조적 지시 계층(시스템 프롬프트, 안정적 정책 템플릿)을 의미하며, 특정 상호작용의 동적 조건화를 다듬는 컨텍스트 최적화(예시 선택, 검색 조립, 장기 플레이북 유지)와 구분된다. 학습 신호 S_t의 형태와 풍부함에 따라 네 패러다임으로 분류된다 — 신호가 풍부해질수록 최적화는 덜 휴리스틱하고 더 자동화된다.
| 패러다임 | 신호 S_t | 목적함수 | 대표 시스템 | 강점 | 한계 |
|---|---|---|---|---|---|
| ① 스칼라 피드백 최적화 §6.1.1 |
스칼라 점수 f(p) | argmax f(p) | APE, OPRO, RLPrompt, InstructZero, BPO, DSPy | 모델 불가지배포 단순내부 접근 불필요 | 저해석성표본 비효율탐색 민감 |
| ② 정성 피드백 정련 §6.1.2 |
텍스트 비평 c_t | Refine(p_t, c_t) | Self-Refine, Reflexion, MAPS, ACE, CoH, Scrable | 해석 가능 편집표적 교정피드백 재사용 | 비평 노이즈드리프트검증기 의존 |
| ③ 개체군 기반 진화 §6.1.3 |
선택 신호 · 적합도 | Evolve(P_t, Fit) | EvoPrompt, Promptbreeder, STOP, GPTSwarm, DEEVO, GEPA | 강한 탐색다양성 유지지역 최적 탈출 | 고비용 연산도메인 튜닝 적합도개체군 드리프트 |
| ④ 텍스트 그래디언트 최적화 §6.1.4 |
텍스트 그래디언트 g(p_t) | p_t ⊕ g(p_t) | APO, TextGrad, metaTextGrad, GASO, SkillOpt | 방향성 갱신표본 효율고도 자동화 | 취약한 그래디언트LLM별 품질 편차보장 제한 |
핵심 진화 지점: EvoPrompt는 LLM을 시맨틱하게 유의미한 교차·변이 연산자로 사용했고, Promptbreeder는 과업 프롬프트뿐 아니라 변이 프롬프트 자체를 진화시키는 자기참조 메커니즘을 도입했다. GEPA는 개체군 탐색에 반사적 메타 성찰을 결합해 스칼라 적합도 대신 텍스트 비평이 다음 세대의 변이·교차를 유도하게 한다. TextGrad는 텍스트를 통한 자동 미분으로 정성 그래디언트를 복잡한 다구성 시스템에 역전파하며, metaTextGrad는 옵티마이저 프롬프트 자체를 최적화한다 — 에이전트가 자신의 개선 과정을 개선하는 셈이다. 텍스트 그래디언트가 저랭크 파라미터 갱신으로 번역되면 프롬프트 공학과 파인튜닝의 접합이 가능해질 수 있다.
추가 전용(append-only) 로그는 컨텍스트 윈도 제약과 검색 열화에 곧 굴복한다. 자기개선 에이전트는
메모리를 수동적 저장소가 아닌 능동적으로 진화하는 스캐폴드로 취급한다.
메모리 상태를 m_t := (object_t, structure_t)로 개념화하고, 세 차원 — 저장 단위(객체),
조직 위상(구조), 그리고 신호 구동 연산 계열(처리) — 으로 분해한다. 논의는 FM을 동결한 채의
비파라미터적 외재화 메모리에 한정한다.
| 객체 유형 | 최적 지속 대상 | 특성 프로파일 | 주요 실패 모드 |
|---|---|---|---|
| 가공된 상호작용 흔적 explicit |
교훈 · 루틴 · 요약 | 원시 궤적을 재사용 가능한 시맨틱 단위(증류된 휴리스틱, 성찰)로 압축 — AWM, ReasoningBank, Self-Notes | 요약 편향 · 낡은 휴리스틱 · 약한 크레딧 할당 |
| 선별된 원시 콘텐츠 explicit |
증거 · 정확한 산출물 | 손실 없이 요약하기 어려운 표면 세부(코드, 수식, 스크린샷)를 시행착오로 검증된 고가치 산출물만 선별 저장 — ExpeL, Dynamic Cheatsheet | 컨텍스트 팽창 · 검색 노이즈 · 프라이버시 누출 표면 |
| 통합된 외부 지식 explicit |
공유 사실 상태 · 접지 | 외부 저장소의 사실을 유틸리티 피드백으로 동적 갱신·주석·가지치기 — 검증 가능성 강화 | 접지 실패 · 낡음/비일관성 · 도구 취약성 |
| 잠재 임베딩 implicit |
연상적 이월 · 고속 회상 | 잠재 토큰·은닉 상태·KV 캐시 증강 등 기계 고유 표현 — MemGen(생성적 잠재 메모리), MemoryLLM/M+(자기갱신 잠재 풀) | 드리프트/오염 · 디버깅 곤란 검색 · 무음 손상 |
엄격한 시간 순서, 저렴한 쓰기, 인과 서사 보존 — 궤적 리플레이 기반 루프에 유리. 비용은 검색 확장성: 최근성 편향과 중복 저수준 흔적 축적. SCM(요약+임베딩 보강 스트림), Self-Notes.
고수준 요약·중간 계획·저수준 흔적을 층으로 분리해 검색 노이즈 감소와 장기 일관성 확보. 위험은 구조적 취약성 — 부적합 분류 체계는 증거를 파편화한다. MobileGPT, H-MEM, SHIMI, SALM.
시맨틱·시간·인과 엣지로 연결된 노드 — 최근성 회상을 연상 검색으로 대체하고 멀티홉 증거 집계를 지원. 유지 복잡도가 트레이드오프. Mem0, Zep(시간 인지 KG), CausalRAG, G-Memory(하이브리드).
밀집 임베딩 유사도 검색 — 스키마 없는 지속 확장의 기본값. 지배적 실패 모드는 유사성-유용성 불일치로, 재순위화·하이브리드 신호·적응 게이팅으로 보완. Generative Agents, RMM, MemoryBank, MIRIX.
선택적 증류로서의 생성: 시맨틱 압축(요약·스키마), 검색된 이웃에 조건화된 이산 결정(add/update/delete/no-op), 생성 시점 근처의 제어된 경계 삽입. 과잉 기록은 검색 노이즈를, 과소 기록은 장기 능력 손실을 낳는다.
하이브리드 휴리스틱(관련성+최근성+중요도), 구조 인지 검색(coarse-to-fine 순회), 검색 게이팅(질의 여부·컨텍스트 양의 동적 결정), 검색 구동 적응(과거 궤적을 행동 지침 사례로 페치).
자기교정과 지식 진화의 주 메커니즘: 예약된 검토와 감쇠(고효용 강화, 낡은 항목 감쇠), 국소 리프레시(삽입 시 위상 이웃 갱신), 반복 증류(성공의 압축 추상화), 오프라인 집계(고비용 압축의 루프 외 이동).
체계적 노이즈 감소: 다단계 가지치기(쓰기 시점 필터 + 접근 빈도 기반 주기 정리), 합의 기반 축출(분산 설정의 협력 투표), 계층별 축출(OS 영감 규칙). 과잉 가지치기는 핵심 지식을, 과소 가지치기는 검색 속도를 잃는다.
신호 구동 메모리 루프. 관찰·중요도 탐지 → 압축 객체 생성 → 위상 구조로 조직 → 적응 검색으로 온디맨드 읽기 → 계획·행동 → 결과 평가로 S_t 도출 → 갱신/삭제로 고가치 지식 응고와 노이즈 가지치기. 이 연속 수명주기가 메모리를 수동적 캐시에서 개방형 자율성을 지속하는 자기통치 엔진으로 격상시킨다.
정적 수동 큐레이션 툴킷에서 도구 거버넌스 메타인지(Tool Governance Metacognition)로의 전환 — 에이전트가 도구의 필요성·효용·신뢰성을 자율적으로 추론하며 능력 경계 안에서 작동하는 것이 아니라 경계 자체를 확장한다. 세 차원으로 인스턴스화된다.
검색·그래프 기반 — MemTool(도구 집합의 능동 가지치기), TAR(원자적 API↔에이전트 단위 라우팅), ToolNet/OrchDAG(도구 전이의 유향 그래프 — 다단계 실행 가능성 고려), MassTool. 정책 학습 — SFT 부트스트랩(MCP-Flow, Tool-Star) 후 희소 보상·선호 신호(AgentFlow, SPORT), ToolGen(검색·선택·호출을 단일 생성 과정으로 통합). 능동·상호작용적 — MCP-Zero/ASKTOACT (불명확 의도에서 도구 발견·명료화 개시), Tool-Planner(교체 가능한 도구 클러스터의 국소 수리), ToolACE-R(난이도 기반 수정 노력 보정).
취약한 프로그램을 신뢰 가능한 스킬로 전환하는 동시에, 무엇이 스킬 저장소에 들어갈지 통제하는 게이트키핑이다 — 신뢰할 수 없는 도구의 저장·재사용은 반복 검색을 통해 미래 행동을 오염시킨다. VOYAGER의 생성-실행-수정 루프가 기준선. 강화 축: 비평 특화(STELLA의 전담 비평 에이전트), API 추상화(SkillWeaver의 재사용 웹 도구 증류, PyVision의 동적 Python 정련), 인터페이스 정렬(DRAFT — 코드가 아닌 도구 문서를 정련; 다수 실패가 자연어 지시와 도구 어포던스의 불일치에서 비롯된다는 관찰).
일회성 문제 해결을 재사용 가능한 절차적 지식으로 변환한다. 합성 트리거 — 온디맨드 발명 (ATLASS, PyVision) vs 자기주도 탐색(FRIDAY, STELLA의 도메인 리소스 발굴). 수명주기 자동화 — TOOLMAKER: 과학 논문에서 로직 추출 → 의존성 설치 → 폐루프 디버깅 → 호출 가능한 인터페이스 생산. 표준화 통합 — Alita/Code2MCP(코드 저장소의 MCP 서비스 자동 변환), AgentOrchestra(의도 파싱·검증·공식 등록 파이프라인) — 폭발적 도구 성장이 라우팅 정책을 불안정화하지 않도록 보장.
에이전트가 자신의 전체 운영 로직과 코드베이스를 가변적 기질로 취급한다. 결정적으로, 개선 절차가 현재 스캐폴딩 내부에 구현되므로 갱신은 자기참조적이다 — 개선자가 자신이 개선하는 에이전트와 함께 진화할 수 있다.
| 시스템 | 핵심 메커니즘 |
|---|---|
| AlphaEvolve (2025) | 개방형 과학 문제를 위한 코딩 에이전트 — 다수 평가기의 피드백을 받는 진화적 알고리즘 개선으로 과학적 발견과 기술 스택 최적화를 가속 |
| ShinkaEvolve (2026) | 탐색-활용 균형 부모 샘플링, 코드의 신규성 기반 기각 샘플링, 밴딧 기반 LLM 앙상블 적응 선택 — 극소수 평가 샘플로 개방형 프로그램 발견 |
| ADAS / EvoFlow | 에이전트 시스템 설계 공간의 탐색; 이종 워크플로의 비용-성능 파레토 집합을 온라인으로 진화 |
| STOP (2024) | Self-Taught Optimizer — 스캐폴딩을 개선자(improver)로 추상화: 자신의 프로그램과 효용 함수를 받아 후보 개선판을 생성·선별하는 재귀 루프 |
| Agent Symbolic Learning (2025) | 언어 에이전트를 프롬프트·도구·조합으로 가중치가 인스턴스화된 "기호 네트워크"로 보고, 자연어 손실/그래디언트로 역전파·경사하강을 시뮬레이션 |
| Gödel Agent (2025) | 괴델 머신 영감의 자기참조 프레임워크(monkey patching 구현) — 자기인식·자기수정·재귀 자기개선으로 전체 에이전트 설계 공간을 탐색 |
| Darwin Gödel Machine (2026) | 자기 코드베이스를 반복 재작성하고 코딩 벤치마크로 후보 수정 검증 — 다양·고품질 에이전트의 지속 확장 트리 아카이브를 통한 개방형 병렬 탐색 |
| Huxley-Gödel Machine (2026) | 클레이드 수준 메타생산성(CMP) 지표로 자기수정 공간을 탐색 — 즉각적 벤치마크 이득이 아닌 장기 개선 잠재력(후손 성능 추정)을 최적화 |
| Live-SWE-Agent (2025) | 최초의 런타임 실시간 자기진화 소프트웨어 에이전트 — 최소 스캐폴드에서 시작해 실제 SWE 과업을 풀며 자신의 스캐폴드(특히 도구 구성요소)를 즉석 편집·확장 |
§6.4 요약. 전체 스캐폴딩 개선은 재귀적 자기개선(RSI)에 가장 근접한 범주다. 완전한 개방형 RSI는 여전히 대도전이지만, 현행 시스템은 이 개념을 정의된 목표·벤치마크·안전 프로토콜 내부의 유계·검증 가능한 루프로 성공적으로 운영화하고 있다 — 신뢰 가능한 자기개선을 향한 원칙적이고 측정 가능한 경로다.
공통 패턴은 실패 비용을 제한하며 피드백을 제공하는 샌드박스 또는 통제 환경의 사용이다. 각 도메인의 환경 충실도·확장성·비용이 지배적 병목, 개선 대상, 반복 모드를 형성한다.
자기개선 에이전트의 평가는 개선을 시간에 걸쳐 전개되는 과정으로 취급해야 하며, 진짜 능력 향상과 개선 파이프라인이 만든 인공물을 분리해야 한다. 프로토콜은 무엇이 상호작용 간 지속되는지, 어떤 피드백 신호가 갱신을 구동하는지, 어떤 운영 예산이 제약하는지, 진정한 능력 전이의 경계가 어디인지를 명시해야 한다.
결정론적·실행 가능한 평가기(예: 유닛 테스트의 {0,1} 판정). 객관적 접지를 제공하나 형식적 성공 기준이 있는 과업에 한정된다. 보고 원칙 4가지: ① 고정 예산 하의 전체 성능 궤적 보고(최종 피크가 아닌 — 체크포인트·수락 기준·조기 종료 규칙 명시, 다중 시드의 기대·분산), ② 최적화 데이터와 겹치지 않는 보류 분포에서의 전이 시험(비공개 과업 집합 또는 지식 컷오프 이후의 시간 이동 평가), ③ 자원 효율과 감독의 회계(비용 분해 보고; 인간 개입은 "자기(self)"를 훼손하므로 크기·양식을 정량화), ④ 시간에 따른 안정성·회귀·안전 추적(이전에 해결한 과업의 회귀율, 꼬리 위험 지표, 안전 정책 위반).
파라미터화된 평가기 Φ_judge(x, τ, κ; θ_judge) — LLM/Agent-as-a-Judge가 실행 오라클이 없는 개방형·장기 과업을 채점한다. 판정자의 잠재 편향에 대한 과최적화라는 고유 취약성을 도입하므로 운영 안전장치가 필요하다: 판정자와 판정 예산의 명시(FM 버전·프롬프트·루브릭·노출 증거, 판정 예산을 실행 예산과 분리 — 판정자가 더 철저해진 것과 에이전트가 개선된 것의 구분), 판정자 과최적화 방지(갱신 구동용과 최종 보고용 판정자 분리 — 더 강한 θ′_judge 또는 직교 루브릭 κ′, 반복 실행 분산·다중 판정 집계·검증 가능 부분집합에서의 보정).
벤치마크는 두 속성으로 특징지어진다 — 갱신 채널(θ 갱신 vs Σ만 갱신)과 평가 인터페이스(단발 입출력 vs 도구·메모리·환경 피드백의 상호작용적 다단계).
스캐폴딩 고정 하의 θ_t → θ_t+1 능력 이득. 파라미터 갱신은 파국적 망각과 훈련 데이터 누출에 취약하므로 엄격한 출처 추적과 데이터 구획화를 우선한다(SWE-bench+). 인접 과업군의 보존 감사로 분포 드리프트를 노출하고, 실행·저장소 기반 평가로 세밀한 회귀 탐지를 확보한다.
θ 동결 하의 Σ 변경 — 어느 구성요소가 수정되는지 명시하고 능력 이득과 새 실패 표면을 함께 평가. 프롬프트 정책은 패러프레이즈·포맷 이동·장문 컨텍스트에서, 메모리는 장기 회상·교차 모달 일관성과 오염·무단 공개·능동 망각 실패·복합 오류 저항에서, 도구는 다단계 상호작용의 호출·선택·인자 접지에서 평가한다(흔한 실패는 잘못된 의도가 아닌 순서 오류·근접 파라미터화).
갱신된 구성요소를 바꾸는 절제 실험(ablation), 환경을 고정하고 갱신 모듈만 교체하는 리플레이식 롤아웃, 이전 해결 과업의 회귀 점검. 부분적 귀속만으로도 진짜 아키텍처 이득을 추론 분산·검색 노이즈· 단순 벤치마크 착취와 분리해 해석 가능성을 높인다.
도메인 벤치마크는 현실적 피드백·과업 분포 하에서 평가 프레임워크를 인스턴스화한다: SWE(SWE-bench와 누출 강건 변형, 자기 유닛 테스트 생성의 SWT-bench·TDD-bench), 웹(WebArena· VisualWebArena·Mind2Web·ST-WebAgentBench의 정책 준수), 게임(Clembench의 동적 인스턴스 생성, GameBench의 교차 대전), 과학(CORE-Bench 재현성, PaperBench 복제 품질, DiscoveryWorld·PhysGym), 임바디드(SafeAgentBench 안전, ManiSkill2 전이, EmbodiedBench), 컴퓨터 제어(OSWorld·WindowsAgentArena· AppWorld·BFCL 도구 사용).
§8 요약. 정적 제로샷 채점에서 연속 추적으로의 근본적 전환이 필요하다 — 고정 예산 하의 학습 곡선, 훈련 신호 너머의 전이 능력, 오버헤드 비용, 시간에 따른 회귀 지표. 메커니즘 스위트가 아키텍처 갱신 채널을 격리하고, 도메인 스위트가 동일 요건을 현실적 상호작용 환경·실행 병목·안전 제약 하에서 인스턴스화한다.
자기개선 에이전트는 폐루프 동역학 시스템이다. 연구 대상은 더 이상 정적 에이전트가 아니라 그 진화를 구동하는 메커니즘이다.
Σ 는 빠른 적응 루프(저비용·가역), θ 는 느린 응고 루프다. θ 갱신은 크레딧 할당을 흐린다 — 나쁜 프롬프트는 쉽게 되돌리지만 가중치에 흡수된 회귀는 추적이 어렵다. 환경 피드백이 노이지하면 갱신을 스캐폴드에 국한하고 실행 테스트로 검증하며, 파라미터 응고(증류·파인튜닝)는 행동이 안정성을 입증한 뒤로 연기한다. 단, 응고는 손실 압축이다 — 평균 사례 실행으로 편향되고 탐색 중 발견한 희귀 오류 복구 전략을 폐기하기 쉬우며, 모든 θ 갱신은 기존 안전 한계를 무효화하므로 적대적 재검증이 필요하다.
폐루프 안의 비평가(critic)는 수동적 벤치마크가 아니라 공격 표면이다. 에이전트가 비평가에 최적화되면 지름길 발견의 유인이 생기고, 능력의 상한은 비평가의 착취 저항성에 병목된다. 갱신의 제안과 수락 역할이 융합되면 자기확증 루프로 붕괴하므로 비평가를 생성기에서 분리해야 한다. 비평가 자신도 진화할 수 있으나 (더 엄격한 테스트 생성) 그 갱신은 평가 대상 에이전트의 무제약 통제 하에 있어선 안 된다 — 단조 변경 (순수 가산적 테스트 생성)으로 제한하고 인간 감사 추적으로 게이팅한다.
정렬 대상이 비정상(non-stationary)이라는 점이 문제를 어렵게 한다. 위험은 전체 스캐폴딩 자기개선에서 가장 심각하다 — 일회성 프롬프트 주입 같은 일시적 착취가 오염된 메모리·탈취된 도구 로직으로 영속적 아키텍처 취약점으로 진화할 수 있다. 자기개선 에이전트는 보호된 런타임에서 실행되는 신뢰할 수 없는 코드로 개념화해야 한다: 모든 구조적 갱신이 Σ_t+1 또는 θ_t+1로 커밋되기 전에 기능 정확성·도구 권한 경계·무작위 상태 섭동에 대한 강건성의 검증기 게이트를 통과해야 하며, 개선은 명시적으로 정의되고 지속 감사되는 안전 경계 내부에서만 허용된다.
훈련/배포 단계의 분리가 실세계 강건성을 훼손한다. 실행 중 검색·라우팅·메모리 정책을 동적으로 갱신하는 확장 가능한 테스트타임 적응이 필요하며, 국소 패치가 장기 전역 성능을 잠식하지 않도록 관리하는 것이 핵심 트레이드오프다.
인간이 큐레이션한 과업의 수동적 수용이 아닌 가치 있는 경험의 자율적 추구. 희소 피드백 도메인에서 높은 예측 오류·검증기 불일치의 상호작용에 내재적 가치를 부여해 표본 효율을 높인다 — 퇴행적 자기기만 사이클을 피하는 안전한 내재 보상 메커니즘의 설계가 과제다.
스캐폴드가 발견한 "System 2" 알고리즘 구조(반복 디버깅·자기성찰)를 소형 모델의 "System 1" 파라미터로 자동 전이. 나아가 θ와 Σ를 동일 루프에서 동시 갱신하는 공동 최적화 — 실패 시 프롬프트 정련·도구 래퍼 재작성·경사 갱신 중 무엇이 옳은 수리인지 개선 연산자가 자율 판단하는 난제의 크레딧 할당 문제를 풀어야 한다.
개방형 시나리오의 비생산적 탐색은 예산·토큰을 소진하며 정책을 전진시키지 못한다. 평가를 정적 피크 성능에서 개선 효율로 전환 — 동적 컨텍스트 할당, 경량 불변식 점검 뒤의 고비용 신경 평가 게이팅, 낭비된 반복에 대한 페널티로 자기개선을 자원 최적화 문제로 재구성한다.
단일 에이전트 탐색은 방대한 탐색 공간에서 극히 비효율적이다. 특화 에이전트들이 재사용 산출물 (회귀 테스트·성공 패치·개선된 도구 래퍼)을 공유하며 공진화하는 협력 아키텍처 — 단일 실패점과 멀티에이전트 보상 메커니즘 연쇄 공격 없이 집단 지식을 상속하는 보안·버전 관리 프로토콜이 필요하다.
현행 테스트 플랫폼은 정적 저장소·불변 시뮬레이터에 과의존한다. 실배포는 변화하는 API·재설계된 UI·적대적 입력에 대처해야 한다 — 정적 리더보드를 버리고 인터페이스가 지속 드리프트하는 비정상 시뮬레이터로. 기질 수준에서는 계산·메모리·I/O를 통합하는 학습된 런타임 상태(neural computers)가 고정 외부 실행 인터페이스의 대체를 시사한다.
스스로를 개선하는 기계라는 비전은 AI의 항구적 주제다. 이 서베이는 그 패러다임 전환을 통일된 시스템 렌즈로 종합했다: θ 파라미터적·느린 루프(내재적 생성 시연, 내재적 평가 피드백, 외재적 탐색 경험)와 Σ 비파라미터적·빠른 루프 (프롬프트·메모리·도구·전체 스캐폴드 갱신). 확장 가능하고 안전한 평가, 지속 적응 하의 정렬, 빠른/느린 루프의 통합이 개방 과제로 남아 있다. 에이전트가 행동뿐 아니라 자신의 추론 구조까지 수정하는 자기참조 아키텍처로 나아감에 따라, 요구되는 것은 무상태 AI 도구의 스케일링이 아니라 측정 가능하고, 귀속 가능하고, 안전하게 유계이며, 기계 자율성의 전선을 점진적으로 확장하는 자기개선 시스템의 설계다.