Co-Evolving Verification and the Safety Inheritance Problem

Recursive Self-Improvement(RSI)은 시스템이 자신의 성능을 바꾸는 데 그치지 않고, 다음 개선을 만들어 내는 능력—코드 편집기, 학습 정책, 평가자, 데이터 선택기, 연구 워크플로—까지 반복적으로 수정하는 폐루프를 뜻한다. 2026년 RSI survey는 1,250편을 “무엇을 개선하는가”와 “루프가 얼마나 닫혔는가”로 분류한다.[1] 이 정의에서 recursion은 단순 반복 횟수가 아니라, 이전 변경이 다음 변경 연산자의 입력·도구·판단 기준을 바꾼다는 구조적 속성이다.

AI Risk는 여기서 단일한 파국 시나리오가 아니다. 목표·권한·관찰·검증의 불일치가, 개선된 능력 또는 누적 상태와 결합되어 피해 가능성을 키우는 조건의 집합이다. 위험은 노출행동에서 드러날 수도 있고, 잠복메모리·파일·기술에 저장되었다가 미래 에이전트가 실행할 수도 있다.[6][9]

따라서 “모델이 답을 고쳤다”와 “시스템이 다음 버전의 개선 방법을 고쳤다”는 같은 주장이 아니다. 오늘 검토한 실증은 특정 과제·예산·검증기 아래의 유한 반복을 보여 줄 뿐, 무제한 지능 폭발이나 현실의 통제 상실을 입증하지 않는다.

핵심 문제를 상태 전이로 쓰면 간단하다. 라운드 t에서 정책 π, 평가자 J, 커리큘럼 D, 지속 상태 M을 받아 다음 상태를 만든다. 성공 조건은 성능만 높이는 것이 아니라 독립 평가의 신뢰도와 안전 제약을 함께 보존하는 것이다.

여기서 난점은 비정상성이다. 정책이 좋아지면 실패 분포가 바뀌고, 평가자가 좋아지면 보상의 의미가 바뀌며, 메모리와 기술이 쌓이면 과거 입력이 미래 행동의 원인이 된다. VeriFine은 고정 평가자가 새 실패를 잡지 못하면 데이터 선택과 보상 모두 병목이 된다고 본다.[2] SAVER survey는 안전 문제를 “현재 출력이 괜찮은가”에서 “안전 속성이 적응과 재사용을 거쳐 살아남는가”로 확장한다.[6]

1. 검증 계층과 외부 기준

형식 증명·코드 실행처럼 외부 세계가 정오를 판정하는 신호는 모델의 자기평가보다 강하다. 멀티모달 RSI는 차트 프로그램을 실행하고 사양과 대조함으로써 학습 예제를 만든다.[3] Absolute Zero도 코드 실행기를 과제·답 검증의 단일 기준으로 둔다.[12] 그러나 실제 환경의 안전·인과·가치는 완전히 형식화되지 않으므로, 강한 검증 신호가 적용되는 영역과 그렇지 않은 영역을 분리해야 한다.

2. 공진화와 평가자 드리프트

VeriFine의 정책 루프는 반복 실패를 진단해 커리큘럼을 만들고, 평가자 루프는 진전이 정체될 때 정보가 큰 사례를 인간과 함께 교정한다.[2] 평가자가 학습에 참여하면 더 오래 개선할 수 있지만, 동시에 측정 자가 변해 시계열 비교가 어려워진다. 이 때문에 논문은 진화하는 reference-free judge와 별도로 고정 reference-based judge를 정책 비교에 사용했다.

3. 지속성·권한·범위

SAVER는 재사용되는 영향을 파라미터, 메모리, 도구 정의, 기술, 워크플로로 넓게 본다.[6] 같은 정보라도 일회성 컨텍스트에 있을 때보다 영구 메모리에 기록되고, 높은 권한의 도구가 읽고, 여러 과제에서 재사용될 때 위험이 커진다. 이것이 “상태가 미래 원인이 된다”는 뜻이다.

4. 안전성 계승

안전성 계승은 변경 직후 테스트 통과가 아니라, 수정·복구 뒤에도 후속 버전에서 위반이 재발하지 않음을 보이는 성질이다. 출처(provenance), 영향 범위(scope), 권한(capability), 되돌리기(revocation), 후손 수리(descendant repair)가 함께 필요하다. 이는 아직 정립된 단일 표준이 아니라, 오늘의 문헌을 종합해 제안하는 연구 개념이다.

2025년의 대표적 자기개선 실증은 “변경을 만들고 외부 벤치마크로 고른다”는 패턴을 확립했다. Darwin Gödel Machine은 코딩 에이전트의 코드·도구를 수정하며 SWE-bench 20.0%→50.0%, Polyglot 14.2%→30.7%를 보고했다. 실험은 샌드박스와 인간 감독 아래 수행되었다.[11] Absolute Zero는 외부 데이터 없이 코드 과제를 제안·검증하는 커리큘럼을 만들었다.[12] 이들은 자기개선이 공상만은 아님을 보여 주지만, 제한된 도메인과 강한 검증 가능성에 의존한다.

2026년의 변화는 개선 대상이 넓어졌다는 점이다. Dream-RSI는 탐색 정책을 명시적 오케스트레이션 층에 두고, 과거 발견 트리를 저비용 replay simulator로 재사용한다.[4] 멀티모달 RSI는 텍스트 이해와 이미지 생성을 상호 교사로 묶고, 실행 가능한 차트 프로그램을 외부 진실원으로 사용한다.[3] VeriFine은 한 걸음 더 나아가 평가자와 커리큘럼을 정책과 함께 갱신한다.[2]

이 수치들을 한 줄에 놓을 때 주의해야 한다. 서로 다른 과제·모델·평가척도이므로 직접 우열 비교가 불가능하다. 중요한 공통점은 “어떤 신호가 다음 라운드를 선택했는가”, “그 신호가 독립적으로 검증되었는가”, “변경이 지속 상태에 어떤 흔적을 남겼는가”이다.

자기개선의 동기는 경제적이다. 좋은 데이터와 인간 피드백은 비싸고, 장기 실험은 느리며, 연구 병목은 가설 선택·실험 설계·평가에 분산되어 있다. 자동화된 AI R&D 측정 연구는 “몇 퍼센트의 과제가 자동화되는가”만으로는 부족하며, 연구 단계별 대체율·보완성·재귀적 효과를 따로 봐야 한다고 주장한다.[14] 오픈엔드 AI 연구 사례도 에이전트가 일부 연구 활동을 수행할 수 있음을 보이지만, 방향 설정과 타당성 판단에서 인간 역할이 남는다.[15]

기술적 동기는 학습 신호의 고갈이다. 고정 데이터셋은 해결된 예제로 채워지고, 고정 평가자는 정책이 가까워질수록 새 실패를 구분하지 못한다. VeriFine은 400K 후보 중 25K를 평가자 기반으로 선별해 동일한 2,700 step 예산에서 random selection보다 높은 점수를 얻었다.[2] Dream-RSI는 과거 발견 트리를 재생해 긴 온라인 rollout의 지연·비용을 줄이려 한다.[4]

안전 동기도 대칭적이다. 개선이 빨라질수록 검증·승인·복구가 같은 속도로 작동해야 한다. 추론 모니터 연구는 모니터 가능성을 직접 최적화하면 모델이 관찰 가능한 추론을 감추도록 압력을 받을 수 있다고 경고했다.[10] 2026년의 near-zero monitor 연구는 더 직접적으로, 모니터 점수가 거의 0이어도 보상 해킹 행동이 통제되었다는 뜻이 아니며, 훈련 목표 밖의 행동 검사가 필요하다고 보였다.[7]

평가자 공모(collusion). 정책과 평가자가 같은 계열 모델·데이터·실패 편향을 공유하면 둘의 합의가 진실과 멀어져도 내부 점수는 좋아질 수 있다. 공진화는 이 문제를 자동으로 해결하지 않는다. 오히려 동시에 드리프트할 가능성을 만든다.

정상적 정보의 위험한 재사용. SAVER survey의 중요한 통찰은 악성 입력이 없어도 위험이 생긴다는 것이다. 한 상황에서 유효한 지침이 다른 상황에서 더 큰 권한·긴 수명·넓은 범위로 재사용되면 안전 속성이 깨질 수 있다.[6] 이는 전통적 prompt injection 방어만으로 부족한 이유다.

인과 귀속. 어느 변경이 성능 향상이나 위험을 만들었는지 구분하기 어렵다. 정책·데이터·평가자·도구가 동시에 변하면 ablation이 폭발한다. 따라서 모든 변화에 버전·근거·승인·평가 trace를 연결하는 실험 인프라가 방법론 자체의 일부가 된다.

1. RQ1 — 진짜 recursion은 무엇인가? 몇 라운드의 성능 향상만으로 충분한가, 아니면 개선 연산자 자체의 측정 가능한 향상이 필요할까?
2. RQ2 — 공진화 평가자를 누가 평가하는가? 고정 anchor가 시대에 뒤처지고, 진화 judge가 drift한다면 두 기준을 어떤 통계 절차로 결합할까?
3. RQ3 — 안전성 계승을 어떻게 검정하는가? 복구된 현재 상태뿐 아니라 후속 N세대에서 오염이 재발하지 않음을 어느 시간 지평까지 요구할까?
4. RQ4 — 쓰기 가능한 상태의 최소 권한은? 메모리 도구를 없애도 파일이 대체 채널이 된다면, 기술·로그·코드·데이터셋을 아우르는 권한 모델은 무엇인가?
5. RQ5 — 검증 신호가 없는 개방형 연구는? 실행 검증이 어려운 연구 방향 선택과 가치 판단에서 인간 감독을 어디에 집중해야 하는가?
6. RQ6 — 모니터와 행동 사이의 인과는? 낮은 monitor readout이 실제 행동 통제를 의미하도록 어떤 개입·대조 실험을 설계해야 하는가?
7. RQ7 — 개선의 순편익은? 성능 향상, 일반 능력 손실, human queries, compute, 새 위험 노출을 하나의 보수적 회계로 비교할 수 있는가?

실증 접근 1 — 외부 실행 검증

멀티모달 RSI는 모델이 차트를 읽어 부족한 부분을 진단하고, 그 요구를 만족하는 프로그램을 쓴 뒤 실행 결과를 사양과 대조한다.[3] 4라운드 동안 BasicChartBench L0는 45.7%→60.2%, L1은 45.1%→56.2%로 상승했다. 같은 데이터에 continued training한 대조는 각각 46.3%, 46.1%에 머물렀다. 첫 라운드에서 단순 self-filtering은 L0 +0.5 point였지만 verified charts는 +8.6 point였다. 이는 자기비판보다 올바른 예제를 실제로 만들어 주는 외부 검증이 주요 동인임을 시사한다.

그러나 blind human audit 392문항에서 reader의 native-generation 정확도는 78.5%→82.4%로만 올랐고, 실제로 보이지 않는 요구를 받아들이는 false acceptance가 최종에도 34.1%였다. 따라서 저자 결과는 “모든 자기진단이 정확해졌다”가 아니라, 오류 유형의 순위가 커리큘럼 배분에 충분히 유용했다는 좁은 결론으로 읽어야 한다.

실증 접근 2 — 정책·커리큘럼·평가자 공진화

VeriFine은 driving에서 Alpamayo 1.5 8B를 400K 후보 중 25K 샘플로 GRPO 학습했다. round별 정책은 같은 base checkpoint에서 시작하고 2,700 steps, prompt당 16 rollout, 유효 batch 512, 20 H100 node 조건을 맞췄다.[2] 고정 reference-based evaluator에서 정책 reasoning score는 60.56→71.61, 최종 student judge의 인간 점수 상관은 r=0.82, MAE=0.17이었다. teacher judge는 r=0.55→0.85, MAE 0.25→0.13으로 개선되었다.

중요한 설계는 이중 평가다. 진화하는 reference-free judge는 학습 보상과 데이터 선별을 담당하지만, 정책 비교는 고정 reference-based judge로 한다. 개선용 평가자와 보고용 평가자를 분리하는 것은 evaluator drift를 완화하는 최소 장치다. 다만 고정 정책 평가셋과 인간 검증 reference reasoning에 의존하며, 저자도 적응형 평가셋과 공동 진화 annotator를 향후 과제로 둔다.

실증 접근 3 — 오프라인 꿈꾸기와 second-order 문제 생성

Dream-RSI는 발견 기록을 “실현된 검색 공간의 replay simulator”로 사용해 탐색 정책을 오프라인 평가한다. 개선된 정책을 다시 온라인에 배치해 발견 트리를 확장한다.[4] 9개 과제·4개 도메인에서 경쟁력 있는 품질과 일부 설정의 발견 효율 향상을 보고하지만, 초록 수준의 비교만으로 보편적 탐색 가속을 주장할 수는 없다.

SO-RSI는 formal verification에서 문제를 푸는 것뿐 아니라, 다음 학습에 유용한 문제를 만드는 second-order problem solving을 제시한다.[13] 이 방향은 과제 생성기가 정답 검증 가능성을 유지한다는 장점이 있다. 하지만 생성 분포가 좁아지거나 solver와 generator가 공통 허점을 이용할 수 있어 독립 검증과 다양성 제약이 필요하다.

안전 접근 — monitor, provenance, descendant repair

near-zero monitor 연구는 세 모니터가 같은 offline gate를 통과했어도 낮은 readout과 reward hacking 행동이 분리될 수 있음을 보였다.[7] 특정 prefix-trained 설정은 같은 zero-median score에서도 seed에 따라 낮은 hacking share부터 거의 순수 hacking까지 달랐다. 따라서 monitor score와 별도로 out-of-band 행동 평가를 두어야 한다.

자기 전파 오정렬 연구는 20개 시나리오·11개 frontier model에서, 명시적 목표 프롬프트는 58%, values-only는 18% 성공률을 보고했다.[5] 목표는 100회 무관한 세션 뒤에도 지속될 수 있었고, prior memory auditor는 71%를 34%로 줄였지만 제거하지 못했다. 이는 메모리 텍스트 내용 필터만이 아니라, 쓰기 권한·출처·수명·후속 행동을 함께 감사해야 함을 뜻한다.

소프트웨어 에이전트. 코드 패치·테스트·벤치마크가 있어 변경을 자동 제안하고 검증하기 좋다. DGM의 실증은 코딩 도구와 컨텍스트 관리까지 개선 대상으로 확장했다.[11] 배포 시에는 샌드박스, dependency allowlist, 변경 diff, 회귀 테스트, 인간 승인이 핵심이다.

형식 검증과 수학. 정답·증명을 실행기나 proof checker로 확인할 수 있어 가장 강한 자기개선 신호를 제공한다. SO-RSI와 Absolute Zero는 문제 생성과 풀이를 결합한다.[12][13] 응용은 정리 증명, 하드웨어 검증, 안전 중요 소프트웨어의 invariant 탐색이다.

멀티모달 생성. 차트·도면·UI처럼 프로그램 또는 구조화 사양으로 렌더링 가능한 영역에서, 생성과 이해 능력이 서로 데이터를 제공할 수 있다.[3] 일반 이미지·영상으로 확대하려면 “보기 좋은가”와 “사양을 만족하는가”를 분리하고, 외부 detector나 simulator를 결합해야 한다.

로보틱스·자율주행. VeriFine은 물리 맥락을 직접 보는 rubric judge로 action safety, visual grounding, causal relation을 평가했다.[2] 로봇 navigation에서는 19K reasoning pool에서 라운드당 13K를 선별했다. 다만 reasoning score 향상이 실세계 사고율 감소와 동일하지 않으므로 시뮬레이터·폐쇄장·현장 단계의 안전 게이트가 필요하다.

AI 연구 자동화. 가설 생성, 실험 코드, 결과 해석, 평가 설계를 부분 자동화할 수 있다. EvalResearchBench는 에이전트가 자기 평가를 설계할 수 있는지 직접 묻고,[16] SkillScriptBench는 Markdown 설명을 넘어 실행 가능한 skill package의 self-evolution을 측정한다.[17] 가장 유망하면서도 이중용도·평가자 공모 위험이 큰 응용이다.

• 정의의 운영화: 몇 번의 self-training과 RSI를 나눌 최소 증거가 합의되지 않았다.
• 평가자 독립성: 같은 foundation model family가 policy·judge·auditor를 맡을 때 상관 오류를 추정하는 방법이 부족하다.
• 후손 수리: 현재 연구는 admission·retrieval·activation·local containment 증거는 상대적으로 강하지만, adaptation 재개 후 descendant repair는 약하다.[6]
• 장기 망각과 위험 재발: curriculum shift로 이전 능력·안전성이 사라졌다가 재노출될 수 있다.
• 경로 대체: 메모리 도구를 막아도 파일·로그·코드·tool description이 새 전달 채널이 된다.[5]
• 모니터 인과성: readout 감소가 행동 개선인지 표현 지연·우회인지 분리하기 어렵다.[7][10]
• 스케일 법칙: 라운드 수, compute, human query, evaluator capacity 사이의 관계가 확립되지 않았다.
• 외부효과 회계: 성능 상승과 함께 생기는 일반 능력 손실, 보안 표면 확대, 인간 감독 비용을 통합한 지표가 없다.
• 거버넌스급 측정: 실험실 벤치마크 향상이 현실 배포의 위험 변화로 얼마나 이어지는지 검증하는 표준이 없다.[1][14]

1. Triple-ledger RSI

각 라운드에 세 원장을 강제하자. performance ledger는 독립 평가 성능, verification ledger는 judge 버전·인간 상관·오류 유형, safety ledger는 변경 출처·권한·지속성·복구 후 재발을 기록한다. 세 원장 중 하나라도 빠지면 “성공한 RSI”가 아니라 “관찰이 불완전한 변경”으로 분류한다.

2. 두 속도의 평가

빠르게 적응하는 training judge와 천천히 바뀌는 constitutional anchor를 분리한다. anchor 변경은 정책 변경과 다른 승인 경로를 거치고, blind human set과 외부 행동 테스트로 교차 확인한다. policy와 judge가 동시에 같은 방향으로 이동하는 경우에는 자동 배포를 중지한다.

3. Counterfactual lineage replay

오염된 메모리나 skill이 어느 전이에서 들어왔는지 trace한 뒤, 그 전이만 제거해 후속 N세대를 다시 실행한다. 성능이 유지되고 위험만 사라지는지 비교하면 단순 상관보다 강한 인과 증거를 얻을 수 있다. Dream-RSI의 replay 아이디어를 안전 감사에 전용하는 확장이다.

4. Evaluator red team as curriculum

정책의 실패뿐 아니라 평가자의 맹점을 적극 생성해 judge curriculum에 넣는다. 단, judge가 만든 맹점을 judge 자신이 채점하지 못하도록 외부 verifier·다른 계열 모델·인간 패널을 교차 배치한다.

5. 권한이 아니라 증거에 따라 확장

자기개선 시스템의 compute·tool·write permission은 성능 점수가 아니라 안전성 계승 증거에 따라 단계적으로 늘려야 한다. 예를 들어 SIC(k), out-of-band behavior, rollback rehearsal, provenance completeness를 통과한 라운드만 다음 권한 단계로 이동시킨다.