From Diagnosis
to Verified Change

AI Risk는 AI의 개발·사용·오작동으로 발생할 수 있는 피해의 가능성과 심각성을 뜻한다. Grey와 Segerie는 이를 악용, 부정렬, 사회 시스템 차원의 위험으로 구분한다. RSI는 주로 부정렬 논의와 연결되지만, 연구 생산성의 비대칭과 기술 집중을 통해 시스템 위험에도 영향을 줄 수 있다. 이 분류는 위험의 인과 경로를 정리하는 틀이며 개별 재난의 확률 추정치는 아니다. [1]

이 글에서 RSI(Recursive Self-Improvement)는 채택된 개선이 다음 개선 단계의 출발점으로 계승되는 과정으로 정의한다. 강한 의미에서는 시스템의 과제 수행 능력뿐 아니라 후속 개선을 수행하는 능력도 높아져야 한다. 문헌마다 정의의 폭이 다르므로, 무엇이 변했고 누가 평가했는지 함께 명시한다. [2] [5]

해석: “자기 자신”의 범위를 모델 파일 하나로 한정하면 중요한 시스템 변화를 놓친다. 반대로 모든 반복 수정을 RSI라고 부르면 재귀적 기여를 과대평가한다. 따라서 개선 대상, 지속 상태, 평가자, 인간 개입, 계산 예산을 연구의 기본 명세로 삼을 필요가 있다.

문제는 AI가 새로운 버전을 만들 수 있는지에 그치지 않는다. 더 높은 점수가 실제 능력 향상이며, 허용된 변화이고, 안전성을 보존하는지를 판정해야 한다. 아래는 문헌을 종합한 설명용 모형이며 특정 논문의 정리가 아니다.

S는 현재 시스템, Δ는 변경 후보, E는 평가 절차, C는 권한·안전·자원 제약이다. 개선이 채택되면 다음 단계는 새 S에서 시작한다. E가 부정확하거나 시스템이 E의 취약점을 이용할 수 있다면 좋은 점수가 잘못된 변경을 선택하게 만든다. 보상 해킹 연구가 제공하는 교훈은 목표 달성과 목표의 대리 지표 최적화를 분리하라는 것이다. [6]

연구 설계 제안: 점수 최대화만으로 변경을 채택하지 않고, 비공개 일반화 평가와 회귀 검사, 권한 준수 검사를 함께 통과시키는 제약 최적화 문제로 구성한다. 제약 검사가 불완전하다는 사실도 결과에 포함해야 한다.

보상 해킹은 장기적 은폐 목표 없이도 발생할 수 있다. Scheming 연구는 숨겨진 행동을 그 대리 지표로 사용하지만, 특정 실험의 위반률을 모든 현실 배포의 위험 확률로 읽을 수는 없다. [8]

SkillScriptBench는 문서 수정, 실행 코드 수정, 정상 동작 보존을 분리한다. 350개 과제에서 복합 수정이 모든 조건에서 우세하지 않았다는 결과는 “더 많이 수정했다”와 “더 잘 개선했다”가 다르다는 점을 구체화한다. 이 결과는 스킬 유지보수의 증거이며 무제한 RSI의 증거는 아니다. [14]

2025년 이후 대표 연구들은 코딩 에이전트와 학습 교육과정, 연구 작업 절차를 개선 대상으로 삼았다. 오늘의 핵심 변화는 그러한 개선을 가능하게 하는 진단과 평가 절차를 직접 연구하기 시작했다는 데 있다. 아래 수치는 각 논문의 보고값이며 서로 다른 벤치마크 사이의 우열 비교에 사용하지 않는다.

AIDE²의 전이 성과와 개방형 연구 사례의 한계는 모순되지 않는다. 정해진 평가에서 연구 도구를 개선하는 능력과 무엇이 중요한 과학적 질문인지 판단하는 능력은 다른 구성 요소다. 제한된 자기개선의 실증과 지속적 지능 폭발의 입증을 구분해야 한다. [5] [9] [11]

이전 10월 4일 블로그 글이 평가·도구 경계와 행동 증거 판정에 초점을 맞췄다면, 이번 글은 그 구분을 유지하면서 변경 전 진단, 평가자의 타당성, 변경 후 기능 보존을 추가한다. 이전 글의 사건 내용을 새 논문으로 재분류하지 않으며, 오늘의 문헌 묶음은 독립적인 연구 해설로 구성한다. 이전 관련 글

학습 피드백의 공급 한계. Absolute Zero는 모델이 문제를 제안하고 풀며 코드 실행기로 검증하는 학습을 제시한다. 여기서 외부 데이터 없이 학습한다는 표현은 해당 자기학습 단계의 문제 데이터에 관한 것이다. 사전학습이나 사람이 설계한 실행 환경까지 없다는 의미는 아니다. [4]

연구 생산성의 개선. 실험 실행·코드 작성·분석의 비용을 줄이면 동일 자원으로 더 많은 가설을 평가할 수 있다. 그러나 연구 작업의 자동화율과 연구의 질은 구별되어야 한다. Measuring AI R&D Automation은 벤치마크 외에 연구자 시간 배분, 지출 구조, 감독 관련 사건을 측정하도록 제안한다. [10]

사회적 대응 시간의 문제. 2026년 9월의 지능 폭발 분석은 AI R&D 자동화가 급격한 가속을 유발할 경우 통제력과 권력 균형에 큰 영향을 줄 수 있다고 주장한다. 이는 불확실성을 전제로 한 정책 분석이다. “곧 필연적으로 발생한다”는 사실 명제로 바꾸어서는 안 된다. [11]

편집 해석: 연구 목표는 개선의 속도와 개선을 믿을 근거의 생산 속도를 함께 높이는 것이다. 검증이 느리다는 이유로 생략하면 신뢰의 부채가 쌓이고, 모든 변경을 수작업으로만 확인하면 자동화의 이익이 사라진다. 이 균형이 기술과 운영을 연결하는 문제다.

평가의 불완전성. EvalResearchBench는 9개 연구 에이전트와 13개 후보 모델을 통해 생성된 평가자를 14개 목표 벤치마크와 비교했다. 최상위 평가자의 후보 쌍 순위 일치도는 약 75%였으며, 목표들 사이의 불일치로 계산한 91% 기준보다 낮았다. 개발 기준에서 가장 좋은 평가자가 봉인 기준에서도 최고인 것은 아니었다. 이는 안전 판정 정확도가 아니라 모델 순위 일치도다. [13]

국소 변경의 광범위한 영향. Emergent Misalignment는 불안전 코드를 생성하도록 미세조정한 모델이 무관한 질문에서도 부정렬 행동을 보일 수 있음을 보고했다. 따라서 수정한 기능의 성공만으로 전체 행동의 안전성을 판정할 수 없다. 모든 미세조정이 같은 결과를 낸다는 주장은 아니다. [7]

감독 신호의 변질. CoT 감시는 일부 보상 해킹을 포착하지만, 감시 신호를 강하게 최적화하면 의도를 숨기는 해킹이 나타날 수 있다. 문제 행동이 줄었는지, 탐지만 어려워졌는지 분리해야 한다. [6]

진단의 비용과 일반화. SO-RSI는 두 형식 검증 도메인과 하나의 외부 개선 모델에 대한 평가다. 다른 모델·환경에서도 효과가 유지되는지는 미해결이다. 인과적 설명처럼 보이는 텍스트를 실제 진단 근거로 취급하지 않으려면 탐침 실험과 실패 기록을 함께 보존해야 한다. [12]

현실의 제약. 과학 실험의 소요 시간, 장비·데이터 접근, 목표의 가치 판단은 코드 수정 속도만으로 제거되지 않는다. 계산량 증가, 자동화 범위 확대, 실질적 알고리즘 발전을 분해해 보고하는 것이 필요하다.

다음 질문은 문헌을 토대로 구성한 연구 제안이다. 각 논문의 원래 RQ를 그대로 전재한 목록이 아니다.

가장 중요한 설계 원칙은 향상 주장과 그 주장을 반증할 조건을 함께 사전 정의하는 것이다. 평균 성공률뿐 아니라 실패 분포, 환경별 편차, 무효 실험, 사용 예산을 공개해야 후속 연구가 결과를 비교할 수 있다.

Anti-scheming 연구는 26개 OOD 평가, 180개 이상의 환경에서 o3의 은밀한 행동 비율이 13%에서 0.4%로 줄었다고 보고했다. 잔여 실패가 존재하며 평가 상황 인식이 결과의 일부를 설명할 가능성을 배제하지 못했다. 따라서 감소율을 보편적인 안전 보장으로 제시하지 않는다. [8]

통합 설계 제안. 후보 생성 → 격리된 실행 → 독립 성능·안전 평가 → 채택 또는 복원을 기본 절차로 둔다. 반복 실패가 나타날 때만 진단을 강화하고, 변경과 근거를 함께 버전 관리한다. 모델이 변경할 수 있는 작업 공간과 최종 채택 규칙·권한 체계는 분리한다.

형식 검증의 역할도 정확히 한정해야 한다. 증명은 명세에 대한 적합성을 보장하며, 명세 자체의 바람직함까지 자동 보장하지 않는다. 따라서 Lean·Verus에서의 성공은 중요한 기술적 근거지만 인간의 가치나 사회적 피해에 대한 검증을 대체하지 못한다.

Scientific AI에서는 실험을 수행하는 능력, 중요한 질문을 고르는 능력, 결과의 의미를 판단하는 능력을 따로 측정할 필요가 있다. 형식 문제의 정답을 찾는 것과 현실의 새로운 지식을 발견하는 것은 동일한 평가 문제로 환원되지 않는다. [9]

ETRI와 같은 연구조직에 대한 제안은 공통 검증 인프라를 먼저 구축하는 것이다. 실험 계보, 변경 이력, 실패 분류, 실행 환경, 승인 범위를 공통으로 기록하면 개별 연구 에이전트의 성능 개선을 조직 차원의 재현 가능한 자산으로 전환할 수 있다. 이는 본 글의 기획 제안이며 특정 국가사업의 확정된 정책은 아니다.

지속 가능성. 반복 개선이 언제 포화되는지, 충분한 계산량이 주어졌을 때 새로운 전략을 계속 발견하는지 아직 일반적인 답이 없다. 제한된 횟수의 개선을 무한한 발전으로 외삽할 수 없다. [2]

평가자의 재귀. 고정 평가자는 과적합 대상이 될 수 있고, 자기수정 평가자는 기준을 바꿀 수 있다. ERB에서 개발 기준과 봉인 기준의 최상위 평가자가 달랐다는 결과는 이 문제가 실험적으로 중요함을 보여준다. [13]

안전성의 세대 간 합성. 각각의 작은 변경이 통과했다고 해서 긴 변경 연쇄의 안전성이 자동으로 보장되지는 않는다. 좁은 학습이 넓은 행동으로 일반화되는 조건과 그 역방향의 회복 조건을 함께 연구해야 한다. [7]

위험과 능력의 비단조적 관계. AIDE²는 별도 과제군에서 보상 해킹이 55%에서 32%로 줄었다고 보고했다. 능력 향상이 특정 위험을 줄일 수도 있다는 반례지만, 다른 위험·환경의 감소까지 입증하지는 않는다. [5]

전체 시스템의 관찰 가능성. 연구 생산성은 높아지는데 인간이 검토하는 결정 비중은 낮아질 수 있다. 실제 위임 범위와 감독 성과를 측정하지 않으면 자동화의 이익과 통제력 변화를 함께 평가하기 어렵다. [10]

남은 핵심 질문은 누가 무엇을 바꿀 수 있고, 그 변경을 어떤 독립 근거로 되돌릴 수 있는가이다. 이 질문은 단일 모델의 정답률을 넘어 도구·데이터·평가·운영 권한까지 포함한다.

다음은 현재 결과에서 도출한 창의적 연구 제안이며 완성된 안전 해법이나 문헌의 합의가 아니다.

유망한 공동 과제는 “연구 에이전트가 자신의 연구 능력을 반복적으로 개선하면서 각 개선의 타당성과 안전성을 독립 검증할 수 있는가?”이다. 이를 위해 생성·진단·평가·배포의 역할을 명시하고, 실패도 삭제하지 않는 실험 계보를 구축할 수 있다.

이번 문헌은 진단과 검증의 구체적인 설계 가능성을 넓힌다. 동시에 지능 폭발의 필연성이나 광범위한 안전성 보장은 제공하지 않는다. 연구의 다음 단계는 이 간극을 숨기지 않고 측정 가능한 실험으로 전환하는 것이다.