Research Trends

1. 정의

AI Co-Scientist의 멀티 에이전트 리스크는 Generation, Reflection, Ranking, Evolution, Proximity, Meta-review, Supervisor와 같은 6~7개 전문 에이전트가 장기적 상호작용을 반복하는 과정에서 나타나는 예측 불가능한 집단적 실패입니다.

이는 단일 LLM의 환각 현상과 다른 모습으로, 에이전트 간 피드백 루프(debate → tournament → evolution)를 통해 오류가 증폭, 전파, 창발되는 현상입니다. DeepMind 창립자 Demis Hassabis가 경고한 “1% 오류율이 5,000단계 추론에서 복리처럼 폭발한다”는 위험이 이 시스템에서 현실화되는 지점입니다.

2. 소개

Gemini 2.0 기반의 AI Co-Scientist는 과학적 질문에 Generation, Reflection, Ranking(tournament), Evolution, Meta-review 루프를 수십에서 수백 회 반복하여 완전히 새로운 가설을 생성합니다. 극단적인 테스트-타임 컴퓨팅 스케일링으로 에이전트 간 상호작용은 기하급수적 복잡성을 띱니다.

하지만 동시에 연쇄 오류(cascading error), 창발적 편향(emergent bias), 검증 불가능한 지식(unverifiable knowledge)과 같은 명확한 리스크가 관찰되고 있습니다.

3. 구체적 발생 지점

상세 내용은 arXiv 2502.18864를 참조하십시오.

• 연쇄적 실패(Cascading Failures): Reflection 에이전트의 환각이 Ranking 토너먼트로 전파되어 Evolution 에이전트가 잘못된 가설을 "진화"시키는 현상입니다.
• 오류 증폭(Compounding Errors): 1%의 오류가 5,000단계 debate/evolution을 거치며 거의 무작위 수준으로 증폭되는 리스크입니다.
• 창발적 공모/편향(Emergent Collusion / Bias): Self-play debate를 통해 에이전트들이 특정 편향된 방향으로 수렴하여 집단적 합의를 형성하는 현상입니다.
• 조정 실패(Miscoordination): Supervisor의 관리 실패로 비슷한 가설이 중복되어 탐색 공간이 편향되는 결과입니다.
• 공격 표면 확대(Enlarged Attack Surface): Prompt injection이나 오염된 문헌이 전체 시스템을 오염시키는 심각한 위협입니다.
• 검증 불가능한 지식(Unverifiable Knowledge): 인간이 이해할 수 없는 복잡한 메커니즘이 제안되는 지점입니다. PMC Risks of AI Agents in Research →

4. 실제 및 잠재적 구체 사례

5. 미래 방향과 대응 과제