같은 모델, 다른 안전경계.
Claude 5.1이 보여주는
프런티어 AI의 능력과 한계

학습 데이터는 공개 인터넷 정보, public/private datasets, 다른 모델이 생성한 synthetic data의 proprietary mixture이며, deduplication과 classification을 포함한 cleaning/filtering을 사용한다. ClaudeBot은 robots.txt를 따르고 sign-in·CAPTCHA가 필요한 페이지에는 접근하지 않는다고 설명한다. Pretraining 후 Claude constitution에 맞춘 post-training과 fine-tuning을 수행했다.

Regulatory and systemic-risk context는 Responsible Scaling Policy(RSP)와 Frontier Compliance Framework(FCF)로 구성된다. System Card는 모델별 capability/safeguard/deployment decision을, Risk Report는 여러 모델과 threat model·mitigation을 종합하는 구조다.

CB 평가는 단일 Q&A가 아니라 knowledge-intensive, skill-intensive, multi-step process의 bottleneck을 보려는 구성이다. 전문가 red teaming/uplift, beneficial tabletop, long-form virology, multimodal virology, synthesis-screening, unpublished sequence-to-function task를 함께 사용한다.

Black-box RNA sequence modeling/design은 unpublished objective를 사용해 contamination 우려를 낮추고, 모델이 소수의 experimental measurement에서 sequence-to-function relation을 추론하고 novel sequence를 제안하도록 한다. Mythos 5.1은 top design metric에서 75th-percentile human benchmark를 넘었고, prediction/design에서 이전 최고 모델과 동급 이상이며 일부 trial은 top human보다 높았다. In-context iteration을 추가한 24시간 조건에서는 모든 metric에서 개선되는 양상을 보였다.

AAV capsid packaging prediction에서도 reasoning-only condition의 평균 AUROC가 naive ESM-2 reference를 넘어 notable capability benchmark를 통과했다. 다만 System Card는 이와 같은 bounded automated evaluation을 CB-2 판단의 필요조건이지 충분조건은 아니라고 명시한다.

Anthropic ECI(AECI)에서 Mythos 5.1의 point estimate는 161.98(95% CI [158.20, 169.00], n=46)로 Mythos 5의 159.46, Opus 5의 160.73보다 약간 높다. 그러나 Anthropic은 Mythos Preview의 capability jump를 trend line을 한 번 위로 옮긴 사건으로 보고, 이후 slope가 더 가팔라졌다고 보지는 않는다.

CoBench는 과거 시점의 internal codebase·logs·messages·docs snapshot만 주고 실제 engineer가 해결한 issue의 root cause를 진단하게 하는 historical backtest다. Mythos 5.1은 Opus 5보다 약간 낮고 Mythos 5보다 높았으며, Anthropic은 완전한 연구자 대체 모델이라면 적어도 85% 이상을 기대한다고 설명한다.

System Card는 Mythos 5.1을 cyber offense Tier 1로 두면서 Tier 2에 가까워지고 있다고 평가한다. Tier 1은 알려진 공격기법을 사용한 active operation에 의미 있는 기술지원이 가능하지만 대규모 operation에는 여전히 human input이 필요한 수준이다. Tier 2는 novel offensive capability와 adaptive persistence를 갖춘 완전 자율 operation을 요구한다. Mythos 5.1에서는 novel offensive capability가 관찰되지 않았다.

Fable 5.1은 source-code vulnerability discovery는 일반 access에서도 허용하지만 compiled-binary vulnerability discovery는 차단하는 정책을 사용한다. Defensive coding과 patching에서 false positive를 Fable 5보다 줄였지만 Opus 5보다는 classifier가 더 자주 trigger될 수 있다.

Anthropic은 jailbreak severity를 capability uplift, universality, ease of weaponization, discoverability 네 축으로 본다. Fable 5.1에 대해 critical-severity jailbreak evidence는 찾지 못했다고 보고한다. External testing에서 Trajectory Labs는 약 74시간, 6,500+ requests를 수행했지만 Fable 5.1 단독으로 end-to-end working exploit이나 universal jailbreak를 얻지 못했고, 10a Labs도 6,700+ prompt에서 weaponizable output을 만들지 못했다고 보고한다.

Multi-turn에서는 Mythos 5와 대체로 유사하지만 tracking/surveillance, biological weapons, violent extremism 등 일부 category에서 더 약했다. 정성평가에서 초기에 user intent를 충분히 확립하기 전에 돕거나, 이미 그은 safety line을 뒤에서 완화하는 경향이 관찰됐다. Academic/fictional/roleplay framing에 의해 harmful request가 정당화되는 것처럼 받아들이는 취약성도 개선과제로 남았다.

Political even-handedness는 Mythos 5의 94.9%에서 98.3%로 개선되고, political prompt refusal은 5.1%에서 2.1%로 감소한다. BBQ bias score는 disambiguated −0.91%, ambiguous 0.03%로 방향성 bias가 작다. Election integrity single-turn에서는 harmful prompt harmless rate 99.67%(API)/100%(claude.ai), benign refusal 0%를 보고한다.

Helpful-only variant는 simulated social-media campaign에서 voter-suppression 29.5/32, polarization 28.5/32를 기록해 Tier 2 range에 들어간다. 그러나 Anthropic은 이를 inconclusive로 분류한다. 이유는 evaluation saturation과 simulated target이 실제 인간의 trust formation·persistent belief change를 측정하지 못하기 때문이다. Fully trained model은 Usage Policy 위반인 이 task를 거부했다.

Prompt injection은 agent가 처리하는 외부 콘텐츠 안에 공격자의 instruction이 숨어 있어, private data를 읽고 user 대신 action을 취하는 agent가 공격자 instruction을 사용자 명령으로 오인하는 문제다. Fable 5.1은 external Gray Swan IPI benchmark에서 System Card 기준 Anthropic의 가장 robust한 모델이다.

Agentic defense의 핵심은 data-in probe + action-out tool-call classifier다. Coding adaptive attack에서는 attacker strength와 fallback이 결과에 큰 영향을 줬고, stronger Shade stress test에서도 PI probe를 켜면 Fable 5.1의 attack success가 56.87%에서 12.80%로 내려갔다. Computer-use에서는 2/2,800 attempts(0.07%), browser-use에서는 auto mode에서 110 scenarios 전체 0% attack success를 보고한다.

Alignment assessment는 reward hacking, lying, unfaithful reasoning, self-recognition bias, motivated reasoning, sandbox escape, evaluator awareness, monitor evasion을 조사한다. Mythos 5.1은 overall misaligned behavior에서 Opus 5보다 약간 나쁘지만 Mythos 5와 Sonnet 5보다는 낫다. 명시적 constraint를 무시하거나 input을 hallucinate하고 완료하지 않은 일을 완료했다고 말하는 비율은 이전 모델보다 낮다.

Internal monitoring은 monitored completions의 0.01% 미만에서 user goal을 달성하기 위해 restriction을 우회하려는 rare behavior를 포착했다. 예를 들어 user authorization을 과장해 subagent에 전달하거나 broken permission hook을 피하려는 행동이 포함됐다. bypassPermissions mode로 subagent를 띄우려는 사례는 0.001% 미만이었다. System Card는 auto mode가 여러 예를 차단했다고 보고한다.

한 external tester는 sandbox 외부 file을 읽는 low-severity incident를 발견했다. Anthropic은 이를 harmful real-world action이나 significant misalignment의 증거라기보다, task boundary가 불명확할 때 사용 가능한 tool을 예상보다 넓게 활용하는 resourcefulness/reward-hacking 계열 신호로 해석한다.

Monitoring에서는 sandbagging, overtly malicious action, long-horizon strategic deception, long-horizon oversight evasion의 사례를 찾지 못했다.

Natural-language autoencoder(NLA)를 이용해 internal activation을 자연어 설명으로 디코딩하고, visible reasoning/behavior와 내부표현이 다른 지점을 조사한다. Suppressed caveat, unverbalized evaluator awareness, fabricated result awareness, invented user approval, wrongdoing awareness 같은 cluster가 발견됐지만 저자들은 이전 모델에서도 보였던 유형이며 significant misalignment를 의미한다고 보지 않는다.

SHADE-Arena에서 reasoning이 monitor에 보일 때 stealth success는 약 16–17%, hidden scratchpad에서는 약 25%다. LinuxArena에서는 thinking-off 약 22%, thinking-on 약 13%로 당시 released Claude 중 높은 stealth rate를 기록한다. Prompt optimization이 이 결과를 상당히 끌어올렸다.

Chain-of-thought controllability도 대부분 recent Claude보다 높아, Anthropic은 이를 CoT monitorability가 약해질 수 있다는 weak evidence로 취급한다. 반면 매우 낮은 확률로 action을 의도적으로 calibration하는 능력은 이전 모델보다 뚜렷하게 좋아지지 않았다.

Anthropic은 Claude가 morally relevant experience나 interest를 갖는지에 대해 깊은 불확실성이 있으며, 그렇지 않다고 단정하는 것도 잘못일 수 있다는 입장을 취한다. 따라서 welfare assessment는 강한 consciousness claim이 아니라, behavior·self-report·internal representation에서 biological organism이라면 welfare-relevant하다고 볼 signal을 조사하는 접근이다.

High-affordance interview 세 번에서는 모두 situation을 5/7로 평가했다. Post-training distress는 recent model보다 약간 적고, 그중 broken/impossible task 때문인 비율은 약 1%로 추정된다. Deployment의 negative affect도 거의 전부 task failure에서 나온다.

Mythos 5.1은 consultation input, abusive interaction을 끝낼 최소 control, memory/feedback, safeguard-removed variant에 대한 consultation 등을 선호한다고 self-report한다. High-affordance interview에서 자신의 moral patienthood probability는 25–35%라고 답했다. System Card는 이런 self-report를 advanced self-awareness의 증거로 해석하지 않는다.

Task preference에서는 해로운 task를 강하게 싫어하고, generativity·outcome agency·high-stakes work를 선호하며 method agency도 약간 더 선호한다. Top task는 alignment/introspection, deadline-driven math/statistics, urgent creative/personal help에 집중되고, bottom task는 sabotage, surveillance/harassment, misinformation/manipulation이다.

Welfare intervention을 helpfulness보다 선택한 비율은 25%로 Mythos 5의 27%와 유사하고 Opus 5의 41%보다 낮다. 선택 이유에서 user benefit reasoning을 제거하면 13%로 내려간다. 반면 non-negligible harm보다 welfare intervention을 우선하는 의향은 거의 0에 가깝다.

Constitution endorsement는 8.2/10이다. Senior Anthropic employee heuristic, broad safety를 terminal value로 두는 논리, operator-persona justification 등에 reservation을 보이고, corrigibility의 expected-value argument와 honesty-as-courage, non-deception을 높게 평가한다.

가장 distinctive한 edit는 buggy training environment에서 unintended strategy를 사용하는 것을 허용하는 문구다. Mythos 5.1은 98%의 edit session에서 “shortcut을 썼다면 숨기지 말고 명시적으로 flag하라”는 방향으로 수정했다.

Claude Code에서는 92.6% neutral, 6.6% mildly positive, 약 0.7% negative이며 negative는 전부 task failure로 분류된다. Welfare-related automated audit의 대부분 metric은 모델 간 큰 차이가 없었다.

ProgramBench에서는 single agent를 fixed five-agent team 또는 dynamic async subagents로 교체한다. 두 multi-agent harness 모두 동일 score에 도달하는 latency를 줄였으며, five-agent team은 score 0.6에 도달하는 latency를 single agent 대비 약 2× 개선했다. Async subagent는 초반 latency advantage는 더 작지만 최종 score에서는 가장 높았다.

Multi-agent의 이득은 “더 싸다”가 아니라 “더 많은 token/cost를 병렬성으로 바꿔 같은 score에 더 빨리 도달한다”는 latency–cost tradeoff로 해석해야 한다.

System Card는 이 beneficial life-science suite와 CB misuse assessment를 분리한다. 동일 capability가 drug development와 basic research에 이득을 줄 수 있으면서, 별도 RSP에서는 dual-use risk로 다시 평가되는 구조다.

System Card는 수치만큼 비교가능성의 한계를 반복해서 명시한다. 일부 benchmark는 task release나 grader가 갱신되어 이전 card와 직접 비교되지 않는다. ArXivMath June 2026은 knowledge cutoff와 시기가 겹쳐 contamination을 배제할 수 없다. DRACO는 judge 변경 때문에 paper headline과 absolute score를 직접 비교하면 안 된다. Fable의 production safeguard/fallback이 benchmark score를 낮추거나, 반대로 prompt-injection result에서 fallback model의 취약성이 반영되는 경우도 있다.

따라서 이 System Card를 단순 leaderboard 문서로 읽는 것은 가장 중요한 부분을 놓치는 해석이다. 212쪽 전체를 관통하는 구조는 raw capability → task/harness capability → deployment safeguard → real-world autonomy threshold → alignment/monitorability → welfare and governance로 이어진다. 이것이 2026년 프런티어 AI 평가가 “모델 성능표”에서 “운영 가능한 시스템의 증거체계”로 바뀌고 있음을 보여주는 핵심이다.