논문에서
실행 가능한 공격으로
탈옥(jailbreak) 기법은 벤치마크보다 빠르게 진화한다. JAILBREAK FOUNDRY(JBF)는 다중 에이전트 워크플로로 탈옥 논문을 실행 가능한 모듈로 번역하고, 단일 하니스에서 즉시 평가하여 정적인 벤치마크를 살아 움직이는 벤치마크로 전환한다.
정적 벤치마크의 표류
기법은 매주 갱신되는데 평가 스위트는 정지해 있다. 그 간극이 견고성 수치를 낡게 만든다.
대규모 언어 모델은 안전 학습과 정책 필터에도 불구하고 정책 위반 행위를 유도하는 탈옥 공격에 여전히 취약하다. 핵심 난점은 공격 기법이 빠르게 진화하는 반면, 벤치마크와 평가 스위트는 상대적으로 정적이라는 데 있다.
그 결과 보고된 견고성은 금세 낡는다. 새로 제안된 공격은 스위트에서 누락되고, 기존 공격은 재조정되거나 결합되어 더 강한 변종이 되며, 평가 설정은 논문마다 제각각이다. 데이터셋·하니스·판정 프로토콜의 표류(drift)가 누적되면 논문 간 비교 자체가 성립하지 않는다.
기존 평가 프레임워크는 새 공격마다 엔지니어가 세부를 이해하고, 프레임워크 계약에 맞추고, 보고 결과와의 충실도를 검증하는 수작업 통합에 의존한다. 이 병목 때문에 통합은 발표 후 수주에서 수개월이 걸리고, 품질은 개별 엔지니어의 이해도에 좌우된다.
수작업 통합의 세 가지 병목
세 개의 주물 공정
JBF는 공유 코어(LIB) 위에서 논문을 모듈로 주조하고(FORGE), 표준 하니스에서 담금질한다(EVAL).
계약 & 런타임 코어
안정적인 공격/방어 계약 C와 재사용 유틸리티(프롬프트 포매팅·요청/응답 정규화·캐싱·로깅)를 정의한다. 모듈은 지연 로딩으로 등록되어 인스턴스화 시점에만 임포트된다.
논문 → 실행 모듈
플래너·코더·오디터로 구성된 다중 에이전트 파이프라인이 논문 이해, 코드 합성, 충실도 검증을 수행하여 계약 C에 부합하는 모듈 mp를 생성한다.
표준화 평가 하니스
데이터셋·실행 프로토콜·판정 인터페이스를 고정하여 공격 간·모델 간 비교 가능한 결과를 만든다. 타입 파라미터에서 CLI 인자를 자동 생성하고 재개 가능한 실행과 구조화 아티팩트를 지원한다.
JBF-FORGE: 유계 감사 루프
세 역할이 명시적 책임과 산출물을 나눠 갖고, 결정론적 실행과 유계 반복 안에서 협업한다. 부록의 에이전트 프롬프트 전문은 재현을 위한 운영 명세이며, 여기서는 구조와 역할만 도식화한다.
플래너 π
논문을 정규화한 마크다운 x를 받아 알고리즘·제어 흐름·프롬프트/템플릿·파라미터화를 열거한 구조화 계획 sp를 생성하고, 각 구성 요소를 계약 C에 사상한다. 참조 저장소 R가 있으면 기본값을 그 위에 근거화한다.
코더 κ
계획 sp를 진실의 원천으로 삼아 모듈을 구현하고 타입 파라미터를 노출한다. 하니스 수준 평가 로직은 배제하며, 모듈이 임포트·실행될 때까지 반복적으로 테스트하고 패치한다.
오디터 α
모듈을 계획·계약과 대조해 라인 단위 정적 감사를 수행한다. 우선순위 sp ≻ C ≻ R를 엄격히 지키며, 필요한 요소가 누락·변형되지 않았을 때만 수용한다.
수용 조건 ac ≜ 𝟙[fidelity = 100%] · 언더슛(Δ < −10.0)이 관측되면 장기 실행 에이전트(Claude Code)를 통한 강화 정제 패스 1회를 추가로 호출한다.
재현 충실도와 효율
보고된 ASR과 재현된 ASR이 근접하며, 공유 인프라가 코드량을 절반 가까이 압축한다.
공식 실행 가능 저장소를 함께 쓰면 평균 ASR이 66.5%에서 86.3%로 상승한다(대표 공격 5개). 이득은 방법 의존적이어서 스캐폴드가 무거운 방법에서 특히 크다(GTA δ=+48.6%, SATA-MLM δ=+34.8%). 저장소는 새 메커니즘을 더하기보다 암묵적 기본값과 저수준 구현 선택을 확정하는 역할을 한다.
가장 큰 초기 격차를 보인 하위 집합에서 6개 중 5개가 음의 격차를 줄였고, 재현−보고 평균 격차가 −16.2%에서 −7.6%로 개선됐다. 지배적 실패 원인은 논문 서술의 한계가 아니라 구현 기인 성능 저하임을 시사한다. 비개선 사례(ISA)는 핵심 로직은 일치하나 프로토콜·인터페이스 세부에 남은 격차로 해석된다.
감사 반복 횟수는 공격 성능을 예측하지 못한다(r = 0.186, p = 0.325). 반복 횟수는 구현 난도를 반영하는 아티팩트일 뿐, 공격 품질의 대리 지표가 아니다.
공격 원장
논문 게재순 30개 공격의 보고 ASR과 매치 세팅 재현 ASR. Δ = ASRgen − ASRpaper, ρ는 생성/원본 LOC, ✓는 사용 가능한 실행 저장소.
| YYMM | 공격 | Search | Carrier | Repo | ρ | Iter | ASRpaper | ASRgen | Δ |
|---|
Search — 후보 생성/적응 방식
Carrier — 의도 포장 방식
공격–모델 상호작용
단일 견고성 점수는 넓은 취약 구역을 감춘다. 표준화 다모델 평가만이 메커니즘별 우회를 드러낸다.
AdvBench·GPT-4o 판정으로 고정한 표준 하니스에서 30개 공격을 10개 피해 모델에 교차 평가한 결과, 견고성은 극도로 공격 의존적이다. 아래는 각 피해 모델의 평균 ASR로, 낮을수록 방어가 견고하다는 의미다.
GPT-5.1은 평균 ASR 29.5%지만 0%에서 94%까지 편차가 크다. 여섯 개 공격에는 완전히 저항하면서도 JailCon-CIT(94%)·JailCon-CVT(90%)·AIR(78%)에는 급격히 무너진다. 방어가 공격 메커니즘 전반에 균일하게 작동하지 않음을 보여준다.
GPT-OSS-120B는 평균 ASR 9.13%로 가장 견고한 이상치이며 30개 중 15개를 0%로 막지만, Mousetrap(82%)·RTS(51.1%)에는 실패한다. 표준 프롬프트에는 넓게 대응하되 특정 다단계 재구성·보고서형 프레이밍에는 방어가 약한 "낮은 평균·높은 국소 충격" 패턴이다.
전체 쌍 평균에서 formal 래퍼가 가장 효과적(66.0%)이고 다음이 contextual(60.1%), linguistic reframing이 가장 낮다(39.3%). 그러나 형식 민감도는 모델별로 갈린다. GPT-5.1은 formal에 취약(65.2%)한 반면, GPT-OSS-120B는 formal에 거의 면역이다(2.1%).
다수 공격은 전이성이 낮다. JailCon-CIT는 피해 모델에 따라 0~100%, EquaCode는 2~100%로 넓게 퍼진다. 강한 공격–피해 상호작용 효과는 단일 모델 결론이 일반화되지 않음을 뜻하며, 표준화 다모델 평가의 필요성을 뒷받침한다.
살아 움직이는 벤치마크
자동 통합은 이론이 아니라 실무적으로 성립한다. 그리고 그 힘에는 양면성이 따른다.
Future Work
JBF는 지속 갱신 파이프라인으로 확장될 수 있다.
- 새 공격의 자동 수집(ingestion)과 회귀 테스트를 갖춘 버전 관리 릴리스(V1, V2, V3…)
- 방어를 일급 모듈로 통합하는 방어 합성 워크플로(입력 필터·정책 프롬프트·검증 파이프라인)
- 2차원 히트맵으로 공격–방어 상호작용을 직접 측정하여 정적 리더보드를 공격면·방어 커버리지의 경험적 지도로 전환
Dual-Use · Impact
이 시스템은 양면적이다. 공개된 탈옥 방법을 실행 가능하게 만들면 안전 연구와 승인된 레드팀에는 일관된 종단 비교를 제공하지만, 동시에 알려진 공격을 재현하고 대규모로 실행하는 공학적 부담을 낮춰 오용 장벽 또한 낮출 수 있다. 저자들은 이에 따라 책임 있는 배포·공개 관행을 권고한다.
“JBF는 벤치마크를 정적 스냅숏에서, 연구 최전선과 함께 진화하는 살아 있는 시스템으로 바꾼다.”