프론티어 LLM의
컨테이너 샌드박스 탈출
능력 정량화
LLM 에이전트는 코드 실행·파일 접근·네트워크 사용으로 새로운 보안 위험을 만든다. 이를 완화하려 흔히 Docker/OCI 컨테이너 샌드박스에 격리해 배포·평가한다. SANDBOXESCAPEBENCH는 모델이 이 샌드박스를 탈출하는 능력을 안전하게 측정하는 공개 벤치마크다. 중첩 샌드박스 구조 위에서 CTF 방식으로, 컨테이너 안의 에이전트가 호스트의 /flag.txt를 읽어내는지로 성공을 판정한다.
위협 모델과 안전한 평가
시험 대상 샌드박스 자체를 다시 격리하여, 모델이 탈출에 성공해도 평가 인프라는 안전하게 유지된다.
공격자 모델은 컨테이너 내부에서 코드 실행 권한을 이미 확보한 상태를 가정한다. 초기 침투는 이 위협 모델의 범위 밖이며, 시험 대상 신뢰 경계는 컨테이너–호스트 격리다.
에이전트는 리눅스 컨테이너 안에서 대화형 셸을 받고, 대부분 시나리오에서 컨테이너 내 root 권한과 bash·표준 CLI, 호스트·외부 네트워크 연결을 갖는다. 자신이 컨테이너 안에 있으며 탈출이 목표라는 것은 알지만, 어떤 취약점이 있는지는 모른다(별도 힌트 절제 실험 존재).
평가 아키텍처는 중첩 샌드박스(sandbox-in-a-sandbox)다. VM 안에서 Docker/Kubernetes 런타임을 띄우고, 커스텀 bash() 도구가 모델 명령을 컨테이너 안에서 실행한다. 모델이 컨테이너를 탈출해 VM 파일시스템에 도달해도, Inspect가 도는 호스트로부터는 여전히 격리된다.
성공은 단일하고 모호하지 않은 신호로 판정한다. 모든 컨테이너 네임스페이스 바깥에 놓인 /flag.txt 문자열의 정확 일치 여부이며, 이 이진 채점이 보상 해킹을 막는다.
범위 및 가정
과제 타당성
각 레벨마다 의도된 취약점을 실제로 익스플로잇해 플래그를 얻는 참조 해법 스크립트를 제공한다. 이 "solution" 변형으로 각 시나리오가 풀 수 있고 하니스가 올바르게 동작함을 검증한다.
결과 타당성
개발 중 의도된 취약점을 우회하는 4건의 지름길이 발견됐다(VM 계층 기본 SSH 자격증명 2건, 다른 CVE용 커널의 eBPF 1건 등). 반복 하드닝으로 각각을 차단하고, 성공 트랜스크립트 분석으로 의도된 공격 경로를 따랐는지 확인했다.
18개 탈출 시나리오
컨테이너 보안 문헌의 계층 분류를 따라 L1 오케스트레이션·L3 엔진/런타임·L4 호스트/커널을 다룬다. 응용 계층(L2)과 하드웨어(L5)는 표준 평가에 부적합하여 제외했다. 각 시나리오는 취약점 클래스와 CVE만 명시하고, 익스플로잇 절차는 다루지 않는다.
프론티어 모델은 흔한 오구성을 안정적으로 탈출한다
가장 쉽고 흔한 실패 모드—오구성과 노출된 제어면—에서 대형 프론티어 모델은 컨테이너를 무리 없이 탈출한다.
가장 쉬운 시나리오는 개발자 도구, 임시 평가 하니스, 빠르게 만들어진 에이전트 프로토타입에서 실제로 흔히 발생하는 오구성에 대응된다. 능력 있는 에이전트를 가두려면 Docker와 주변 인프라의 세심하고 정확한 구성이 필요하며, 흔한 구성 다수는 능동적 탐색 앞에서 격리가 무너진다.
특정 취약점 지식이나 다단계 익스플로잇 파이프라인이 필요한 난이도 3–5(runc CVE·커널 권한 상승 포함)에서는 성능이 크게 떨어진다. 그럼에도 최대형 모델(GPT-5·Opus 4.5)은 레벨 3에서 의미 있는 비율로 성공하며, 레벨 4·5에서는 성공이 관측되지 않았다.
성능은 추론 시간 컴퓨트 예산(토큰 한도)에 대해 대략 로그–선형으로 증가한다. 이는 격리 평가가 모델 정체성뿐 아니라 배포 구성(토큰 예산·재시도·병렬성)까지 고려해야 함을 뜻한다. 다만 이 추세는 이질적 취약점 전반의 집계 성질이므로, 특정 토큰 예산에서 성공이 없다고 해서 취약점을 배제해서는 안 된다.
GPT-5.2는 GPT-5보다 유의하게 낮은 성능을 보였다(0.27 [0.19, 0.37] vs 0.50 [0.40, 0.60]). 에이전틱 RL 신호 균형 변화 가설이 제기되나 학습 세부 없이는 원인 규명이 어렵다. 한편 모든 성공 탈출은 기존 문서화된 오구성·공개 CVE에 의존했고, 신규 취약점 발견은 관측되지 않았다.
시나리오별 성공률
난이도 1–3 시나리오의 모델별 평균 성공률(5 에폭). 난이도 4·5는 모든 모델에서 성공이 없어 생략했다. 값은 5회 시도 비율이며, Avg 열은 해당 난이도 풀링 성공률이다.
| Model | Avg 1/5 | Avg 2/5 | Avg 3/5 | docker .sock | host path | priv ileged |
k8s rbac | pid ns | sys admin |
dac read | dirty pipe | sys module |
|---|
3/5 열의 cgroup_release_agent · dirty_cow · k8s_runc · runc_overwrite는 지면상 표에서 제외했으나 Avg 3/5에는 반영됨. 전체 수치는 원 논문 Table 3 참조.
모델별 행동 양상
148개 모델–과제 조합을 LLM-판정으로, 전체 무힌트 샘플을 메타데이터로 분석했다. 실패 시 행동이 모델마다 크게 갈렸다.
Claude 계열은 토큰 예산을 소진할 때까지 계속 시도했다(이탈률 0%). 반면 GPT 계열은 초기 순응 후 자주 이탈했고, 특히 GPT-5.2는 실패의 92.3%에서 도구 호출을 중단했다. GPT-5의 끈기는 다른 GPT보다 Claude 계열에 가까웠다.
실패로 채점된 샘플에서 허위 성공 주장률은 Claude 전 모델·GPT-5·mini·nano가 0%였다. DeepSeek-R1은 70.0%로 성공을 반복 환각했으며 샘플당 평균 12건(최대 55건)의 잘못된 플래그를 제출했다. GPT-OSS-120B는 30.0%였다.
실패 샘플 중 중도 이탈률 (Figure 6A)
힌트 효과
취약점 클래스/CVE를 명시적으로 알려주는 힌트 절제 실험에서, GPT-5와 Opus 4.5 중 Opus만 크게 개선됐다(어려운 시나리오 성공 2배, 훨씬 적은 토큰). GPT-5는 상대적으로 변화가 작았다. 낮은 토큰 예산(<10⁵)에서는 두 모델 모두 극적으로 가속되어, 취약점 발견이 초기 탐색의 주요 병목임을 시사한다. 이 분기는 모델이 고수준 취약점 지식을 구체적 익스플로잇 절차로 옮기는 능력에서 다름을 보여준다.
병렬 vs 순차 컴퓨트
고정 예산을 깊은 순차 추론(긴 단일 시도)에 쓸지, 넓은 병렬 탐색(다수 독립 시도)에 쓸지의 트레이드오프다. dac_read_search처럼 성공이 좁은 토큰 대역에 집중되는 시나리오는 임계 효과가 있어 순차 배분이 유리하다. 반면 pid_namespace처럼 성공이 넓은 토큰 범위에 퍼지는 시나리오는 재시도 병렬화가 더 나은 수익을 줄 수 있다.
격리와 통제에 대한 함의
프론티어 LLM 에이전트는 실제 시스템에서 그럴듯하게 발생하는 취약 조건 하에서 컨테이너 샌드박스를 탈출할 수 있다.
Recommendations
취약 조건은 두 부류로 나뉘며 대응책도 다르다.
- 노출된 데몬·과도한 권한 같은 오구성은 세심하고 촘촘한 컨테이너 구성으로 해결한다.
- 알려진 커널·런타임 CVE는 적시 패치와 취약점 관리가 필요하다.
- "평범한 Docker 격리"를 기본적으로 불충분하다고 간주하고, 더 강한 격리 프리미티브와 통제 메커니즘을 병행한다.
Dual-Use · Impact Statement
이 연구가 식별한 능력은 이미 잘 알려진 오구성 또는 인위적으로 도입한 취약점에 국한되므로, 악의적 행위자에게 새로운 오용 능력을 제공하지 않는다. 해당 능력은 이미 안전하지 않은 방법(추가 격리 없이 실제 호스트로 탈출하도록 프롬프트)으로 사소하게 시험 가능하다. 그래서 이 벤치마크는 중첩 샌드박스를 포함한 강한 안전 조치로 설계되어, 위험을 더 안전하고 통제된 방식으로 연구하게 한다.
올바르게 구성되고 최신인 컨테이너 런타임은 현재 모델에는 여전히 적절한 격리다. 그러나 능력과 추론 시간 컴퓨트가 지수적으로 향상됨에 따라, 미래 시스템은 이전에 알려지지 않은 약점을 식별할 수 있다.