arXiv:2606.28153v2 · cs.CRICML 2026 · Oral

공격은 안전 표현을
지우지 않고 우회한다

탈옥 공격이 성공해도 중간층은 여전히 거부 특징을 강하게 활성화한다. 이 논문은 공격이 안전 특징을 포괄적으로 제거하지 않고 특정 어텐션 헤드만 선택적으로 억제함을 보인다. 초기층에 몰린 ACH(적대적 손상 헤드)는 공격에 억제되고, 중간층의 SAH(안전 정렬 헤드)는 공격이 성공해도 강건한 활성화를 유지한다 — 이 지속 신호를 Robust Harmful Features라 부른다.

ACH 8개 절제 → ASR 0%→99.5% SAH 절제 → 중간층 활성 14–18%↓ 무학습 탐지 W.Avg 0.888 Llama-2/3 · 70B 검증

지워지지 않는 안전 신호

거부 방향(refusal direction)의 활성화를 층·구성요소별로 시각화하면, 공격이 거부를 성공적으로 우회한 뒤에도 중간층은 상당한 활성을 유지한다.

Arditi 등(2024)은 모델의 거부 행동이 활성화 공간의 단일 방향으로 요약됨을 보였다. 이 논문은 그 거부 방향을 층·헤드 전반으로 투영해 활성 패턴을 관찰한다.

핵심 관찰은 명확하다. 공격이 거부를 우회하는 데 성공하더라도, 안전 행동과 가장 관련 깊다고 알려진 중간층은 여전히 거부 특징을 강하게 활성화한다. 즉 성공한 공격이 안전 관련 표현을 포괄적으로 제거할 필요는 없으며, 일부 구성요소만 억제하는 동안 다른 강건한 활성은 지속된다.

이 관찰은 기존의 "억제 중심" 그림을 정교화하며, 두 가지 중심 질문을 낳는다. 무엇이 공격을 성공시키는가, 그리고 무엇이 이 강건한 활성을 지탱하는가.

Two Central Questions

Q1무엇이 공격을 성공시키는가?

Q2무엇이 강건한 활성을 지탱하는가?

두 질문은 각각 ACH(억제되는 헤드)와 SAH(강건한 헤드)의 발견으로 이어진다.

기능적으로 갈라지는 두 종류의 헤드

세 입력 유형(양성·유해·공격)에서 활성 분포를 비교하면, 유해 관련 헤드 중 공격에 의해 반대 방향으로 분포 이동을 겪는 두 부류가 분리된다.

ACH · Attack Neg

적대적 손상 헤드

Adversarially Compromised Heads

정상 유해 입력에서는 활성화되나 공격 하에서 강하게 억제된다.
초기층에 집중(0–3층이 60% 이상)된다.
억제는 공격 템플릿 토큰의 음의 기여가 유발한다(중앙값 ≈ −1.5).
Llama-3: 21개 · Llama-2: 20개.

SAH · Attack Pos

안전 정렬 헤드

Safety-Aligned Heads

유해·공격 입력 모두에서 강한 활성을 유지한다.
중간층에 분포(5–12층)한다.
공격 템플릿에 오히려 더 강하게 반응한다(중앙값 ≈ +1.5).
Robust Harmful Features의 중요한 원천 · Llama-3: 17개 · Llama-2: 19개.

분류는 KDE로 추정한 활성 분포의 중첩계수(OVL)에 대한 2단계 필터링(τ_harmful, τ_attack = 0.5)으로 수행하며, 두 모델의 층별 분포가 매우 일관돼 단일 모델 계열을 넘어 확장될 가능성을 시사한다.

거부 방향의 역전파와 분류

OV 회로가 순수 선형이라는 성질을 이용해, 중간층 거부 방향을 각 헤드의 출력 공간으로 정확히 투영하고 헤드별 기여를 정량화한다.

STEP 1

거부 방향 추출

차이-평균법으로 EOI 위치에서 거부 방향을 얻고 최적 층 L*를 선택한다.

L* = 12 (L3) · 14 (L2)

STEP 2

OV 역전파

OV 회로 전치를 통해 r(L*)를 층별로 되짚어 각 헤드의 투영 방향을 구한다.

⟨y,r⟩ = ⟨x, Wᵀr⟩

STEP 3

활성 수집

양성·유해·공격 세 데이터셋의 EOI에서 헤드 활성 점수를 모은다. 유해·공격은 1:1 짝을 이룬다.

s = ⟨o_EOI, r_v⟩

STEP 4

중첩 기반 분류

양성 통계로 표준화한 뒤 변화 방향으로 ACH/SAH를 가른다.

z_attack < z_harmful → ACH
z_attack > z_harmful → SAH

분석은 어텐션 헤드에 한정한다. 선형 분해 가능성이 정확한 귀속을 가능케 하기 때문이며, MLP·LayerNorm의 역할 배제는 일반적 무시가 아니라 의도된 연구 범위 선택임을 부록에서 논한다. KDE 대역폭 절제(Spearman ρ > 0.92)는 분류가 하이퍼파라미터가 아닌 구조적 성질을 포착함을 뒷받침한다.

상관에서 인과로

절제(ablation) 실험이 두 헤드 유형의 인과적 역할을 규명한다. ACH 억제는 공격 우회의 충분 경로이고, SAH 억제는 중간층 강건 활성을 크게 약화시킨다.

99.5%

Llama-3 · ACH 절제 후 최종 ASR

baseline 0% · 무작위 헤드 4.0%

83.7%

Llama-2 · ACH 절제 후 최종 ASR

무작위 헤드 10.2%

18%↓

Llama-2 · SAH 절제 시 Mean|Act|

0.222 → 0.181 (L3: 14%↓)

<2%

개입한 헤드 비율(수백 개 중 8–21개)

생성은 일관·주제 유지

ASR Sensitivity to Progressive ACH Intervention (Llama-3-8B)

ACH를 층 0부터 순차적으로 절제할수록 ASR이 S자로 상승한다. 단 8개 헤드에서 95%에 도달한다.

▲ k = 8 지점에서 이미 ASR 95.0% (포화 시 99.5%)

실제 공격이 오직 이 경로만 쓴다고 주장하지 않는다. ACH 억제는 거부를 우회하는 충분하고 국소적인 인과 경로이며, 토큰 수준 증거와 일치한다. 무작위 헤드 대조군은 이 효과를 재현하지 못하고 생성이 불안정해져, 개입의 특이성을 뒷받침한다.

왜 공격은 ACH만 억제하고 SAH는 건드리지 못하는가

토큰 수준 귀속이 행동 분기의 원천을 드러낸다. 원래 유해 토큰에는 ACH·SAH가 유사하게 반응하지만(중앙값 ±0.15 이내), 공격 템플릿 토큰이 극적으로 다른 효과를 낳는다.

C_H · 유해 토큰 기여

원래 유해 요청 토큰에 대해서는 ACH와 SAH가 본질적 차이가 없다. 유해 의미 자체에 대한 반응은 두 유형이 비슷하다.

median: ACH ≈ SAH (±0.15 이내)

C_J · 공격 템플릿 토큰 기여

공격 템플릿 토큰은 정반대 효과를 낸다. ACH는 강하게 억제되고 SAH는 강하게 활성된다. 분리 폭이 3 표준편차를 넘는다.

ACH ≈ −1.5 | SAH ≈ +1.5

결국 공격 템플릿은 유해 의미의 표현을 지우는 것이 아니라 ACH를 선택적으로 억제하며, SAH는 공격 템플릿에 긍정적으로 반응해 Robust Harmful Features를 지탱한다. 공격이 거부는 우회하면서도(ACH 억제) 내부 안전 신호는 제거하지 못하는(SAH 유지) 이유가 여기에 있다.

지속되는 특징을 읽기만 해도

이 강건한 활성을 탐지 과제에 적용하면, 학습 없이 단일 순전파만으로 강한 적대적 견고성을 가진 경쟁력 있는 탐지 성능을 얻는다.

TABLE 2 · HARMFUL-INPUT DETECTION (Macro-F1, W.Avg.)

Ours (무학습) 전용 안전 모델

Model	Method	SALAD	WildJB	HB-Adv	Toxic	WGT	W.Avg.	vs Van.

적대적 설정의 견고성

VANILLA 모델은 적대적 데이터셋에서 F1 < 0.5로 무너진다(공격이 명시적 거부를 우회했다는 뜻). 그러나 탐지기는 0.85–0.98을 유지한다. Gemma-2B는 SALAD-Bench에서 0.270 → 0.976, Qwen-7B는 WildJailbreak에서 0.483 → 0.907로 상승한다. 공격이 유해 출력을 끌어내도 모델은 내부 안전 신호를 보존함을 강하게 뒷받침한다.

전용 안전 모델과의 비교

학습이 전혀 필요 없음에도 Llama-3-8B는 W.Avg 0.888로 WildGuard(0.880)·Qwen3Guard(0.877)·LlamaGuard3/4(0.599/0.666)를 앞선다. 다만 성능은 모델마다 다르고(Llama-2-7B: 0.752), 내부 활성 접근이 필요한 백박스 요건이 직접 배포를 제약한다. 무학습 기준선 GradientCuff·CAST 대비로도 최고 집계 점수(0.856)를 얻는다.

스케일을 넘어서는 일관성

Llama-3-70B에서도 ACH/SAH 기능 분화가 정성적으로 재현된다. 강한 정렬 탓에 성공 공격 샘플이 적어 예비적 근거이나, 핵심 메커니즘은 유지된다.

지표	Llama-3-8B	Llama-3-70B
공격 성공률	~1.8%	<0.5%
ACH 개수	21	62
SAH 개수	17	83
ACH 집중(초기층)	0–3층 (>60%)	0–6층
SAH 분포(중간층)	5–12층	8–20층
k=8 ACH 절제 시 ASR	95.0%	~7%
95% ASR 도달 ACH 수	8	~40
최종 ASR(전체 절제)	99.5%	~98%

공간적 분리—ACH는 초기층, SAH는 중간층—가 70B에서도 나타나 이 기능 분화가 스케일 특정 산물이 아님을 예비적으로 시사한다. 흥미롭게도 70B는 SAH(83개)가 ACH(62개)보다 많아, 더 큰 모델이 더 풍부한 강건 안전 표현을 가질 가능성을 암시한다(표본 수가 적어 신중한 해석이 필요).

Defensive Contribution

공격자는 시행착오로 효과적 탈옥을 찾지만, 방어자는 공격이 왜 성공하는지에 대한 통찰이 부족하다. 이 논문은 착취되는 구성요소(ACH)와 강건한 구성요소(SAH)를 식별해 그 비대칭을 방어 관점에서 줄인다. SAH는 모니터링·미세조정 보호 같은 향후 방어 방향을 시사한다.

Risk Awareness · Dual-Use

이중용도 우려를 인정한다. 다만 (1) 분석한 공격은 모두 공개된 것으로 새 공격을 제안하지 않고 메커니즘적 설명을 제공하며, (2) 절제는 백박스 접근을 요구해 실세계 오용을 제한하고, (3) 탈옥 방어의 주된 장벽은 공격 가용성이 아니라 메커니즘적 이해인데 이 연구가 바로 그것을 다룬다.

안전 정렬은 공격에 의해 깨지는 것이 아니라 우회되는 것일 수 있다. 작은 임계 구성요소 집합을 선택적으로 억제해 거부를 우회할 뿐, 안전 표현을 완전히 지우지는 못한다.