UPD — 비지도 파트너 설계로 강건한 애드혹 협력을

01 문제

협력 파트너를 유지하는 비용

애드혹 협력(AHT)은 파트너의 정책을 가정하지 않고 조율하는 능력을 요구한다. 배포 시 파트너가 훈련 시와 달라지면 학습된 조율 전략은 쉽게 무너진다. 기존 방법은 이를 다양한 파트너 개체군으로 해결하지만, 개체군을 만들고 유지·조정하는 비용은 태스크와 파트너 다양성이 커질수록 급격히 증가한다.

개체군 기반 — 2단계

파트너 개체군을 먼저 훈련한다

FCP는 서로 다른 초기화로 N개의 정책을 RL로 훈련해 Π_train을 구성한다. MEP는 여기에 개체군 간 상호작용까지 고려한다. 정책 하나를 완성하는 비용이 C일 때, 개체군 기반 방법은 O(NC) 이상의 훈련 비용을 치른다. 전문가 지식이나 수작업 모델이 필요한 경우도 많다.

비용 ≈ (n + 1) · N_loops · (N_steps·C_env + C_PPO)

UPD — 개체군 없음, 1단계

파트너를 실시간으로 생성·선별한다

UPD는 사전 구성된 Π_train 없이 자기대전(self-play)으로 훈련한다. E3T처럼 파트너를 생성하되, 고정 혼합계수 대신 ε를 매번 샘플링하고 학습가능성으로 선별한다. 개체군 훈련 단계가 사라지고, 파트너 채점 항만 추가된다. 실험에서 추가 실행시간은 10% 미만이다.

비용 ≈ N_loops · (H·C_env + C_PPO + (NL/R)·C_env)

두 개의 질문

첫째, 환경 설계처럼 협력 파트너도 값싸고 적응적으로 생성해, 명시적 개체군 없이 강건한 AHT 에이전트를 훈련할 수 있는가. 둘째, 이런 파트너 설계 메커니즘이 절차적으로 생성되는 환경에서 파트너·레벨 공동 커리큘럼으로 자연스럽게 확장되는가. UPD는 두 질문 모두에 답한다.

02 방법 · Unsupervised Partner Design

환경 설계를 파트너 공간으로 옮긴다

비지도 환경 설계(UED)는 에이전트의 학습 경계에 맞춰 환경을 적응적으로 생성한다. UPD의 핵심 착상은 이 아이디어를 환경 파라미터가 아니라 파트너 정책이 유도하는 훈련 환경에 적용하는 것이다. 파트너 정책 π_p를 고정하면 자기 게임의 공동 플레이어가 조건화되어, 에고 에이전트에게 하나의 단일 에이전트 게임 G_{π_p,θ}가 유도된다.

온라인 생성

ε ∼ U(0,1)을 샘플링해 에고와 무작위 정책의 혼합으로 파트너를 만든다. 확률 p_bias로 Dirichlet 편향 마스크를 더해 행동 편향까지 부여한다.

롤아웃 채점

각 후보 파트너와 N회 롤아웃해 return을 수집하고, 결과 분산으로 학습가능성 ℓ을 계산한다. 분산이 높을수록 중간 난이도다.

버퍼 선별

R 주기마다 임시 버퍼를 비우고, 학습가능성이 가장 높은 상위 |B|개 파트너만 훈련 버퍼에 admit한다.

PPO 갱신

버퍼와 생성기에서 비율 ρ로 (π_p, θ)를 뽑아 유도된 게임에서 에고 정책을 PPO로 갱신한다. 단일 단계로 수렴한다.

고정 환경에서의 학습가능성

ℓvar(π_ego, π_p, θ) = Var_τ∼G[ R(τ) ]

낮은 분산은 일관된 성공 또는 일관된 실패를 뜻한다. 높은 분산은 협력이 때때로 성공하는 중간 난이도 파트너에 해당한다. 이런 표본이 학습을 촉진한다. Foster et al.(2026)은 PPO를 포함한 이점 기반 정책경사법에서 기대 개선량이 학습 신호 분산에 비례함을 보였다 — 즉 return 분산은 정책 개선을 유도할 파트너를 고르는 원리적 신호다.

파트너·레벨 공동 커리큘럼 (JUPD)

ℓCV² = Var[R(τ,θ)] ÷ ( E[R(τ,θ)] + δ )²

절차적 레벨 생성기가 있으면 (π_p, θ)를 함께 샘플링해 공동 커리큘럼으로 확장된다. 레벨마다 보상 범위가 다르므로, 변동계수 제곱(CV²) 점수로 ℓ을 보정한다. 이것이 UPD를 기존 UED와 결합해 파트너·환경을 동시에 선별하는 조인트 UPD다.

03 선별 동역학

중간 난이도만이 배운다 — 그리고 관습을 깬다

훈련 40% 시점에서 8,192개의 무작위 파트너로 에고 에이전트를 평가하면 세 가지 현상이 관찰된다. 학습가능성은 잘하거나 못하는 파트너 모두에서 0이고, 중간 난이도에서 최고이며, 극소수의 파트너만 높은 점수를 받는다. 대부분의 파트너는 훈련에 동등하게 유용하지 않다.

관습 선별 — 2×2 조율 게임

자기대전은 여러 등가 균형 중 하나(예: 항상 up)로 수렴해 자기대전 성능은 높지만 파트너 일반화는 나쁘다. π^up_SP 자신과 짝지으면 return 분산이 0이다. 반면 UPD의 생성기가 p(up)=0.5인 모호한 파트너를 샘플링하면 분산이 최대가 되고, ℓ은 이 파트너를 선호한다 — 현재 균형에서 벗어나는 경사 압력을 만들어 관습에 과적합하는 것을 억제한다. E3T는 이를 위해 ε를 수동으로 최적 설정해야 하지만, 최적 ε는 태스크마다 달라 고정 전략으로는 불가능하다.

창발적 관습 파괴

훈련 중 생성된 파트너들의 평균 방향 편향에는 체계적 전환이 나타난다. 초기에는 한 방향(예: 오른쪽)을 선호하다가 이후 반대 편향으로 뒤집힌다. 이 전환은 레이아웃과 시드에 걸쳐 일관된다. 학습가능성이 에고의 현재 조율 관습을 위반하는 파트너를 선호하기 때문이다. 손으로 설계한 관습 파괴 메커니즘에 의존하는 기존 제로샷 협력 기법과 달리, UPD는 명시적 관습 파괴 구성요소 없이 동일한 동역학을 보인다. 절제 실험에서 이 전환은 파트너 생성과 학습가능성 선별의 상호작용에서 창발하며, 무작위 생성기 단독으로는 나타나지 않았다.

04 결과

단일 설정으로 강한 기준선을 능가한다

Level-Based Foraging, Overcooked-AI, Overcooked Generalisation Challenge에서 개체군 기반·개체군 없는 기준선을 모두와 비교한다. UPD는 레이아웃마다 하이퍼파라미터를 조정할 필요 없이 단일 설정으로 동작한다.

Finding 01

고정 ε는 훈련 중 마주치는 파트너 행동의 범위를 제한한다. 어떤 고정 ε도 최고 협력 성능을 내지 못한다. UPD의 적응적 범위가 가장 강한 return을 낸다.

Finding 02

학습가능성은 레이아웃과 시점마다 서로 다른 파트너 역량 범위를 선호한다. 좁은 협력 관습을 가진 레이아웃(CR·CC·FC)에서는 낮은 ε, 유연한 레이아웃(CRoom·AA)에서는 더 확률적인 파트너를 선택한다.

Finding 03

AHT 개선의 큰 몫은 대규모 파트너 생성과 편향에서 오고, 학습가능성이 추가 이득을 제공한다. 특히 AA에서 학습가능성의 효과가 가장 크다.

협력 LBF — 10개 평가 파트너 평균 return

E3T는 ε를 {0.2…0.8}로 스윕 · 최대 return 0.5 · UPD는 모든 ε를 능가

.24

ε=.2

.24

ε=.3

.25

ε=.4

.25

ε=.5

.28

ε=.6

.26

ε=.7

.25

ε=.8

.31

UPD

방법 · Overcooked-AI	CRoom	AA	CR	CC	FC	평균	E3T 대비
SP	68.9	64.4	25.3	14.5	33.9	41.4	−62.2%
FCP	109.9	117.4	64.7	30.8	27.2	70.0	−11.8%
MEP	109.5	142.8	64.0	13.7	46.2	75.3	−4.5%
E3T	111.3	127.9	58.4	55.0	41.3	78.8	—
UPD w/o bias	111.5	159.9	66.2	57.1	44.4	87.9	+10.9%
UPD w/o ℓ	110.8	164.0	68.9	64.5	45.7	90.8	+14.1%
UPD	107.5	181.4	69.2	64.5	48.7	94.4	+18.0%

다양한 미지의 파트너와 짝지었을 때 UPD가 최고 평균 return을 낸다. 절제 실험(w/o bias, w/o ℓ)도 경쟁력 있는 에이전트를 만들지만, 전체 결합인 UPD가 가장 좋다. 편향 없는 무작위 정책만 써도(w/o ℓ) 온라인 생성기가 자연스러운 커리큘럼을 유도해 잘 동작하나, 학습가능성이 특히 AA에서 추가 이득을 준다.

부록의 확장 비교에서 레이아웃별 커리큘럼 하이퍼파라미터를 조정한 UPD (fine-tuned)는 평균 102.3 (E3T 대비 +25.9%)로, 독립적으로 튜닝된 강한 최신 기법 ROTATE(91.7)를 앞선다. UPD는 단순함에도 현대 AHT 기법과 경쟁하며, 레이아웃별 튜닝에서 추가로 이득을 얻을 수 있다.

05 절차적 생성 · JUPD

파트너와 레벨을 동시에 선별한다

Overcooked Generalisation Challenge(OGC)는 레벨이 무작위로 생성되고 풀 수 있다는 보장도 없는 특히 어려운 환경으로, UED 메커니즘에 큰 부담을 준다. 고전적 AHT 기법은 절차적 환경으로 확장되도록 설계되지 않았다. 5×5 OGC에서 레벨·파트너 생성을 결합한 기준선들과 비교한다.

방법 · 5×5 OGC	CRoom	CR	FC	평균
DR-DR	86.4	53.6	9.7	49.9
CEC	41.4	20.3	12.7	23.9
SFL-E3T	81.7	41.1	7.4	44.0
JUPD	97.0	60.0	17.1	58.9

JUPD가 모든 평가 레이아웃에서 최고 평균 return을 낸다. 파트너 난이도를 적응시키지 않는 DR-DR·CEC나 정적 파트너 생성에 의존하는 SFL-E3T와 달리, JUPD는 훈련 중 적합한 파트너와 레벨을 동시에 선별한다.

06 사람-AI 실험

사람이 더 잘 협력한다고 느낀다

이중맹검 사용자 연구에서 SP·MEP·E3T·UPD 네 에이전트를 어려운 조율 동역학의 세 레이아웃(AA·CR·CC)으로 평가한다. 참가자 12명(22–31세), 총 144게임, 방법당 36게임. 튜토리얼과 기관 윤리 승인을 거쳤다.

주관 평가 — UPD의 우위 (1–5 척도)

UPD를 각 기준선과 비교 · Wilcoxon 부호순위 검정, Holm-Bonferroni 보정

덜 좌절스러움 ↑p<.001

잘 적응함 ↑p<.001

사람 같음 ↑p<.01

잘 협력함 ↑p<.001

종합 선호 점수는 높은 내적 일관성(Cronbach's α = 0.916)을 보였고, UPD가 다른 방법보다 유의하게 높았다(p<0.05). 표본 크기를 고려하면, 이는 UPD가 사람과의 협력에 효과적임을 보여주는 것이지 전체 최고 성능임을 단정하는 것은 아니다.

평균 return — 사람과의 상호작용

36게임/방법 · 일측 대응표본 t-검정, Holm 보정

MEP

E3T

UPD

UPD는 사람-AI 상호작용에서 고려된 기준선보다 높은 평균 return을 달성하며, 대부분의 주관 항목에서도 선호되었다. 참가자들은 UPD를 유의하게 더 적응적이고, 더 사람 같으며, 더 나은 협력자이고, 덜 좌절스럽다고 평가했다.

07 정리 · 한계

파트너 공간 위에서 작동하는 프레임워크

UPD는 학습가능성 기반 파트너 선별로 애드혹 협력 에이전트를 훈련하는 개체군 없는 방법이다. 사전 학습 개체군이나 수동 파라미터 조정 없이 강한 성능을 낸다.

UPD w/o ℓ만으로도 강하다는 점은, E3T를 무작위 혼합계수와 대규모 병렬 파트너 생성으로 확장하면 표준 E3T보다 강한 개체군 없는 기준선이 될 수 있음을 시사한다.

UPD는 파트너 공간 위에서 작동하는 프레임워크로 이해할 수 있다. 이 논문은 SFL과 확률적 생성기로 인스턴스화했지만, 다른 UED 기법이나 잠재 파트너 공간도 원리적으로 쓸 수 있다.

UPD는 개체군 사전 학습을 피하는 대신 대규모 온라인 파트너 평가로 계산을 옮긴다. 고도로 벡터화된 JAX 시뮬레이터에서는 유리하지만, 환경 상호작용이 비싼 설정에서는 이점이 줄어들 수 있다.