이질적 에이전트의 발산하는 학습 동역학을, 정책 파라미터 공간의 리아푸노프 인증으로 수렴 매니폴드에 수축시킨다.
전통적 인간-로봇 협업(HRC)은 인간을 정적이거나 교란된 환경 요소로 취급한다. 이런 로봇-스크립트·로그-리플레이 패러다임은 사전 정의된 인간 입력에 의존하며, 인간 행동의 확률적 풍부함을 포착하지 못한다. 그 결과 로봇은 특정 상호작용 궤적에 과적합되고, 분포 밖(OOD) 행동을 만나면 성능이 붕괴한다.
본 연구는 이 한계를 넘어서기 위해 이질적 멀티 에이전트 강화학습(MARL)을 채택한다. 정적 스크립트를 학습 가능한 휴머노이드 프록시로 대체하여, 로봇이 무한한 상호작용 매니폴드를 탐색하도록 만든다. 그러나 이질적 학습은 합리성 격차(Rationality Gap, RG)라는 구조적 병리를 도입한다 — 분산 정책 업데이트가 협력적 공동 최적화에서 이탈하는 현상이다.
CTDE 패러다임에서 각 에이전트는 파트너 정책을 고정된 환경 요소로 가정하고 독립적으로 파라미터를 갱신한다. 이 가정이 개별 그래디언트를 팀 최적 방향에서 이탈시킨다.
각 에이전트가 국소 대리 목적함수를 따라 갱신한 방향의 연접이다. 파트너 정책이 순간적으로 정지해 있다고 암묵적으로 가정한다. 결합 야코비안이 비대칭이므로 이 장은 일반적으로 비보존적이며, 솔레노이드 성분이 극한 순환과 진동을 유발한다.
결합 파라미터 공간에서 연쇄 법칙으로 유도되는 전역 팀 보상함수의 참 상승 방향이다. 모든 에이전트가 공유하는 팀-수준 목적에 완전히 정렬된 이상적 방향으로, 실제 분산 업데이트가 지향해야 하는 목표에 해당한다.
HALO는 안정 반공간으로의 최소 노름 투영을 통해, 정책 파라미터 공간에서 형식적 안정성 인증서를 확립한다. 이 투영은 매 갱신마다 리아푸노프 소산 조건 ⟨∇V, d⟩ ≤ −σV 를 강제한다.
미니배치에서 독립 합리성 장 uind 와 팀 합리성 장 uteam 을 계산 그래프를 유지한 채 산출한다.
u_ind ← ∇θ L_ind ; u_team ← ∇θ L_team (create_graph=True)격차 V 에 대한 이중 역전파 한 번이 필요한 헤시안-벡터 곱을 산출한다. 전체 O(D²) 헤시안을 명시적으로 구성하지 않아 메모리 오버헤드가 미미하다(< 21.1%).
h = ∇θ V = (H_ind − H_team)ᵀ (u_ind − u_team)uind 를 안정 반공간 Hstable 위로 최소 노름 투영한다. KKT 조건이 정확한 해석적 해를 허용한다.
min ½‖d − u_ind‖² s.t. ⟨∇V, d⟩ ≤ −σV정류자 함수로 두 작동 영역을 통합한 최적 승수 λ* 로 방향을 정정하고, 학습률 η 로 결합 파라미터를 전진시킨다.
d* ← u_ind − λ*·h ; θ_{k+1} ← θ_k + η·d*비선형 안정성 분석을 통해 HALO 하에서 합리성 격차가 단조 수축함을 증명한다. 잠재적으로 진동하던 분산 학습이 소산 동역학계로 변환된다.
학습률이 안정성 경계 η ≤ 2σV/(L‖d*‖²) 를 만족하면, 합리성 격차 V(θ) 는 단조 비증가한다. 증명은 L-평활 함수에 대한 하강 보조정리를 사용하며, KKT 해를 통해 갱신 방향이 항상 안정성 그래디언트와 소산적 내적을 유지함을 보인다.
V(θ) 가 0 이상으로 하계를 갖고 학습률이 로빈스-먼로 조건을 만족하면, 불일치 에너지 수열이 0으로 수렴한다. 극한점은 분산 선호도 ∇θᵢJᵢ 가 전역 팀 상승 방향과 정렬되는 정류점이 된다.
방향 민감 밀기(OSP), 공간 제약 운반(SCT), 초장물 취급(SLH) 과제에서 HALO를 최신 이질적 MARL 방법과 비교한다. 정상 상태(2B 스텝)의 최적화 지표가 구조적 병리 분석과 일치한다.
| Algorithm | Overall SR ↑ | Conv. step ↓ | Final return ↑ | Align cos ϕ ↑ | Gap V ↓ | GCR ↓ |
|---|---|---|---|---|---|---|
| HAPPO | 77.1% | 1.8B | 3.44 | 0.67 | 4.89 | 72.5% |
| HATRPO | 80.8% | 1.3B | 3.60 | 0.68 | 1.53 | 54.2% |
| PCGrad | 82.1% | 1.2B | 3.76 | 0.84 | 0.20 | 25.0% |
| HALO | 86.0% | 1.3B | 4.02 | 0.91 | 0.09 | 4.2% |
V(θ) 를 라그랑주 페널티로 넣은 Soft-V 변형은 그래디언트 크기만 조절할 뿐 방향을 정정하지 못해 미미한 개선(76.5%)에 그친다. 안정 반공간으로의 하드 해석적 투영(P)만이 정책 갱신을 엄격히 수축 집합으로 진입시킨다.
| Variant | P (투영) | η (적응 스케줄) | cos ϕ (정렬) | SR (%) ↑ | Gap V ↓ |
|---|---|---|---|---|---|
| HAPPO baseline | × | × | × | 74.9 ± 6.0 | 4.89 |
| Soft-V penalty | × | × | × | 76.5 ± 5.8 | 3.21 |
| Static projection | ✓ | × | × | 79.5 ± 4.8 | 0.85 |
| HALO w/o align | ✓ | ✓ | × | 80.8 ± 4.2 | 0.24 |
| HALO (full) | ✓ | ✓ | ✓ | 82.3 ± 3.8 | 0.09 |
실세계 평가는 파트너 비정상성에 대한 협응 회복력에 초점을 둔다. 인간 파트너와 협력하는 Unitree G1 휴머노이드에 배치하여, 스크립트 없는 상황에서의 반응적 적응을 확인한다.
파트너의 높이가 변할 때 G1 이 자율적으로 수평 하중면을 유지한다. 사전 스크립트 없이 반응적 높이 조절이 창발한다.
20초간의 스크립트 없는 장애 상황에서 제자리 스테핑과 속도 재동기화를 통해 안정성을 유지한다. 잔여 운동량을 능동적으로 소산시킨다.
5회 시행 평균 기준. 목적지 도달 시간을 유의미하게 단축하고 기울기율을 최소화한다.
스크립트 없는 인간 정지 상황에서 예외적 안정성을 유지한다. 로봇-스크립트 기준선과 달리 잔여 운동량을 능동 소산한다.
협응 프레임워크는 각기 다른 시간 척도와 기능 범위를 갖는 3계층 제어 위계로 작동한다. 중간 계층 MARL(2 Hz)과 하위 전신 제어기(50 Hz) 사이의 주파수 간극은 영차 유지 기구로 연결된다.