이미지에
사람의 취향을
강화학습으로 새기다

그러나 RLHF를 디퓨전 모델로 확장하는 데는 세 가지 뚜렷한 난제가 있다. 신뢰할 수 있는 보상 신호가 텍스트-투-이미지(T2I) 생성과 이미지 편집처럼 근본적으로 다른 과제의 다양한 품질 차원을 포착해야 하고, 기존 RL 프레임워크가 주로 LoRA 미세조정 설정에서만 검증되어 전체 파라미터·대규모 학습이 미탐색 상태이며, 실제 배포에는 과제별 특화 정책을 품질 손실 없이 단일 모델로 통합하는 일이 요구된다.

공유 베이스 모델에서 출발하여 전용 보상 조합으로 두 과제 특화 RL 정책을 학습한다. T2I는 프롬프트 충실도 → 질감 품질 → 인물 특화 최적화로 이어지는 계층 설계를, 편집은 지시 정확도와 정체성 보존에 집중한다. 그 결과 나온 두 교사를 온폴리시 증류로 하나의 통합 모델로 병합한다.

Flow-GRPO는 그룹 상대 정책 최적화(GRPO)를 flow matching으로 확장하여, 다단계 노이즈 제거 궤적을 마르코프 결정 과정(MDP)으로 정식화한다. 프롬프트 c에 대해 정책이 G개 이미지 그룹을 생성하고, 보상 모델이 각 샘플을 평가한다. i번째 샘플의 어드밴티지는 그룹 수준 정규화로 계산된다.

한편 DiffusionNFT는 전방 디퓨전 과정을 정책 최적화에 사용하는 대안적 정식화를 제안한다. 현재·이전·참조 정책의 속도 예측으로 양·음 속도 예측을 구성하고, 재조정된 그룹 상대 어드밴티지 r ∈ [0,1]로 가중한다. 사전학습 참조에서 정책이 지나치게 벗어나지 않도록 KL 페널티를 더한다.

보상 모델 미세조정에 두 가지 학습 패러다임을 탐색한다. 페어와이즈는 같은 프롬프트에서 생성된 이미지 쌍 (x_w, x_l)에 Bradley-Terry 순위 손실을 적용하고, 포인트와이즈는 각 이미지에 절대 점수 y를 부여해 직접 회귀한다. 실무에서 보상 모델은 이산 점수 집합 S = {1,2,3,4,5} 토큰을 출력하며, VLM 확률 분포의 기댓값으로 보상 점수를 산출한다.

동일한 평가 초점(미적 품질·시각 질감)과 동일한 모델 풀을 공유하되 주석 형식만 다른 두 데이터셋으로 비교한 결과, 포인트와이즈로 학습한 보상 모델이 일관되게 더 나은 시각 품질과 더 적은 아티팩트를 만든다. 절대 점수의 더 풍부한 지도 신호 덕분으로 해석되며, 최종 시스템의 모든 VLM 기반 보상 모델은 포인트와이즈를 기본 목표로 채택한다.

T2I 보상 설계는 계층 논리를 따른다. 가장 근본적인 요구는 프롬프트 충실도다 — 지정 내용을 무시한 아름다운 이미지는 실패한 생성이다. 따라서 미학을 배제한 이미지-텍스트 정렬 보상에서 시작하고, 프롬프트 준수가 확립되면 미학 보상을 얹으며, 인물 이미지에는 전용 인물 보상을 추가한다.

• L1이미지-텍스트 정렬 보상. 가장 근본적. 미학을 고려하지 않고 의미 대응을 측정한다. 우선순위 계층 — (1)객체 존재·개수, (2)속성 정확도(색·크기·형태·재질), (3)공간 관계 충실도, (4)행동·포즈 정확도. 최상위 기준을 통과하지 못하면 다른 품질과 무관하게 낮은 점수로 제한된다.
• L2미학 보상. 프롬프트 충실 생성 위에서, 구성적 균형·사실적 조명·질감 충실도·전반적 예술적 일관성을 평가한다. 포인트와이즈 주석 데이터셋으로 학습한다.
• L3인물 보상. 얼굴 비율 정확도·정체성 보존 세부·피부와 모발 질감 사실성을 개선하는 특화 신호. 잘못된 손가락 개수·왜곡된 얼굴 특징·부자연스러운 신체 비율 같은 흔한 실패 모드를 명시적으로 점검한다. 별도의 인물 특화 데이터셋으로 학습한다.

T2I에서 확립한 포인트와이즈 방법론을 편집 과제로 이전하고, VLM의 한계를 넘는 세밀한 정체성 보존을 위해 모델 기반 얼굴 정체성 일관성 채점기를 추가한다.

디퓨전 기반 RL의 핵심 설계는 분류자 없는 안내(CFG)를 롤아웃 샘플링과 정책 최적화 중 어디에 쓸지다. 세 전략을 체계적으로 평가한다.

하이브리드 전략을 채택한다. 베이스 모델은 추론 시 사전학습 지식을 완전히 표현하기 위해 CFG에 의존하므로, 롤아웃에서만 CFG를 써 구조적으로 일관된 이미지를 생성하고 정책 최적화 목표에서는 무조건 분기를 배제한다.

보상 모델은 학습 과정과 분리된 원격 API 서비스로 배포된다. 보상 채점은 원격 VLM 엔드포인트로의 네트워크 I/O를 수반하므로 동기 평가는 학습 루프의 병목이 된다. 정책이 GPU 추론으로 이미지 배치를 생성·수집하면 백그라운드 스레드가 원격 보상 API로 비동기 제출하고, 응답이 돌아오면 모든 랭크가 동기화하여 원점수 수집·프롬프트 그룹별 정규화·어드밴티지 계산을 수행한다. 이 설계는 보상 지연을 추론 연산 뒤에 거의 완전히 숨겨 학습 시간의 비례 증가 없이 다중 보상 모델로의 효율적 확장을 가능하게 한다.

T2I와 편집 각각에 여러 보상 모델을 사용한다. 그룹 상대 어드밴티지는 프롬프트 그룹별 정규화를 거친 가중 합으로 계산된다.

• A.타임스텝 샘플링. 롤아웃은 40스텝 ODE 솔버로 생성한다. 40스텝 전부에 RL 목표를 적용하면 빠른 보상 해킹(reward hacking)으로 몇 번의 반복 만에 열화된다. 전역 구조·의미 배치를 관장하는 고노이즈 타임스텝(t=1에 가까운)에 집중한 부분집합만 학습하여 보상 착취를 늦추고 품질 차원 전반의 개선을 보장한다.
• B.프롬프트 선별. 모든 프롬프트가 정책 개선에 동등하게 기여하지 않는다. 각 후보 프롬프트에 대해 베이스 모델이 G회 롤아웃하고 그룹 내 보상 범위(최댓값−최솟값)가 임계값을 넘는 프롬프트만 남긴다. 모든 샘플에서 보상이 균일하게 높거나 낮은 프롬프트는 약한 신호만 제공하므로, 정책이 개선할 여지가 있는 프롬프트에 연산을 집중해 학습 효율을 크게 높인다.
• C.카테고리별 보상 보정. 남은 프롬프트를 의미 카테고리(인물·풍경·타이포그래피·일반)로 조직하고 카테고리별 보상 가중치 벡터를 배정한다. 인물 프롬프트는 인물 충실도 보상에, 타이포그래피는 정렬 정확도에 높은 가중을 준다. 최적화가 단일 지배 양식으로 수렴하는 것을 막는다.

학생 모델 v_θ(베이스 모델로 초기화)는 t=1에서 t=0으로 역방향 ODE를 N스텝으로 풀어 이미지를 생성하고, 자신의 전체 궤적 {x_t0, …, x_tN}을 저장한다. 학생은 자신의 추론 궤적 위 각 지점에서 과제에 맞는 교사의 속도를 맞추도록 학습한다 — 즉 자신의 예측 오류를 자신의 궤적에서 스스로 교정한다.

OPD의 핵심 장점은 여러 과제 특화 교사를 단일 학생으로 증류하는 능력이다. 미학·정렬·인물 보상으로 최적화한 T2I 교사와, 지시 수행·얼굴 정체성 보상으로 최적화한 편집 교사를 유지한다. 각 배치마다 현재 샘플의 과제 유형에 따라 적절한 교사를 선택하고, GPU 메모리 관리를 위해 활성 교사만 GPU에 올리고 비활성 교사는 CPU로 오프로드한다. 교사가 CFG로 학습되었으므로 OPD의 교사 속도 예측에는 CFG를 적용하되 학생은 CFG 없이 유지하며, OPD 이후 학생에도 CFG를 통합한다.

자연스러운 대안은 T2I·편집 혼합 데이터에 단일 모델을 RL 학습하며 모든 과제별 보상을 공동 최적화하는 Mix-RL이다. 단순하지만 서로 경쟁하는 최적화 목표를 동시에 만족시키도록 강제하여 차선의 절충으로 이어진다. Mix-RL도 베이스 대비 질감 충실도·구성 일관성·사실성을 개선하지만, Qwen-Image-2.0-RL(OPD)이 일관되게 Mix-RL을 능가하여 더 선명한 세부·더 정확한 프롬프트 준수·더 나은 미학을 만든다. 편집에서도 Mix-RL은 복잡한 지시 아래 정체성 표류나 불완전 편집을 겪는 반면 OPD는 우월한 얼굴 정체성 보존과 지시 수행을 달성한다.

RL 학습은 다섯 평가 축 전반에서 일관된 개선을 낸다. 전체 점수를 55.23 → 57.84로 끌어올렸으며, 가장 큰 향상은 창의 생성(+6.72)과 실세계 충실도(+4.29)에서 나타난다.

TABLE 1. [0,100] 척도, 56개 3단계 facet에서 상향 집계. RL 학습이 베이스 대비 전 축에서 개선을 냈다(강조: 표 내 최고값 GPT Image 2, 하단 비교: Base → RL).

익명 이미지 쌍에 사용자가 투표하는 T2I·편집 아레나에서, RL 학습은 여덟 하위 카테고리 전반에서 상당한 Elo 향상을 낸다. T2I 전체는 1115 → 1193 (+78), 가장 두드러진 향상은 3D 모델링(+93)과 포토리얼리즘(+91)으로 구조 일관성과 세밀한 세부 렌더링 개선을 반영한다. 편집 아레나도 1256 → 1349 (+93)로 향상되어 편집 특화 RL 학습의 효과를 재확인한다.

Qwen-Image-2.0-RL은 RLHF와 OPD를 결합하여 시각 품질과 지시 수행 능력을 실질적으로 개선한 이미지 생성 시스템이다. 정성·정량 평가 모두 OPD가 모든 과제 보상을 공동 최적화하는 혼합 RL 기준선을 단지 따라잡을 뿐 아니라 능가함을 확인하여, 분해된 학습 전략의 타당성을 검증한다.

• 1)VLM 기반 복합 보상 시스템. T2I·편집 과제 모두에 맞춰 미적 품질·프롬프트 준수·인물 충실도·지시 수행·시각 일관성을 포괄하는 구조화 평가 루브릭.
• 2)적응형 GRPO 학습 프레임워크. 하이브리드 CFG 전략과 비동기 보상 파이프라인으로 flow matching 모델의 효율적 대규모 RL 학습을 가능하게 한다.
• 3)OPD 통합 메커니즘. 과제 특화 RL 교사를 궤적 수준 속도 정합으로 단일 배포 모델에 통합하여, 각 전문 교사의 품질 이득을 보존하면서 보상 모델 의존을 제거한다.