Definition
정의 — 무엇을 확산 언어모델이라 부르는가
1.1정의
먼저 용어부터 정리하자. 정의가 흐릿하면 그 뒤의 모든 논쟁이 헛돈다.
확산 언어모델(Diffusion Language Model, DLM)은 두 개의 과정을 학습하는 생성모델이다. 하나는 깨끗한 텍스트 x₀를 점차 마스킹하거나 다른 토큰으로 오염시키는 정방향 확산 과정이고, 다른 하나는 오염된 텍스트 xt에서 원래 텍스트를 복원하는 역방향 잡음 제거 과정이다. 전자는 정해진 규칙이고, 학습의 대상은 후자다.
- x₀ — 실제 문장
- xt — 시간 t에서 부분적으로 손상된 문장
- xT — 거의 또는 완전히 마스킹된 상태
- pθ — 손상된 문장을 복원하는 Transformer
2025년 이후 대형 모델에서 가장 널리 쓰이는 것은 마스킹 확산 언어모델(MDLM)이다. 토큰 x₀i는 확률 αt로 유지되고, 나머지 확률로 특수 토큰 m = [MASK]로 변한다.
학습은 대체로 마스킹된 위치의 원래 토큰을 예측하는 가중 교차엔트로피로 단순화된다.
이 수학적 계보는 D3PM, SEDD, Simple and Effective Masked Diffusion Language Models에서 확립되었고, 2025년 LLaDA가 이를 8B 규모의 범용 언어모델로 확장했다.
1.2BERT와 무엇이 다른가
여기서 흔한 오해가 하나 생긴다. “마스킹된 단어를 맞히는 것이라면 BERT와 같은 것 아닌가”라는 반문이다. 그렇지 않다. 일반적인 BERT는 주로 표현학습용 인코더다. 반면 DLM은 명시적인 생성모델이며, 다음을 갖추고 있다.
- 여러 잡음 수준 t에 걸친 확산 과정
- 완전 마스킹 상태에서 시작하는 반복적 생성
- 복수의 역확산 궤적
- ELBO 또는 이에 대응하는 확률적 생성 목적
- 샘플링 순서·스텝 수·재마스킹을 조절하는 추론 알고리즘
정리하면 이렇다. “마스킹 모델”은 구조적 재료이고, “확산 언어모델”은 그 재료를 시간축을 가진 생성과정으로 조직한 체계다. 벽돌과 건축을 같은 말로 쓸 수는 없다. 이 구분은 사소하지 않다.
1.3주요 유형
| 유형 | 확산 공간 | 생성 방식 | 대표 연구 |
|---|---|---|---|
| 연속 임베딩 확산 | 토큰 임베딩 | 연속 벡터 잡음 제거 후 디코딩 | Diffusion-LM |
| 이산 토큰 확산 | 어휘 토큰 | 마스크·치환 토큰 복원 | LLaDA, Dream |
| 전면 확산 | 전체 응답 | 모든 위치를 양방향으로 반복 갱신 | LLaDA, Dream, iLLaDA |
| 블록 확산 | 응답의 일부 블록 | 블록 간 AR, 블록 내부 확산 | Block Diffusion |
| 잠재 확산 | 압축된 의미표현 | 의미 잠재변수 확산 후 텍스트화 | Cola DLM |
| 멀티모달 확산 | 텍스트·영상·행동 토큰 | 여러 모달리티 공동 잡음 제거 | MMaDA |
Problem Definition
문제 정의 — 순서를 정하지 않으면 무엇이 남는가
프롬프트 c가 주어졌을 때, 길이가 미리 알려지지 않은 응답 x = (x₁, …, xN)의 조건부 분포 p(x|c)를 학습하는 것. 이것이 언어생성의 기본 문제다. 자기회귀 모델과 확산 모델의 차이는 이 하나의 분포를 어떻게 분해하느냐에 있다.
자기회귀 — 순서를 하나로 못 박는다
확산 — 가능한 궤적을 모두 잠재변수로 둔다
그래서 DLM이 풀어야 할 실질적 문제는 “정확한 문장을 만든다”보다 훨씬 복합적이다. 품질만 최대화하는 것이 아니라, 지연시간과 메모리와 안전 위험을 함께 저울에 올려야 한다.
결국 다음 네 가지 질문에 동시에 답해야 한다. 이 네 질문이 이후 모든 장의 뼈대다.
- 어느 위치를 먼저 복원할 것인가?
- 한 스텝에서 몇 개 토큰을 확정할 것인가?
- 이미 생성한 토큰을 언제 다시 마스킹하여 고칠 것인가?
- 몇 번의 반복으로 품질과 지연시간의 최적 균형을 얻을 것인가?
Core Concepts
핵심 개념 — 여섯 개의 열쇠
3.1양방향 문맥
AR 모델의 토큰 xi는 왼쪽 문맥만 조건으로 쓴다. 반면 DLM의 마스킹 위치는 현재 보이는 왼쪽과 오른쪽 토큰을 모두 참조한다. 그래서 중간 삽입(infilling), 역방향 관계, 앞뒤가 맞아야 하는 형식 제약에 적합하다.
그러나 여기서 한 걸음 더 나가면 곤란하다. “양방향”이 자동으로 더 강한 이해를 보장하지는 않는다. 2026년 강건성 연구는 DLM이 입력 손상을 잘 감지하면서도 디코딩 단계에서 이를 올바르게 처리하지 못할 수 있고, AR 모델보다 오히려 과신하는 경향이 있음을 관찰했다. 장점은 attention 구조 자체가 아니라 잡음 제거 정책에서 실현되어야 한다.
3.2병렬 복원과 조건부 독립성 문제
한 번의 forward pass에서 여러 위치의 분포를 계산할 수 있다는 것, 이것이 DLM의 병렬성이다. 그런데 동시에 확정한 토큰들이 서로를 보지 못하고 독립적으로 선택되면 문법과 논리가 충돌한다. 각자 옳은 답을 골랐는데 합쳐 놓으면 틀린 문장이 되는 것이다.
그래서 실제 알고리즘은 대개 다음 넷 중 하나를 택한다.
- 가장 확신하는 토큰만 선택한다
- 블록 단위로 제한한다
- 검증 후 일부를 재마스킹한다
- 작은 AR 모델로 생성 순서를 안내한다
Fast-dLLM은 신뢰도 임계값 기반 병렬 디코딩과 근사 KV 캐시를 제안한다.
3.3Unmasking과 Remasking
Unmasking · 확정
어떤 마스크 위치를 실제 토큰으로 확정할지 결정한다.
Remasking · 되돌림
잘못 생성되었거나 불확실한 토큰을 다시 마스크로 돌린다.
초기의 마스킹 확산은 한 번 복원된 토큰을 그대로 고정하는 경우가 많았다. 그러나 진정한 “자기수정”을 실현하려면 능동적 재마스킹이 필요하다. 이것이 확산 모델을 단순 병렬 예측기가 아니라 반복적 오류수정 시스템으로 만드는 핵심이다. 고쳐 쓸 수 없는 초안은 초안이 아니다.
3.4잡음 스케줄
αt는 각 시점에서 정보를 얼마나 보존할지 결정한다. 그런데 쉬운 토큰과 어려운 토큰, 코드 연산자와 자연어 조사에 같은 마스킹 스케줄을 적용하는 것이 최선인가? 아직 답이 없다. 미해결로 남겨 두는 것이 정직하다.
3.5품질과 속도의 조절
확산 스텝 수 T를 줄이면 빠르지만 품질이 낮아지고, 늘리면 품질은 좋아지지만 계산 비용이 커진다. Dream은 이 스텝 수를 추론시간 계산량을 조절하는 손잡이로 제시했다.
다만 이론적으로는 평가 지표에 따라 결론이 뒤집힌다. Perplexity를 거의 최적으로 만드는 데에는 상수 스텝이면 될 수 있다. 그러나 전체 추론 사슬이 통째로 맞아야 하는 sequence error를 낮추려면 스텝 수가 문장 길이에 선형으로 비례할 수 있다. “몇 스텝이면 충분한가”라는 질문에는 “무엇을 재는가”를 먼저 물어야 한다.
Dream 7B · Theoretical Benefit and Limitation of Diffusion Language Model
3.6블록 확산
응답을 B개 블록으로 나누고, 각 블록 내부 분포만 확산으로 생성하는 방식이다.
블록 크기는 다이얼이지 스위치가 아니다. Block Diffusion은 가변 길이와 캐시 문제를 크게 완화했다. 그 대가로 블록 경계를 넘어서는 완전한 양방향성은 포기한다. 공짜는 없다.
Introduction
2025년 이후의 전개 — 아직 승자는 없다
| 시기 | 주요 전환 | 의미 |
|---|---|---|
| 2025년 초 | LLaDA 8B, 이론적 속도 한계, Block Diffusion | DLM이 소규모 실험에서 대형 범용 모델 문제로 이동 |
| 2025년 중반 | d1, Dimple, LaViDa, MMaDA, DiffuCoder | 추론·코드·멀티모달·RL로 응용 확장 |
| 2025년 하반기 | Dream, 장문맥, 안전성, LLaDA2.0 100B | AR 초기화·블록화·MoE를 통한 대규모화 |
| 2026년 상반기 | 비마스킹 확산 scaling, CDLM, Cola DLM, iLLaDA, TwoTower | 마스크 단일 패러다임을 넘어 아키텍처 다변화 |
| 2026년 7월까지 | 통합 평가·강건성·메모리 연구 | 성능 주장보다 공정한 비교와 배치 특성이 중요해짐 |
LLaDA는 2.3조 토큰으로 처음부터 학습한 8B 마스킹 확산모델이 범용 평가, in-context learning, instruction following에서 동급 AR 모델과 경쟁할 수 있음을 보였다. 이후 LLaDA2.0은 사전학습된 AR 모델을 단계적으로 변환해 총 100B 파라미터 MoE까지 확장했다.
2026년 iLLaDA는 12조 토큰 사전학습과 25B 토큰 instruction corpus를 사용해 “완전 양방향, 순수 확산 사전학습” 경로가 여전히 경쟁력이 있음을 제시했다. 한편 TwoTower는 AR 문맥 인코더와 확산 denoiser를 분리해, AR 기준 품질의 98.7%를 유지하면서 2.42배 높은 wall-clock throughput을 보고했다.
이 흐름은 아직 하나의 승자가 정해진 것이 아니라, 순수 확산과 하이브리드 확산이 서로 다른 장점을 탐색하는 단계임을 보여준다.
Motivation & Background
동기와 배경 — 왜 굳이 다른 길을 찾는가
5.1AR 모델의 장점과 한계
공정하게 시작하자. AR 모델은 강하다. 정확한 우도 분해, 자연스러운 EOS 종료, 손실 없는 KV 캐시. 이 셋만으로도 AR이 지금의 표준이 된 이유는 충분히 설명된다.
그러나 한 번의 생성 패스 안에서는 다음 제약을 벗어나지 못한다.
- 앞 토큰이 결정되어야 다음 토큰을 만들 수 있다
- 초반 오류가 뒤쪽 조건으로 계속 전달된다
- 뒤에서 발견한 정보로 앞부분을 직접 수정하기 어렵다
- 정확한 길이·운율·괄호·표 구조를 전역적으로 맞추기 어렵다
- 중간 삽입이나 양방향 infilling은 별도의 절차가 필요하다
5.2DLM을 연구하는 여섯 가지 이유
01 · 병렬 하드웨어 활용
여러 토큰을 한 번에 복원해 순차 디코딩 장벽을 낮출 가능성이 있다.
02 · 전역 구조의 선행 계획
제목·결론·중간 논거처럼 떨어져 있는 부분을 함께 조정할 수 있다.
03 · 제약 충족
출력 길이, 정형 JSON, 운율, 코드의 괄호와 타입 등 전체 구조를 동시에 고려할 수 있다.
04 · 편집 가능성
문장을 처음부터 다시 만들지 않고 불확실한 구간만 마스킹해 수정할 수 있다.
05 · 추론시간 계산 조절
문제 난이도에 따라 스텝 수, 재마스킹 수, 블록 크기를 바꿀 수 있다.
06 · 비언어 이산 구조와의 통합
코드, 분자, 단백질, 그래프, 로봇 행동을 토큰화하면 동일한 복원 관점으로 다룰 수 있다.
Challenges
도전 과제 — 낙관을 걷어내고 남는 것들
6.1이산 공간에는 자연스러운 “작은 잡음”이 없다
이미지에서는 픽셀에 작은 가우시안 잡음을 더하면 된다. 크기를 숫자로 잴 수 있다. 그런데 단어 cat을 dog로 바꾸는 것은 작은 변화인가 큰 변화인가? 수치적으로 자명하지 않다. 그래서 마스크, 균등 치환, 의미 근접 치환 중 무엇이 올바른 확산인지 아직 합의가 없다.
2026년 연구는 흥미로운 반례를 내놓았다. 마스킹 확산이 perplexity에서는 우수하더라도, 균등 상태 확산이 GSM8K처럼 생성 품질 중심 평가에서 더 나을 수 있다는 것이다. 지배적 방법이 곧 최적의 방법은 아니다.
6.2반복 계산이라는 세금
이 대목이 가장 중요하다. 한 스텝 안에서는 병렬이다. 그러나 매 스텝마다 전체 시퀀스를 다시 처리한다면 총 FLOPs는 오히려 커진다. “토큰을 병렬 생성한다”와 “실제로 빠르다”는 같은 명제가 아니다.
How Efficient Are Diffusion Language Models?는 공개 DLM을 통일된 조건으로 측정했을 때 AR 모델의 throughput이 대체로 더 높고, 캐시와 병렬 디코딩의 효과도 작은 batch에서 주로 나타난다고 보고한다. 반대로 Fast-dLLM, dInfer, TwoTower 등은 특정 모델·하드웨어·batch 조건에서 AR을 능가한다. 두 보고가 모순인가? 아니다. 둘 다 맞다. 속도는 모델 이름이 아니라 다음의 함수이기 때문이다.
그러므로 “몇 배 빠르다”는 문장을 만나면 반드시 되물어야 한다. 어떤 T에서, 어떤 batch에서, 어떤 하드웨어에서 그러한가. 조건을 밝히지 않은 배수는 정보가 아니라 광고다.
6.3KV 캐시의 비손실 재사용이 어렵다
양방향 attention에서는 다른 위치가 바뀔 때 이미 생성된 토큰의 key와 value도 함께 변한다. 따라서 AR과 달리 DLM 캐시는 본질적으로 근사적이다. 편법이 아니라 구조적 성질이다.
6.4고정 출력 길이
완전 마스킹된 N개 슬롯에서 시작하므로 N을 미리 지정해야 하는 경우가 많다. 지나치게 크면 EOS padding과 환각성 채움이 생기고, 작으면 답이 잘린다. 블록 확산, EOS 위치 예측, 동적 확장·축소가 이를 해결하려 하지만 표준 해법은 아직 없다.
6.5학습과 추론의 불일치
학습에서는 무작위 마스크를 복원한다. 그러나 추론에서는 모델이 이전 단계에서 틀리게 생성한 토큰을 조건으로 사용한다. 데이터 분포의 잡음과 모델이 스스로 만드는 오류 분포는 같지 않다. 이 간극이 실전 성능을 갉아먹는다.
6.6RL과 선호최적화의 높은 분산
하나의 최종 답에 수많은 잡음 제거 궤적이 대응한다. 그래서 정확한 응답 로그우도를 계산하기 어렵다. 이 문제에 대응해 diffu-GRPO, coupled-GRPO, VRPO, stepwise preference optimization이 등장했다. d1은 masked SFT와 critic-free diffu-GRPO를 결합했고, DiffuCoder는 상보적 마스크를 사용하는 coupled-GRPO로 코드 평가 성능을 개선했다.
6.7장문맥의 메모리 비용
전역 양방향 attention과 반복 forward pass가 결합되면 activation memory가 급증한다. LongLLaDA는 DLM의 장문맥 외삽 특성을 분석했고, 후속 UltraLLaDA는 128K 문맥 확장을 시도했다. 그러나 전역 일관성과 메모리 효율을 동시에 해결한 것은 아니다.
6.8평가 방법의 불일치
모델마다 스텝 수, 출력 길이, 블록 크기, 샘플링 스케줄이 다르다. 그래서 논문 사이의 점수를 직접 비교하기 어렵다. 서로 다른 ELBO는 실제 likelihood와의 간극도 다르다. Generative Frontiers는 서로 다른 잠재구조의 ELBO를 단순 비교하는 것이 신뢰하기 어렵다고 지적한다.
2026년 통합 실험도 8개 DLM과 8개 벤치마크를 비교하면서, 성능이 아키텍처 못지않게 generation-time 설정에 민감함을 확인했다. 같은 모델도 설정을 바꾸면 다른 모델이 된다.
6.9안전성과 강건성
DLM에는 AR에 없던 새로운 공격면이 있다. 생성 중간 상태, 마스크 삽입, 재마스킹 순서가 그것이다. DiffuGuard는 초기 denoising 경로가 최종 안전성에 큰 영향을 주는 denoising-path dependence를 보고하고, 확률적 재마스킹과 블록별 감사·수정을 결합했다. 최종 출력만 검사하는 안전장치로는 부족하다는 뜻이다.
Research Questions
연구 질문 열 가지와 현재의 잠정 답변
아래 답변은 모두 잠정이다. 확정된 답으로 읽으면 곤란하다. 그러나 무엇이 아직 답해지지 않았는지를 아는 것이, 무엇이 답해졌는지를 아는 것보다 대개 더 유용하다.
| 연구 질문 | 현재의 잠정 답변 |
|---|---|
| RQ1. AR 분해 없이 LLM 능력이 나타날 수 있는가? | 그렇다. LLaDA·Dream·iLLaDA가 in-context learning, instruction following, 수학·코드 능력을 보였다. |
| RQ2. 순수 확산 사전학습과 AR 변환 중 어느 것이 우수한가? | 순수 확산은 양방향 귀납편향을 보존하지만 비싸고, AR 변환은 지식 재사용에 유리하다. 아직 공정한 compute-matched 비교가 부족하다. |
| RQ3. 어떤 잡음 과정이 언어에 가장 적합한가? | 마스크가 지배적이지만 균등 치환·부분 마스크·잠재 확산이 특정 생성 평가에서 경쟁력을 보인다. |
| RQ4. 병렬성이 실제 속도 우위로 이어지는 조건은 무엇인가? | 짧은 스텝, 높은 동시 확정률, 작은 batch, 효율적 캐시·커널이 필요하다. 보편적 우위는 입증되지 않았다. |
| RQ5. DLM은 정말 더 잘 계획하고 추론하는가? | Sudoku·코드·제약 만족에서는 가능성이 있지만, 전체 reasoning chain 정확도에는 선형 스텝이 필요할 수 있다. |
| RQ6. 최적의 생성 순서는 무엇인가? | 왼쪽부터도, 완전 무작위도 아니다. 토큰 난이도·의존성·신뢰도를 반영하는 학습 가능한 순서가 유력하다. |
| RQ7. 이미 생성된 토큰을 언제 수정해야 하는가? | 낮은 신뢰도뿐 아니라 논리 모순, 안전 위험, 제약 위반을 근거로 능동적으로 재마스킹해야 한다. |
| RQ8. 길이는 어떻게 결정해야 하는가? | EOS 위치를 확산 변수로 모델링하거나 블록 단위로 동적 확장하는 방법이 필요하다. |
| RQ9. DLM에 맞는 RL 단위는 무엇인가? | 최종 문자열뿐 아니라 스텝, 블록, 토큰 선택순서와 전체 궤적에 보상을 배분해야 한다. |
| RQ10. 무엇을 공정한 성능으로 볼 것인가? | 정확도 하나가 아니라 품질–지연–FLOPs–메모리–에너지–안전의 Pareto frontier가 필요하다. |
Approaches
접근 방법 — 여덟 갈래의 길
8.1처음부터 학습하는 전면 마스킹 확산
- 전체 문장에 full attention 적용
- 다양한 마스크 비율로 원문 복원
- 응답 전체를 병렬적으로 반복 정제
- 대표 — LLaDA, iLLaDA
장점은 순수한 비인과적 귀납편향이다. 단점은 대규모 사전학습 비용과 반복적인 full-sequence 연산이다.
8.2AR 모델의 확산 모델 전환
Dream은 AR 가중치로 초기화한 뒤 확산 학습을 수행한다. LLaDA2.0은 블록 크기를 키웠다가 전면 확산으로 전환한 후 다시 작은 블록으로 줄이는 3단계 학습을 사용했다. 이미 쌓인 대규모 AR 지식을 버리지 않으면서 확산의 병렬성을 얻으려는 접근이다. 실용적인 타협이며, 나쁜 뜻이 아니다.
8.3블록·반자기회귀 확산
Block Diffusion은 블록 간에는 인과 순서를 유지하고 블록 내부만 병렬 복원한다. TwoTower는 이를 더 밀고 나가, 고정된 AR context tower와 학습되는 bidirectional diffusion denoiser를 cross-attention으로 연결한다.
이것은 단순한 구조 변경이 아니다. “문맥 기억”과 “현재 구간 수정”을 서로 다른 네트워크의 역할로 분리한 것이다. 분업의 도입이다.
8.4신뢰도 기반 병렬 디코딩과 캐시
- 확률이 높은 토큰만 확정
- 확신도가 낮은 토큰은 다음 스텝으로 유보
- prompt와 response의 캐시 갱신 주기를 다르게 설정
- 일부 key/value 또는 attention output만 갱신
Fast-dLLM은 최대 27.6배 throughput 향상을 보고한다. 인상적인 숫자다. 그러나 이는 모델·설정별 결과이며, 보편적 속도 배수로 해석해서는 안 된다. 6.2에서 말한 그대로다.
8.5소수 단계 일관성 학습
Consistent Diffusion Language Models는 연속 확산의 probability-flow ODE를 억지로 이식하는 대신, 두 잡음 수준을 연결하는 정확한 posterior bridge를 사용한다. Multi-Path Discrete Consistency는 서로 다른 잡음 제거 경로가 기대값에서 같은 복원 결과로 수렴하도록 학습해 few-step 영역의 품질을 개선한다.
8.6확산 전용 SFT·RL·선호학습
| 방법 | 핵심 |
|---|---|
| masked SFT | 정답 reasoning trace를 다양한 마스크 상태에서 복원 |
| diffu-GRPO | 여러 확산 응답을 그룹 보상으로 비교 |
| coupled-GRPO | 상보적인 마스크 쌍으로 우도 추정 분산 감소 |
| VRPO | 직접 계산하기 어려운 로그우도 대신 ELBO 기반 선호값 사용 |
| trajectory alignment | 최종 답뿐 아니라 중간 복원 스텝에도 보상 전달 |
8.7연속 잠재공간 확산
Cola DLM은 세 단계를 거친다.
- Text VAE로 문장을 잠재표현으로 압축한다
- 연속 잠재공간에서 전역 의미를 확산한다
- 조건부 decoder로 표면 텍스트를 생성한다
“전역 의미 계획”과 “지역적 어휘 실현”을 분리하려는 접근이며, 텍스트와 연속 모달리티를 통합할 가능성이 있다. 다만 VAE 재구성 손실과 decoder 의존성이라는 새로운 병목이 생긴다. 병목은 사라지지 않고 자리를 옮길 뿐이다.
8.8멀티모달 공동 확산
Key Applications
주요 응용 — 어디에서 실제로 이기는가
9.1제약 기반 텍스트 생성과 편집
DLM은 여러 위치가 동시에 맞아야 하는 문제에 적합하다. 정해진 결말을 유지한 중간 삽입, 지정 길이, 운율, 표와 JSON 형식이 그런 예다. 이미 정답인 부분을 고정하고 나머지만 마스킹할 수 있기 때문이다. 원리가 단순한 만큼 확실하다.
9.2코드 생성과 프로그램 수정
코드는 괄호, 변수 정의, 타입, 함수 호출이 먼 위치에서 서로 일치해야 한다. DiffuCoder는 흥미로운 관찰을 내놓았다. DLM이 언제나 무작위 순서로 생성하는 것이 아니라, 문제에 따라 스스로 AR에 가까운 순서와 병렬 순서를 선택한다는 것이다. 이는 코드를 새로 짜는 일보다 코드 repair와 repository 전역 제약 편집에서 특히 유망하다.
9.3수학·논리·계획
Countdown, Sudoku, SAT, 수학 문제에서는 쉬운 앞부분을 먼저 확정하는 것보다 전체 제약을 보면서 어려운 하위목표를 먼저 해결하는 편이 유리할 수 있다. ICLR 2025의 Beyond Autoregression은 이를 subgoal imbalance 관점에서 설명했다.
다만 합성 계획 문제의 성과를 일반적인 자연어 추론 우위로 곧바로 일반화해서는 안 된다.
9.4멀티모달 이해·생성
Dimple, LaViDa, MMaDA는 이미지와 언어 응답을 반복적으로 정렬한다. 이미지에 대한 해석이 응답 생성 도중 바뀌었을 때, 뒤 토큰만 덧붙이는 대신 전체 응답의 관련 구간을 다시 조정할 수 있다는 것이 장점이다.
9.5로봇 행동과 VLA
MMaDA-VLA는 언어·영상·로봇 제어를 이산 토큰 공간에 통합하고, 미래 목표 영상과 action chunk를 병렬 복원한다. 행동의 각 차원에 임의의 좌우 순서를 강제하지 않고 미래 상태와 행동을 반복적으로 맞출 수 있다는 점이 중요하다. 로봇의 관절 순서에 왼쪽 오른쪽이 있을 이유가 없다.
9.6분자·단백질·약물 설계
GenMol은 SAFE 분자 표현을 이산 확산으로 생성하고, 특정 fragment를 재마스킹해 구조를 보존하면서 화학공간을 탐색한다.
이 분야에서 확산은 자연어보다 오히려 더 자연스러울 수 있다. 분자의 효능·독성·합성가능성은 서로 멀리 떨어진 토큰들이 함께 만족해야 하는 전역 제약이기 때문이다.
Open Problems
미해결 문제 열두 가지
실질적인 속도 경계
어느 길이·batch·정확도 수준부터 DLM이 AR보다 실제로 빨라지는가?
의존성 보존 병렬 샘플링
서로 강하게 의존하는 토큰을 동시에 확정하면서도 조건부 독립성 오류를 피할 수 있는가?
동적 길이와 종료
생성 전에 길이를 지정하지 않고도 EOS 위치를 확산과정 안에서 안정적으로 예측할 수 있는가?
확산 고유 아키텍처
AR Transformer를 개조하는 수준을 넘어, 반복적·비인과적 갱신에 최적화된 attention과 memory 구조는 무엇인가?
확산 전용 토크나이저
BPE보다 단어–문장–단락–개요의 계층을 표현하는 multi-scale tokenization이 필요한가?
비선형 추론
기존 CoT를 그대로 복원하는 것이 아니라 가설을 세우고, 모순 영역을 재마스킹하고, 결론을 다시 구성하는 추론을 어떻게 학습할 것인가?
장문맥의 선택적 수정
128K 전체를 매 스텝 다시 계산하지 않고도 관련 단락만 업데이트하면서 전역 일관성을 유지할 수 있는가?
정확한 확률평가
서로 다른 확산 종류의 ELBO, likelihood, 생성 품질을 하나의 공정한 척도로 비교할 수 있는가?
궤적 수준 안전성
최종 답만 안전한 것이 아니라 모든 중간 스텝과 모든 생성순서에서 안전하도록 정렬할 수 있는가?
교정과 자연 잡음 강건성
DLM의 높은 confidence가 실제 정확도와 일치하도록 calibration을 개선할 수 있는가?
멀티모달 시간 동기화
텍스트 reasoning, 생성 영상, 로봇 행동이 서로 다른 속도로 denoise될 때 의미적 불일치를 어떻게 막을 것인가?
재현 가능한 시스템 평가
accuracy뿐 아니라 wall-clock latency, FLOPs, peak memory, batch scaling, energy를 함께 보고하는 표준이 필요하다.
이 가운데 아키텍처, 계층 토큰화, gradient sparsity, 기능별 마스킹, 동적 길이, 양방향 학습용 데이터, 자원 효율, latent thinking, diffusion-native prompting, 통합 멀티모달 모델은 2026년 관점 논문에서도 핵심 과제로 정리되었다. Top 10 Open Challenges
Future Directions
미래 방향 — 여덟 개의 제안
11.1계층적 Plan-to-Text Diffusion
문단 수준의 의미 토큰을 먼저 복원하고, 이후 문장과 단어를 채우는 방식이다. 글쓰기의 상식과 같다. 개요를 먼저 잡고 문장을 쓴다.
이 방식은 긴 보고서·논문·코드 설계에서 전역 구조와 지역 표현을 분리할 수 있다. 그렇다면 평가도 바뀌어야 한다. 단어 perplexity가 아니라 개요 보존, 논거 연결성, 중복률을 포함해야 한다.
11.2Verifier-Guided Active Remasking
모델의 confidence만 믿지 않고 외부 검증기를 결합한다. 자기 확신은 검증이 아니다.
수학 검증기
계산 오류 구간 재마스킹
컴파일러
타입·문법 오류 토큰 재마스킹
사실 검증기
근거와 충돌하는 주장 재마스킹
안전 검증기
위험한 중간 상태를 즉시 차단
이는 “생성 후 수정”이 아니다. 생성 과정 안의 폐루프 제어다. 이 차이가 결과를 가른다.
11.3근거 고정형 Diffusion RAG
검색된 증거와 인용 위치를 anchor token으로 고정하고, 그 사이의 주장·해석·결론만 확산으로 생성하는 방식이다.
이후 verifier가 인용과 불일치하는 문장만 재마스킹한다. 학술 보고서나 deep-research agent에서 환각을 줄일 수 있는, 매우 자연스러운 응용이다. 근거는 고정되어 있고 해석만 흔들린다면, 흔들리는 쪽만 다시 쓰면 된다.
11.4의미 적응형 블록
고정된 32·64 토큰 블록 대신, 문장 경계·함수 경계·논리 단위에 따라 블록 크기를 학습한다. 단순한 문장은 큰 블록으로 빠르게 생성하고, 복잡한 수식이나 코드 구간에는 작은 블록과 더 많은 스텝을 배정한다. 계산 자원도 필요한 곳에 몰아 주어야 한다.
11.5토큰별 시간과 정밀도 배정
모든 토큰이 같은 확산시간을 따를 필요는 없다. 중요한 entity, 연산자, 인용, 숫자에는 더 많은 스텝과 높은 수치 정밀도를 쓰고, 기능어에는 적은 스텝과 저정밀 양자화를 쓸 수 있다.
품질과 에너지 효율을 동시에 개선할 가능성이 있다.
11.6비선형 Latent Thinking
전통적인 CoT는 한 줄로 이어지는 사고 기록이다. 그러나 사람은 그렇게 생각하지 않는다. 확산 고유의 추론에는 다음과 같은 순환구조가 더 적합하다.
핵심은 계산량의 사용처를 바꾸는 것이다. 최종 답의 길이를 늘리는 test-time scaling이 아니라, “어느 영역을 다시 생각할 것인가”를 결정하는 데 계산량을 쓰는 것이다.
11.7Discrete–Latent Hybrid
전역 의미와 계획은 연속 잠재공간에서 확산하고, 인용·코드·숫자처럼 정확해야 하는 요소는 이산 토큰 공간에서 복원하는 이중 구조다.
잠재 확산
의미적 다양성과 전역 계획
이산 확산
문자열 정확성과 제약 충족
AR 디코더
필요한 경우 저지연 표면 실현
11.8Pareto-Frontier 벤치마크
향후 논문은 “몇 배 빠르다”는 단일 수치 대신 다음 벡터를 공개해야 한다.
그리고 동일 하드웨어에서 스텝 수·block size·batch별 Pareto frontier를 보고해야 한다. 이것이 순수 확산, 블록 확산, AR을 공정하게 비교하는 가장 설득력 있는 방법이다. 비교의 규칙을 정하지 않은 경쟁은 경쟁이 아니라 선전이다.