Memorization · Generalization · Reasoning · Scientific Discovery

Foundations of Deep Generative Models
Research Atlas

ICML 2026 FoGen 워크숍의 193편 논문과 대표 구두발표를 바탕으로, 기억·일반화·추론·샘플링·평가·과학응용을 하나의 통합된 생성모델 연구 지형으로 재구성한다.

Central Thesis

성능에서 메커니즘으로

생성모델 연구의 핵심은 “무엇을 생성했는가?”가 아니라 “어떤 데이터, 구조, 샘플링 경로, 검증과정을 통해 생성했는가?”로 이동한다.

Scope

193채택 논문

5대표 구두발표

7핵심 연구축

12통합 연구질문

검토 범위와 해석 원칙

워크숍 논문은 비아카이벌 성격을 가지므로, 정량 결과는 최신 가설과 초기 증거로 해석한다.

Coverage

전체 논문군

제목·메타데이터를 전체 검토하고, 대표 논문의 초록·원문·공식 발표자료를 집중 분석한다.

Method

주제 중심 종합

193편을 순서대로 나열하지 않고, 이론·기억·일반화·추론·샘플링·안전·과학응용의 연구군으로 재구성한다.

Caveat

재현성 유의

강한 정량 주장은 모델 버전, 데이터 오염, 평가 프롬프트, 반복실험과 독립 검증이 필요하다.

전체 연구 지형

FoGen은 기억–일반화–추론을 고정된 범주가 아니라 데이터·모델·학습·샘플링이 함께 결정하는 연속적 상태로 본다.

기억·데이터 노출DLM memorizationPII leakagemembership inference

일반화 이론ridge manifoldlocal coveragegrokking

추론·조합성reasoning SFTplanninginternal search

확산·플로flow matchingcontinuous DLMtoken ordering

학습·증류SFT vs RLself-distillationconsistency

평가·안전contaminationjudge biascue resistance

과학응용PDEmolecule·proteinmaterials·omics

데이터 기하→모델 귀납편향→학습시간→ 샘플링 정책→생성행동→평가·검증

통합 관점

“이 모델은 기억한다” 또는 “이 모델은 일반화한다”와 같은 전역적 표현보다, 어떤 입력영역에서 어떤 데이터 조건과 샘플링 정책 아래 어떤 행동이 나타나는가를 분석해야 한다.

Definition

생성모델의 핵심 개념을 확률분포, 데이터 의존성, 구조 전이, 절차적 상태변화의 관점에서 정의한다.

Generative Model

심층 생성모델

관측 데이터와 조건의 확률구조를 학습해 새로운 샘플을 생성하는 모델이다.

Memorization

기억

특정 훈련 샘플 또는 소수 샘플에 생성결과가 과도하게 의존하는 현상이다.

Generalization

일반화

훈련 샘플을 복제하지 않고 학습한 구조를 새로운 입력·조건·조합에 적용하는 능력이다.

Reasoning

추론

중간상태를 구성하고 여러 연산을 조합하며 실패 뒤 계획을 수정하는 생성적 계산과정이다.

Composition

조합적 일반화

학습한 구성요소를 보지 못한 구조로 재조합하고 규칙을 새 맥락에 적용하는 능력이다.

Generable Set

생성 가능 집합

제한된 샘플링 예산에서 모델이 실제로 접근할 수 있는 유효 설계공간이다.

x ~ pθ(x | c) Memorization: Mi(y) = d( pθ(D)(y), pθ(D \ xi)(y) ) Generable Set: Ωθτ = { x ∈ X | pθ(x) ≥ τ }

기억의 세부 유형

정확 기억
근사 기억
연상 기억
분포적 기억
추출 가능한 기억

일반화의 세부 유형

표본 수준 일반화
분포 수준 일반화
분포외 일반화
메커니즘 일반화

Problem Definition

관찰된 생성결과만으로 기억, 보간, 외삽, 규칙학습, 샘플링 우연을 구분하기 어렵다.

θ = L(D) y ~ S( pθ(· | c) ) Observed y ∈ { training sample replay, local interpolation, distributional generalization, mechanism recombination, sampler-discovered valid output }

Problem A

관찰적 등가성

동일한 정답이나 생성물이 기억, 검색, 템플릿 적용, 실제 계산, verifier 선택으로 모두 생성될 수 있다.

Problem B

전체 파이프라인 문제

데이터, 아키텍처, 프롬프트, 샘플러, 테스트 계산량, verifier가 함께 생성행동을 결정한다.

Problem C

데이터 반복

반복은 유효 데이터량 감소뿐 아니라 최적화 궤적과 내부 표현을 왜곡할 수 있다.

Problem D

과학적 유효성

그럴듯한 샘플과 물리·화학·생물학적으로 가능한 샘플은 다르다.

Problem E

모델 지식 vs 생성 가능성

올바른 모드가 내부 에너지 지형에 존재해도 기본 샘플러가 접근하지 못할 수 있다.

Problem F

평가 오염

벤치마크 점수에는 실제 능력뿐 아니라 데이터 오염, 프롬프트 단서, 평가자 편향이 포함된다.

Core Concepts

데이터 다양체, 국소 커버리지, 상전이, 귀납편향, 샘플러, 확률경로, 불확실성 궤적이 핵심 이론 축을 형성한다.

Manifold Hypothesis

고차원 데이터는 낮은 내재차원의 다양체 근처에 존재하며, 생성모델은 이 구조를 학습한다.

Ridge Manifold

역확산은 reach–align–slide 메커니즘을 통해 데이터 의존적 ridge를 따라 이동한다.

Local Coverage

희소영역에서는 기억이, 조밀영역에서는 보간과 일반화가 우세하다.

Information-Limited Phase Transition

특정 샘플 식별에 필요한 정보량이 제한되면 공통 구조학습이 유도된다.

Grokking Timescales

기억 시간과 규칙학습 시간의 교차가 지연 일반화를 설명한다.

Inductive Bias

아키텍처, 최적화, 데이터 기하, 마스킹 정책이 어떤 해를 선호하는지 결정한다.

Sampler as Policy

토큰 순서, solver, diffusion step, guidance는 능력을 읽어내는 제어정책이다.

Probability Paths

Flow matching과 optimal transport는 분포 사이의 이동경로와 생성 난이도를 규정한다.

Uncertainty Trajectory

추론 중 불확실성 변화는 오류의 조기 탐지와 계산예산 배분에 활용될 수 있다.

Introduction

높은 품질이나 높은 정확도는 구조학습과 추론을 자동으로 증명하지 않는다.

동일 모델에서 공존하는 현상

희귀 데이터의 거의 정확한 재생
조밀한 영역에서의 새로운 샘플 생성
특정 조건에서의 새로운 조합과 계획
샘플링 설정에 따른 상이한 행동

연구 초점의 이동

왜 작동하는가
언제 실패하는가
어떤 데이터가 기억되는가
샘플러가 결과를 얼마나 바꾸는가
일반화와 개인정보 위험은 어떻게 연결되는가

Observed Capability → Underlying Mechanism

Motivation and Background

데이터 고갈, 반복학습, 개인정보, 추론 불투명성, 생성 효율성, 과학적 발견이 연구를 촉진한다.

데이터 고갈과 반복

고품질 데이터의 한계로 중복·합성·반복 학습이 증가하며 내부 표현과 일반화를 훼손할 수 있다.

개인정보·저작권

훈련 텍스트·이미지·코드·PII의 재생은 법적·윤리적·보안 위험을 만든다.

추론의 불투명성

긴 Chain-of-Thought가 실제 내부 계산을 반영하는지 확인하기 어렵다.

생성 효율성

자기회귀의 순차 병목을 넘어 확산·플로 기반 병렬 언어생성이 연구된다.

과학적 발견

과학 생성은 데이터 모사보다 유효하고 새로운 설계공간 확장을 요구한다.

평가 신뢰성

테스트 오염과 자동 평가자 편향이 관찰된 성능을 왜곡할 수 있다.

Challenges

기억의 인과성, 국소 위험, 샘플러 의존성, 외삽, 평가 오염, 과학 검증기의 불완전성이 핵심 난제다.

도전과제	핵심 문제	필요한 해결 방향
기억의 인과적 정의	출력 유사성만으로 기억을 증명할 수 없음	데이터 제거, canary, counterfactual dataset, 영향분석
전역 평균의 한계	희귀영역의 높은 노출위험이 평균에 가려짐	국소 밀도·언어·집단·클래스별 위험 보고
모델–샘플러 결합	solver, token order, guidance가 행동을 변화	완전한 생성 프로토콜과 sampler-aware model card
일반화 vs 외삽	보간 결과가 외삽처럼 보일 수 있음	구조 novelty, 기능 utility, 훈련분포 거리의 분리
추론 vs 합리화	그럴듯한 설명이 실제 계산원인이 아닐 수 있음	중간상태 개입, causal mediation, CoT 교란
SFT–RL 이분법	SFT=기억, RL=일반화라는 단순화	최적화 시간, 기반능력, 데이터구조 조건부 분석
테스트 오염	정확 일치 외에도 풀이구조와 해설패턴이 오염	동적·비공개·반사실적 평가
자동 평가자 편향	문맥과 이해관계가 평가를 변화	context/order/consequence invariance 테스트
이론–실전 간극	단순화된 이론이 대형모델에 직접 적용되기 어려움	중간 규모 공개 학습환경과 체크포인트 시계열
과학 verifier 불완전성	모델이 실제 유효성보다 verifier 허점을 최적화	복수 verifier, simulator, 실험 폐쇄루프

Research Questions

논문군에서 도출되는 핵심 연구질문은 기억 위험, 상전이, 샘플러 정책, 추론의 절차성, 과학적 외삽으로 수렴한다.

RQ1

기억과 일반화를 샘플 단위로 사전 예측할 수 있는가?

RQ2

데이터 수, 모델 크기, 내재차원, 학습시간에 따른 일반화 경계는 어디에 있는가?

RQ3

모델이 아는 것과 실제로 생성하는 것의 차이를 어떻게 측정할 것인가?

RQ4

샘플링 정책은 모델 능력의 일부로 학습되어야 하는가?

RQ5

추론은 언제 표면 패턴을 넘어 절차로 전이되는가?

RQ6

추론 능력과 안전성은 함께 일반화하는가?

RQ7

일반화 성능을 데이터 오염과 분리할 수 있는가?

RQ8

과학 생성모델은 관측분포 밖으로 얼마나 멀리 이동할 수 있는가?

RQ9

추론과정 중 오류를 조기에 탐지하고 재계획할 수 있는가?

RQ10

적은 샘플링 스텝에서도 다양성과 제약을 보존할 수 있는가?

RQ11

개인정보 노출은 어떤 희귀 집단과 언어에서 집중되는가?

RQ12

진정한 생성지능의 최소 조건은 무엇인가?

Approaches / Methods

대표 방법론을 이론, 기억, 샘플링, 추론, 과학응용 기준으로 필터링해 탐색할 수 있다.

Oral

Ridge Manifold Generalization

역확산을 reach–align–slide 기하로 설명하고 법선·접선 오차를 분리한다.

Oral

Internal Data Repetition

반복 데이터의 피해가 비단조적이며 특정 반복구성이 가장 파괴적일 수 있음을 분석한다.

Oral

Physics-Informed Distillation

PDE 제약을 사후 증류에 적용해 물리 유효성과 생성효율을 결합한다.

Oral

LangFlow

연속 확산 언어모델과 flow matching을 연결해 병렬 언어생성의 가능성을 제시한다.

Oral

DPRM

과정 보상 기반 토큰 공개 순서를 통해 모델 재학습 없이 생성 경로를 바꾼다.

Memory

DLM Memorization

샘플링 해상도와 마스킹 패턴을 포함하는 일반화된 추출 프레임워크를 제안한다.

Memory

Local Coverage

국소 데이터 밀도가 기억과 일반화의 경계를 결정함을 분석한다.

Theory

Grokking Timescales

기억시간과 일반화시간의 교차로 grokking을 설명한다.

Reasoning

Reasoning SFT

SFT의 교차도메인 일반화가 최적화 시간과 기반능력에 조건부임을 재평가한다.

Evaluation

Test Contamination

소수의 테스트 복제도 생성평가를 유의하게 왜곡할 수 있음을 정량화한다.

Privacy

Cue-Resistant PII

프롬프트 단서를 통제해 실제 기억과 패턴완성을 구분한다.

Planning

LLM-WikiRace

세계지식과 장기 계획·재계획 능력을 분리해 평가한다.

Telemetry

Uncertainty Tracing

추론 중 불확실성 궤적을 이용해 최종 오류를 조기에 예측한다.

Drug Design

Boltz-Perturb

조건 신호 교란으로 잠재 결합모드 접근성을 높이는 test-time adaptation을 제안한다.

Discovery

Active Flow Expansion

데이터 모사보다 유효 생성 가능 집합의 확장을 목표로 한다.

Materials

Synthesizability-Aware Generation

목표 물성과 합성 가능성을 강화학습 기반 다목적 최적화로 결합한다.

Omics

Tiny Recursive Models

반복 계산을 통해 공간 오믹스의 장거리 의존성을 처리한다.

Judge

Context Over Content

자동 평가자가 내용보다 평가 결과의 문맥과 이해관계에 영향을 받을 수 있음을 보인다.

대표 논문	핵심 결과	연구적 의미
Ridge Manifold	역확산의 reach–align–slide 메커니즘	일반화를 데이터 기하와 방향별 오차로 설명
Internal Data Repetition	중간 규모·중간 횟수 반복이 가장 파괴적일 수 있음	반복 피해의 비단조적 스케일 법칙 필요
LangFlow	연속 확산 언어모델의 경쟁력 있는 PPL 보고	병렬 언어생성 가능성
DPRM	토큰 순서만으로 여러 태스크 성능 변화	샘플링 순서가 추론 정책임
Local Coverage	희소영역은 기억, 조밀영역은 일반화	샘플 단위 위험분석 필요
LLM-WikiRace	어려운 문제에서 최고 모델 성공률 약 23%	지식과 장기계획의 분리
Uncertainty Tracing	최종 정답 예측 AUROC 최대 0.807	추론 오류 조기 탐지 가능성
Boltz-Perturb	결합모드 성공률 17.7%→30.6% 보고	능력 부족보다 샘플링 부족일 수 있음

Key Applications

FoGen의 기초연구는 언어, 약물·단백질, 재료, 물리, 오믹스, 비디오, 개인정보 감사, 에이전트로 확장된다.

언어모델

병렬 생성, 긴 문맥 일반화, 토큰 순서 최적화, 추론 텔레메트리, 지식주입.

분자·약물·단백질

분포외 분자, 치료용 펩타이드, 단백질 서열, 결합모드 다양화.

재료 발견

물성, 안정성, 합성 가능성, novelty를 동시에 최적화한다.

물리 시뮬레이션

PDE 해 생성, inverse problem, 부분관측 복원, 빠른 surrogate simulation.

공간 오믹스

조직 전체의 장거리 의존성을 반복 계산으로 통합한다.

비디오·세계모델

객체 영속성, 카메라 이동, 시간적 인과, 장기 장면 일관성을 평가한다.

개인정보·저작권 감사

훈련 데이터 추출, PII 복원, unlearning, distillation 공격을 평가한다.

에이전트·장기계획

도구사용, 실패복구, 장기 정보수집, adaptive test-time compute.

과학적 생성 에이전트

가설, 생성, 검증, 실험, 업데이트를 하나의 폐쇄루프로 통합한다.

Open Problems

조작적 정의, 국소 일반화 지도, 샘플러 조건부 보고, 추론 충실성, 과학적 폐쇄루프가 미해결 상태다.

기억–일반화의 통합 정의

정확일치, 의미유사성, membership inference, 데이터 제거 민감도를 연결하는 공통틀이 필요하다.

국소 일반화 지도

입력공간을 기억·보간·외삽·무효 영역으로 나누고 경계를 추정해야 한다.

Sampler-Conditional Model Card

모델과 샘플러를 분리 보고하지 않고 결합시스템으로 평가해야 한다.

추론의 인과적 충실성

표면 CoT와 실제 내부 계산을 분리하는 개입 실험이 필요하다.

Test-Time Scaling 상전이

추가 계산이 개선, 포화, 과잉사고로 전환되는 경계를 규명해야 한다.

안전한 Generable Set 확장

유효률을 유지하면서 새로운 영역으로 분포를 확장해야 한다.

증류와 기억

few-step·one-step 증류가 teacher 기억과 모드붕괴를 증폭하는지 규명해야 한다.

과학 검증의 실제 폐쇄루프

시뮬레이터를 넘어 실제 실험과 실패 데이터를 학습에 연결해야 한다.

평가자 신뢰성

LLM judge에도 불확실성, 전이성, 문맥 불변성 검사가 필요하다.

이론–대규모 실전 연결

공개 데이터와 체크포인트를 갖춘 중간 규모 실험생태계가 필요하다.

Future Directions

논문군 전체에서 도출되는 통합 연구 아젠다는 MGR 좌표계, 국소 커버리지 지도, sampler-aware 모델, 폐쇄루프 과학 에이전트로 수렴한다.

1. MGR 좌표계

z(x,c) = [ M(x,c), G(x,c), R(x,c) ]

훈련 데이터 의존성, 구조 전이, 절차적 추론을 입력별로 분리해 표현한다.

2. Local Coverage Atlas

A(xi) = [ ρi, ri, ℓi, gi, ei ]

국소 밀도, 반복 노출, 학습손실, 영향도, 추출위험을 데이터 포인트별로 기록한다.

3. Sampler-Aware Foundation Model

모델 파라미터와 토큰 순서·noise schedule·solver·verifier 호출 정책을 분리 학습한다.

4. Counterfactual Generalization Benchmark

새 기호체계, 변경 규칙, 새로운 topology, 훈련 후 생성 데이터로 절차 일반화를 검증한다.

5. Reasoning State Telemetry

단계별 불확실성, 분기 수, backtracking, loop, verifier disagreement를 실시간 추적한다.

6. Phase-Diagram Scaling Laws

데이터 수, 모델 크기, 계산량, 내재차원, 반복률, 샘플링 비용을 M·G·R 상태와 연결한다.

7. Verifier Ecology

물리, 시뮬레이션, 경험적 검증, novelty, 안전성 평가기를 독립적으로 결합한다.

8. Privacy–Generalization Frontier

효용, 일반화, 추출위험, 희귀집단 성능 사이의 파레토 전선을 분석한다.

9. Closed-Loop Scientific Generative Agent

Hypothesis Generator ↓ Generative Model ↓ Physics / Chemistry Verifiers ↓ Uncertainty & Novelty Estimator ↓ Experiment Planner ↓ Laboratory / Simulator ↓ Evidence Memory ↓ Model & Hypothesis Update

10. Mechanism-Aware Evaluation

최종 결과뿐 아니라 데이터 의존성, 반사실적 안정성, 중간상태의 인과성, provenance를 함께 평가한다.

Conclusion

FoGen은 생성 품질 경쟁을 넘어 생성능력의 기원을 설명하는 과학으로 연구축을 이동시킨다.

Shift 1

전역 속성 → 국소 상태

기억과 일반화는 데이터 영역, 노출 빈도, 모델크기, 학습시간에 따라 달라진다.

Shift 2

모델 → 생성 파이프라인

토큰 순서, 확산 스텝, solver, condition perturbation, verifier가 능력을 드러낸다.

Shift 3

성능 → 메커니즘

정답률보다 데이터 의존성, 절차 전이, 반사실적 안정성, provenance가 중요하다.

Generative Intelligence = Learned Structure + Adaptive Sampling + Compositional Reasoning − Uncontrolled Memorization

핵심은 모델이 새로운 결과를 만들었는지가 아니다. 그 결과가 어떤 데이터, 규칙, 샘플링 경로, 검증과정을 통해 생성되었고, 동일 메커니즘이 새로운 상황에서도 재현되는지가 중요하다.

Sources

공식 워크숍, OpenReview, arXiv, 대표 과학응용 논문의 원문 링크.

FoGen 2026 공식 웹사이트Foundations of Deep Generative Models FoGen OpenReview전체 채택 논문과 메타데이터 ICML 프로그램 페이지Workshop schedule and program FoGen 채택 논문 목록Workshop paper index Ridge Manifold GeneralizationarXiv:2602.06021 Internal Data RepetitionarXiv:2606.24998 Physics-Informed DistillationarXiv:2505.22391 LangFlowarXiv:2604.11748 DPRMarXiv:2604.24357 DLM MemorizationarXiv:2603.02333 Local CoveragearXiv:2606.14390 Model Capacity Determines GrokkingarXiv:2605.09724 Rethinking Generalization in Reasoning SFTarXiv:2604.06628 Test Set ContaminationarXiv:2601.04301 Cue-Resistant PII MemorizationarXiv:2601.03791 Context Over ContentarXiv:2604.15224 LLM-WikiRacearXiv:2602.16902 Tracing UncertaintyarXiv:2605.07776 Active Flow ExpansionOut-of-distribution scientific discovery Boltz-PerturbTest-time protein–ligand sampling Synthesizability-Aware Materials GenerationMaterials design Tiny Recursive Models for Spatial OmicsSpatial biology

Foundations of Deep Generative ModelsResearch Atlas

성능에서 메커니즘으로

검토 범위와 해석 원칙

전체 논문군

주제 중심 종합

재현성 유의

전체 연구 지형

통합 관점

Definition

심층 생성모델

기억

일반화

추론

조합적 일반화

생성 가능 집합

기억의 세부 유형

일반화의 세부 유형

Problem Definition

관찰적 등가성

전체 파이프라인 문제

데이터 반복

과학적 유효성

모델 지식 vs 생성 가능성

평가 오염

Core Concepts

Manifold Hypothesis

Ridge Manifold

Local Coverage

Information-Limited Phase Transition

Grokking Timescales

Inductive Bias

Sampler as Policy

Probability Paths

Uncertainty Trajectory

Introduction

동일 모델에서 공존하는 현상

연구 초점의 이동

Motivation and Background

데이터 고갈과 반복

개인정보·저작권

추론의 불투명성

생성 효율성

과학적 발견

평가 신뢰성

Challenges

Research Questions

RQ1

RQ2

RQ3

RQ4

RQ5

RQ6

RQ7

RQ8

RQ9

RQ10

RQ11

RQ12

Approaches / Methods

Ridge Manifold Generalization

Internal Data Repetition

Physics-Informed Distillation

LangFlow

DPRM

DLM Memorization

Local Coverage

Grokking Timescales

Reasoning SFT

Test Contamination

Cue-Resistant PII

LLM-WikiRace

Uncertainty Tracing

Boltz-Perturb

Active Flow Expansion

Synthesizability-Aware Generation

Tiny Recursive Models

Context Over Content

Key Applications

언어모델

분자·약물·단백질

Foundations of Deep Generative Models
Research Atlas