1.2×σₛ
MHD 선택 발자국
연속 물리장은 과학 탐구 데이터의 큰 부분을 차지하며, 그 멀티스케일 구조는 발견의 핵심이다. 그러나 유용한 좌표는 미리 알려져 있지 않다. ScaleAware-JEPA는 라벨 없이 연속 스칼라장에 대한 조밀한 잠재 좌표를 구성하는 프레임워크다.
고전 난류의 소산 소용돌이관, MHD 흐름의 자기 재결합층, 우주 거미줄의 비등방 물질 분포는 모두 필드가 공간과 스케일에 걸쳐 조직되는 방식에 그 과학적 의미가 있다.
기존 표현 방법은 두 갈래로 나뉜다. 하나는 필드를 스펙트럼·확률분포·상관함수 같은 전역 통계로 압축해, 물리적 의미를 담은 공간적·조직적 구조를 버린다. 다른 하나는 헤시안 필라멘트, 덴드로그램 구름, 워터셰드 보이드처럼 손으로 만든 구조 정의를 부과해 무엇을 발견할 수 있는지를 미리 결정한다.
고전 물리에서 계의 위상공간은 이론이 지정하는 경우가 많아, 동역학을 분석하기 전에 관련 변수를 이미 안다. 그러나 평형에서 멀리 벗어난 복잡계에서는 이 가정이 무너진다. Kauffman은 이를 근본적 난제로 규정했다. 즉, 관련 거시 변수와 유효 위상공간 자체가 사전에 특정되지 않을 수 있다.
표준 마스킹 전략은 비전 모델에서 물려받은 것으로, 고정 크기 패치를 가리고 단일 이미지 스케일에서 예측을 제기한다. 그러나 물리장에서 가려진 영역을 예측하는 데 필요한 맥락은 스케일 계층 전반에 분포한다. 따라서 물리장을 위한 프레임워크는 그 계층을 예측 과제 자체의 일부로 만들어야 한다.
ScaleAware-JEPA는 임의의 이미지 패치가 아니라 필드의 고유한 물리 스케일 계층으로 표현과 예측 과제를 명시적으로 통제한다. 두 가지 설계 선택이 이 원리를 구현하며, 둘 다 제약확산분해(CDD)에 근거한다.
필드를 인코딩하기 전에 픽셀 정합된 스케일 성분으로 분해한다. 대규모 상관을 합성곱 인코더의 국소 귀납 편향을 통해서만 창발하도록 남겨두지 않고, 직접 활용 가능하게 만든다.
마스크 발자국을 각 성분의 확산 스케일에 결속한다. 맥락–타깃 예측 과제가 단일한 임의의 패치 크기가 아니라 필드의 미세·중간·거친 수준에서 제기된다.
프레임워크는 핵심 JEPA 패러다임을 따른다. 온라인 분기는 마스킹된 입력을 받아, EMA 타깃 분기가 대응하는 비마스킹 필드로부터 산출한 잠재 표현을 예측한다. 예측은 엄격히 숨겨진 타깃 위치에서만 평가하며, 약한 확산 정규화가 표현 붕괴를 방지한다. 목표는 자연 이미지 표현학습을 개선하는 것이 아니라, 물리계를 들여다볼 수 있게 하는 잠재 좌표를 구성하는 것이다.
물리장은 이산 격자에서 관측되지만 연속 물리 스케일에 걸쳐 조직된다. CDD는 이 조직화를 위한 스케일 좌표를 정의한다.
CDD는 프레임워크 안에서 두 역할을 결합한다. 첫째, 네트워크가 단일 평면 이미지에서 복잡한 계층을 맹목적으로 추론하도록 강요하는 대신, 미세·중간·거친 형태를 물리적으로 정렬된 스케일 성분으로 인코더에 제시한다. 둘째, 마스킹 과제를 생성하는 데 쓰이는 명시적 좌표계를 공급한다. 표현 공간과 예측 질문이 정확히 동일한 물리 기하에 결속된다.
매끄러운 필라멘트 사이 영역에서 거의 0에 가까운 응답. 예리한 국소 구조를 희소하게 포착한다.
필라멘트 구조를 희소하고 공간적으로 밀집된 특징으로 분리한다.
대규모 위상을 복원한다. 확산 기반 원시요소는 국소적이고 픽셀 정합되어 있다.
마지막 CDD 채널은 가장 거친 스케일과 미해상 잔차를 함께 담는다.
웨이블릿 분해는 예리한 구조 근처에서 링잉과 부호 변화 로브를 도입해, 예측기가 지름길로 악용할 수 있는 국소·고대비·스케일 상관 인공물을 만든다. CDD의 확산 기반 원시요소는 국소적이고 픽셀 정합되어 이 교란을 줄이고, 잠재 예측을 필드 형태에 결속한 채 유지한다.
스케일 인식 조밀 ConvNeXt 인코더가 멀티스케일 입력을 전해상도 잠재장으로 사상해, 모든 공간 위치에 잠재 좌표를 배정한다.
원시 필드 x를 스케일 분리 성분으로 분해한다. 각 스케일 레벨에서 인코더는 마스킹된 CDD 성분 x⁽ˢ⁾, 이진 마스크 지시 채널 M⁽ˢ⁾, 확산 스케일을 식별하는 스칼라 스케일 코드 세 채널을 받는다.
각 CDD 성분을 공유 어댑터 구조가 공통 특징 폭으로 사상한다. 어댑터는 CDD 값뿐 아니라 어느 픽셀이 가려졌고 어느 확산 스케일인지도 본다. 마스크 지시자는 학습 파라미터가 아니다.
거친 특징을 순차적으로 더 미세한 스케일에 더하는 하향식 잔차 경로로 융합한다. 각 융합 스케일은 자체 1×1 투영을 거쳐 연결된다. 계층이 신경망 다운샘플링이 아니라 학습 이전 CDD로 공급된다는 점에서 표준 특징 피라미드와 다르다.
전역 응답 정규화(GRN)를 갖춘 조밀 ConvNeXt 백본이 필드 해상도를 줄이지 않고 공간 혼합을 수행해, 역사상에 필요한 공간 대응을 보존하면서 전해상도 잠재 지도를 산출한다.
MHD 마스킹 스윕은 마스크 기하가 잠재 사용 진단에 직접적이고 측정 가능한 효과를 줌을 보인다. 고정 박스 마스크와 매우 큰 피라미드 발자국은 높은 유효 랭크에 도달하는 동안 힌지 비율이 고원에 접근해, 폐색을 더 늘려도 잠재 사용이 통제된 방식으로 개선되지 않음을 나타낸다. 스케일 인식 피라미드 마스킹은 스케일 의존 맥락 발자국에 걸친 구조화된 진행을 제공한다. 선택된 1.2 × σₛ 설정은 대형 마스크 고원 영역 이전에 위치한다.
온라인 인코더, EMA 타깃 인코더, 경량 공간 예측기를 두 항 목적함수로 학습한다.
EMA 타깃은 θ̄ ← m·θ̄ + (1−m)·θ 로 갱신한다. 유효 타깃 패치를 공간 풀링한 뒤 예측 임베딩과 타깃 임베딩 사이 제곱오차를 마스킹 위치에서만 계산한다. 3D 패치의 경우 P³ 복셀에 걸쳐 풀링한다.
투영된 맥락 토큰을 평균 중심화한 뒤 채널별 모집단 표준편차 σ_c 를 구하고, 힌지 max(0, τ − σ_c)를 채널 평균한다. 이는 붕괴를 막되 예측 신호를 지배하지 않는 약한 정규화다.
추론에서는 마스킹을 비활성화하고 EMA 타깃 인코더가 전체 필드에 대한 조밀 투영 잠재 지도를 산출한다. 잠재 벡터를 PCA와 UMAP으로 투영해 시각화하고, 원래 공간 위치로 되돌린다. 이렇게 역사상 가능한 아틀라스가 형성된다. 잠재 공간의 이웃, 분기, 극단 영역을 원래 좌표로 추적해, 네트워크가 표현하는 필드 형태를 식별할 수 있다.
기원·동역학·해석이 모두 다르지만 동일한 표현 문제를 공유하는 세 영역에서 평가한다. 의미 있는 형태가 공간과 스케일에 분포하며, 완전한 사전 라벨 집합이 없다.
고레이놀즈수 압축성 자기유체역학 난류의 2차원 가스 밀도 슬라이스만 입력받는다. 확산 물질, 전단 계면, 필라멘트 능선, 충격 압축 구조를 담는다. 밀도 하나만으로 학습한 자기지도 표현이 라벨·수제 진단·보조 속도장·자기장 입력 없이 이 구조들을 조직할 수 있는지 묻는다. 역사상된 UMAP 이웃은 필라멘트 계면, 능선형 구조, 조밀 고대비 영역, 확산 물질에 대응한다. Li & Zhao(2025)의 알프벤 마하수 기반 자기·전이·운동 영역 분리와 정합하는 형태 구분을 밀도 단독에서 복원한다.
유체나 중력 동역학이 아니라 도시 활동의 공간 조직을 기록하는 필드다. 잠재 아틀라스 구성이 특정 물리 메커니즘에 의존하는지 검증한다. 학습된 임베딩은 조밀한 밝은 도시 영역, 길게 뻗은 광 회랑, 얼룩진 교외 구조, 저강도 배경을 각각 별개의 국소 이웃으로 조직하며, 모두 원래 필드의 일관된 형태로 역사상된다.
라벨·나선팔 마스크·강도 임계 없이 CO 필드를 지배 환경 구조에 따라 조직한다. PCA 역사상은 집중된 중심·나선팔 분자원반과 흐릿한 확산 팔간 성분 사이의 넓은 대비를 포착하고, UMAP 역사상은 그 연속체 안에서 더 미세한 국소 차이를 해상한다. 밝은 팔 구름, 팔간 분자운, 확산 확장 방출, 좁고 길쭉한 콘트레일형 특징이 잠재 공간의 서로 다른 영역을 점유한다. Zhao & Li(2025)가 보고한 은하 규모 분자 콘트레일과 관련해, 킬로파섹 규모 전체를 단일 전역 객체로 완전히 분리하는 것은 국소 ConvNeXt 블록 발자국에 의해 제한되며, 복원되는 것은 주변과 구별짓는 국소 형태 성격이다.
붕괴와 잠재 공간 사용을 공분산 스펙트럼 고유값에서 계산한 유효 랭크와 참여수로 평가한다. 힌지 비율은 후기·초기 학습 창의 확산 손실 평균 비로, 0에 가까우면 힌지 감쇠, 1에 가까우면 고원을 뜻한다.
MHD 피라미드 스윕은 1.2 × σₛ 까지 두 진단이 점진적으로 상승한 뒤, 1.6 × σₛ 에서 타깃 유효 랭크가 급등하고 2.0 × σₛ 에서 힌지가 거의 완전히 포화한다. 선택된 1.2 × σₛ 설정은 대형 발자국 전이 이전의 중간 타깃 랭크와 힌지 응답을 유지한다. 고정 박스 마스크는 7 px 에서 이미 힌지가 높고 11 px 에서 포화하며, 유효 랭크는 약간 감소한 뒤 거의 일정하게 유지된다.
| 데이터셋 · 전략 | 발자국 | 타깃 랭크 | 예측 랭크 | 참여수 | 힌지 |
|---|---|---|---|---|---|
| Chengdu · pyramid ★ | 0.8 × σₛ | 2.306 | 1.452 | 1.62 | 0.000 |
| Chengdu · pyramid | 1.6 × σₛ | 1.166 | 1.163 | 1.06 | 0.005 |
| MHD · pyramid ★ | 1.2 × σₛ | 2.152 | 2.044 | 1.44 | 0.354 |
| MHD · pyramid | 1.6 × σₛ | 3.183 | 4.013 | 2.01 | 0.544 |
| MHD · pyramid | 2.0 × σₛ | 2.980 | 3.277 | 1.82 | 0.999 |
| MHD · box | 11 px | 2.918 | 3.076 | 1.78 | 1.000 |
| NGC · pyramid ★ | 1.6 × σₛ | 1.311 | 1.417 | 1.13 | 0.006 |
| NGC · pyramid | 2.0 × σₛ | 1.286 | 1.561 | 1.11 | 0.003 |
선택 시각화 실행은 청두 0.8 × σₛ, MHD 1.2 × σₛ, NGC 1.6 × σₛ 다. 진단은 붕괴와 잠재 공간 사용을 선별하는 데 쓰이며, 최종 선택은 전역 시각 위상과 역사상된 공간 해석 가능성도 함께 고려한다. 더 높은 유효 랭크가 항상 더 깨끗하거나 물리적으로 해석 가능한 임베딩에 대응하지는 않는다.
CDD 피라미드와 모든 스케일 인식 처리를 제거한 순수 조밀 ConvNeXt 대조군을 둔다. 마스킹된 스칼라장과 이진 마스크 지시 지도 두 채널만 받는, 멀티스케일 조직을 원시 픽셀 강도에서 직접 추론해야 하는 정합된 JEPA 백본이다.
| 마스크 발자국 | 타깃 랭크 | 예측 랭크 | 힌지 비율 |
|---|---|---|---|
| 7 px ★ | 3.866 | 5.752 | 1.000 |
| 11 px | 3.914 | 5.771 | 1.000 |
| 15 px | 3.906 | 5.920 | 1.000 |
| 19 px | 3.906 | 5.920 | 1.000 |
모든 발자국에서 진단이 거의 동일하고 힌지가 포화한다. 박스 발자국을 바꿔도 잠재 기하에 의미 있는 변화가 없으며, 소규모 구조가 과도하게 선명해진다. 이는 본 모델이 복원하는 멀티스케일 조직화가 일반적인 마스킹 이미지 ConvNeXt 용량만으로 설명되지 않고, 인코더와 마스킹 연산자에 명시적 물리 스케일 좌표를 제공하는 데 의존함을 시사한다.
로그정규 웨이블릿 분해로 CDD 피라미드를 대체한 정합 MHD 실행도 붕괴하지 않고 중간~높은 유효 랭크를 낸다. 그러나 힌지 동역학이 덜 조건화되어, 0.8 × σₛ 에서 1.6 × σₛ 로 갈수록 힌지 비율이 0.330 에서 0.993 으로 상승하며 큰 마스크 스케일에서 포화한다. 반면 제약 CDD는 스윕 전반에서 여유를 유지한다. 역사상된 RGB 필드는 고대비 구조 주위에 넓은 헤일로형 띠를 보이는데, 이는 웨이블릿 분해의 진동성 교차 스케일 누설 및 예리한 전이 근처의 링잉과 일관된 국소성 저하 신호다.
보고된 실험에 사용한 저장소 기본 구성. 모든 설정은 구성 시스템으로 재정의 가능하다.
scales [2,4,8,16,32]
8 ch / scale
1×1 projection · no downsample
width 64 · depth 4 · k 7×7
z ∈ ℝ³²ˣᴴˣᵂ · LayerNorm
lr 1e-4 · wd 1e-5 · 10 epochs
warmup fraction 0.25
τ = 1 · pooled
[1,1,1,1] MHD·청두 · [1,1,2,4] NGC
UMAP은 표준화 입력, 유클리드 거리, min_dist = 0.2, n_neighbors = 50, L2 정규화 없음으로 투영한다. MHD 학습은 통계적 등방성을 보존하는 D4 증강(회전·플립), 청두·NGC는 플립 증강만 사용한다. 인코더 국소 수용장은 25 px(NGC는 확장 블록으로 49 px)이며, 필드 경계에서 이 폭의 절반 이내 픽셀은 완전한 맥락이 없어 학습 시 타깃 배치와 추론 시 잠재 평가에서 제외한다. NGC는 필드 픽셀의 50% 이상이 잡음 지배적이므로 RMS 잡음의 3.5배를 넘는 영역으로 타깃 중심을 제한한다.
과학의 필드는 본질적으로 멀티스케일이며, 그 조직화를 포착하려는 표현은 고정 이미지 격자의 임의 기하가 아니라 물리 계층에 의해 지배되어야 한다. CDD는 미세·중간·거친 형태를 정렬된 입력 구조로 노출하는 국소·픽셀 정합 성분을 조밀 인코더에 공급하고, 동일한 계층이 마스킹 발자국을 결정한다. CDD가 표현과 예측 모두의 공통 기하를 제공하면서, 예측 네트워크에 지름길을 줄 수 있는 기존 멀티스케일 기저의 진동성 응답 영향을 줄인다.
입력 표현과 예측 과제가 도메인 특정 객체 정의·라벨 집합·목록·분할 규칙이 아니라 필드의 스케일 계층으로 정의되므로, ScaleAware-JEPA는 조직화가 스케일에 걸쳐 중첩된 계 전반에 적용된다. MHD 난류, 도시 야간광 구조, NGC 3627 분자가스 방출은 의도적으로 이질적인 시연이다. 각 설정에서 확산 영역, 필라멘트 계면, 조밀 덩어리, 흐릿한 확장 구조가 일관된 이웃을 점유하는 조밀하고 공간적으로 역사상 가능한 잠재 아틀라스를 산출한다.
이 방법은 도메인 과학자가 물리 지식을 주입하는 직접 경로도 제공한다. CDD 스케일 개수와 마스크 발자국 배수는 연구 대상 필드의 스케일 구조에 대한 가정을 표현하는 해석 가능한 파라미터다. 이는 JEPA를 고정 패치 시각 학습을 넘어, 복잡한 멀티스케일 계의 잠재 추출을 위한 일반 아키텍처로 이끈다.