AI 공동연구자가 발견한
결정 구조 예측 알고리즘

인공지능은 과학 모델링의 도구를 넘어 과학 알고리즘 발견의 동반자로 작동하기 시작했다. 최근 시스템은 문헌을 읽고 가설을 제안하고 코드를 작성하며 경험적 피드백으로 반복한다. 이런 시스템의 두드러진 강점은 폭(breadth)이다. 컴퓨터 비전·언어·프로그래밍·과학을 아우르는 지식으로 학습돼, 도메인 전문가가 자연스럽게 떠올리지 않을 분야 간 전이를 제안할 수 있다.

핵심 미해결 질문은 이 폭이 현실적이고 경쟁적인 과학 ML 벤치마크에서 최첨단 알고리즘을 만들어낼 수 있는가다. 기존 ML 엔지니어링 에이전트는 주로 고정된 문제 명세 안에서 작동한다. 벤치마크·입출력 인터페이스·평가지표, 흔히 넓은 모델링 계열까지 주어진 채 더 나은 코드·하이퍼파라미터·구현 변형을 탐색한다. 기존 AI 과학자 시스템은 이 루프를 가설 생성과 논문 작성으로 넓혔지만, 가장 강한 시연은 성숙한 과학 도메인의 최첨단을 개선하는 새 알고리즘이 아니라 자율 연구 워크플로로 평가되는 경우가 많다.

이를 연구하기 위해 과학 알고리즘 발견을 위한 HACO(Human–AI Co-discovery system)를 도입한다. HACO는 두 원리로 구축된다. 첫째, 교차 도메인 전이를 수행한다. 기존 도메인 모델을 교란하는 데 그치지 않고, 다른 분야의 생성 모델링 프레임워크를 탐색해 목표 과학 문제에 적응 가능한지 평가한다. 둘째, 희소한 인간 상호작용을 지원한다. 인간은 도메인 제약이나 원하는 실패 모드 교정 같은 고수준 메커니즘·목표를 제공하고, 에이전트는 후보 알고리즘을 구현·학습·평가·정제한다.

HACO를 결정 구조 예측(CSP)에 인스턴스화한다. CSP는 화학 조성으로부터 안정한 결정 구조를 요구하며 계산 재료 발견의 중심 문제다. 결정은 주기적이고, 분수 좌표는 토러스 위에 살며, 공간군 대칭이 유효성과 샘플 품질에 영향을 주고, 많은 조성이 여러 다형체를 허용한다. 따라서 CSP 개선은 단순한 코드 최적화 연습이 아니라 기하·주기성·대칭·다형체 다양성을 존중하는 생성 정식화를 선택하는 일이다.

기여

결정 구조 예측 모델

학습 기반 CSP는 크게 두 경로를 따랐다. 첫째 경로는 격자 파라미터와 분수 좌표를 연속 변수로 다루고 주기 구조에 대한 생성 과정을 학습한다. CDVAE 같은 초기 생성기가 확산 기반 생성을 도입했고, 이후 등변 확산·리만 플로 매칭·확률적 보간자로 기하 정식화를 개선했다. 연속 기하에 자연스럽지만 샘플링이 보통 확률적·반복적 적분을 요구하며 그리디 디코딩을 위한 유한 이산 결정 공간을 직접 노출하지 않는다. 둘째 경로는 공간군·Wyckoff 위치·대칭 템플릿을 조건화하는 대칭 인식 방법으로, 보통 후처리와 특화 아키텍처를 요구한다. MaskGXT는 정식화가 다르다. 격자·좌표·공간군·Wyckoff를 포함한 전체 CSP 출력을 단일 이산 토큰 시퀀스로 표현해 마스크 생성 트랜스포머로 디코딩하며, 대칭 정보가 별도 모듈 없이 마스크 토큰 예측에 직접 참여하고 다후보 생성을 위한 공간군 계층 디코딩을 가능케 한다.

이산·마스크 생성 모델링

이산 생성 모델은 토큰 시퀀스를 손상시키고 손상을 역전하도록 학습한다. D3PM 같은 이산 확산은 범주형 과정을 여러 단계로 디노이즈하는 반면, 마스크 생성 모델은 마스킹으로 손상시키고 모든 위치를 몇 번의 병렬 단계로 복원한다. 결정 생성에 들어온 이산 표현은 기하가 아니라 대칭을 이산화했다. WyckoffDiff는 연속 좌표 생성 없이 공간군·Wyckoff 토큰에 범주형 확산을 돌리고, SymmCD는 사이트 대칭과 원자 유형만 이산화하고 좌표는 확산으로 연속 유지한다. MaskGXT는 대신 좌표 자체를 이산화하고 신뢰도 순위 마스크 병렬 예측으로 좌표를 포함한 전체 결정을 디코딩한다.

AI 공동연구자와 자율 연구 에이전트

The AI Scientist와 후속은 제한된 인간 개입으로 아이디어 생성·코드 작성·실험·결과 분석·논문 작성을 수행한다. FunSearch·AlphaEvolve는 프로그램 탐색으로 알고리즘을 발견하고, AutoResearch는 학습 코드를 반복 수정하며 경험적으로 개선된 변형을 유지한다. 본 연구는 두 가지로 구별된다. 첫째, 에이전트에게 완전히 새로운 아이디어 제안을 권하는 대신 과학 도메인을 위한 전이 가능한 생성 모델링 원리를 탐색하게 한다. 둘째, 과정이 완전 자율이 아니라 상호작용적이다. 인간이 도메인 메커니즘·목표를 힌트로 줄 수 있다.

3.1 과제·탐색·프로토콜

과제. 에이전트는 화학 조성으로부터 결정 구조를 생성하는 모델 개발을 요청받는다. 목표는 MP-20 다형체 분할에서 검증 METRe를 최대화하는 것이다. METRe는 주어진 조성에 대해 어떤 참조 다형체든 복원하면 보상하므로 구조 정확도와 다형체 커버리지를 모두 포착한다. 전체 개발 루프는 MP-20 다형체 분할에 갇혀 있어, 모델 제안·구성요소 선택·샘플러 정제가 오직 검증 피드백에서만 선택된다.

탐색. 핵심 발상은 어떤 생성 프레임워크를 CSP에 쓸지를 인간이 아니라 AI 에이전트가 결정하게 하는 것이다. 에이전트는 방법론을 제안하고 CSP 모델로 인스턴스화·학습·평가하며 방법을 수정한다. 따라서 탐색 대상은 단순한 구현이 아니라 CSP를 위한 생성 모델링 프레임워크다.

프로토콜 — 범위가 좁아지는 3단계

3.2 트리 기반 탐색과 오케스트레이션

탐색 트리의 각 노드는 자기완결적 후보, 즉 CSP용 생성 모델을 정의하는 완전한 학습 프로그램이다. 단계별 후보당 예산으로 학습해 검증 METRe를 측정하고, 유망 노드를 확장하고 비생산적 노드를 가지치며 강한 계보에 더 많은 연산을 배분한다. Claude Opus 4.7이 구동하는 단일 오케스트레이터가 탐색을 통제하고 인간 조향의 유일한 인터페이스로 작동한다. 각 노드에 격리 환경을 설정하고, 8개 RTX 3090 GPU에서 GPU당 하나씩 최대 8개 후보 노드를 병렬 실행하며, 어느 노드를 확장하고 어떤 연산자를 적용할지 결정한다.

3.3 탐색 연산자와 교차 도메인 전이

가장 두드러진 구성요소는 의도적 교차 도메인 전이를 수행하는 idea 연산자다. 현재 방법을 교란하는 대신 비전·언어 등 더 넓은 생성 모델링 문헌을 조사해, 결정에 적용된 적 없으나 CSP 경쟁에 신뢰할 만한 메커니즘을 가진 (생성 프레임워크, 아키텍처) 쌍을 반환한다. 두 기준 — CSP에 대한 신규성과 주기 결정으로의 적응성 — 으로 각 쌍을 선택한다. 본 실행에서 비전 도메인의 마스크 생성 모델 MaskGIT를 식별했다.

3.4 인간 조향과 자율성 경계

에이전트가 전체 루프를 돌리고 모든 모델 코드를 직접 작성했으며, 인간은 희소하게 고수준에서만 개입했다. 인간 입력을 제공 내용으로 분류한다. 메커니즘은 에이전트가 결여한 도메인 지식을 공급한다(예: 결정 대칭을 반영해야 한다, 비-i.i.d. 샘플링이 다형체 커버리지를 개선한다). 목표는 목적을 진술하고 방법은 에이전트에게 맡긴다(예: 서브빈 좌표 정밀도 복원). 두 경우 모두 인간은 고수준 메커니즘·목표를 공급하고, 에이전트가 도메인 적응을 포함해 코드로 실현한다. 이로써 자율성 주장이 보정된다. 에이전트가 구현·경험적 탐색·반복 정제를 수행하고, 희소한 인간 입력은 결여된 도메인 메커니즘·목표를 공급한다.

결정을 확산·플로 과정으로 진화하는 연속 좌표가 아니라, 이산적·부분 마스크 시퀀스로 표현하고 누락 토큰을 복원하도록 학습한다. 다만 MaskGIT를 결정에 직접 적용하는 것은 자명하지 않다. 결정은 주기적이고 대칭 중복적이기 때문이다.

4.1 이산 결정 토큰화 1 + 6 + 5N

CSP에서 입력은 원자 유형 집합 A, 목표는 격자 L과 분수 좌표 F의 예측이다. MaskGXT는 결정을 1+6+5N 토큰으로 토큰화한다. 공간군 토큰 1개, 양자화된 길이·각도를 위한 격자 토큰 6개, 사이트당 5개(양자화 좌표 3개, Wyckoff 토큰, 원소 유형). 원소 유형 A는 조건으로 주어지고, 공간군 g·격자·좌표·Wyckoff 토큰을 예측 대상으로 남긴다. 대칭은 별도 모듈로 부과되지 않고 구조와 함께 예측되며, 대칭·격자·좌표 토큰이 독립 디코딩되므로 그 일관성은 강제 제약이 아니라 학습으로 권장된다.

4.2 정준화와 대칭 증강

같은 결정도 단위격자 원점과 원자 순서가 임의이므로 여러 방식으로 적힐 수 있다. MaskGXT는 이 모든 기술에 동일한 공간군·Wyckoff 토큰을 부여하도록 두 온라인 증강으로 학습한다.

• 유클리드 정규화자 원점 이동. 원점 이동은 좌표와 각 원자의 Wyckoff 사이트를 함께 바꾼다. 연속 이동 r~U[0,1)³를 뽑아 모든 좌표를 r만큼(mod 1) 평행이동하고, r에 가장 가까운 정규화자 코셋 대표로 각 Wyckoff 문자를 재라벨한다. 이산 코셋 대표를 열거하는 선행 연구와 달리 이동이 연속적이라 모든 동치 기술에 모델을 노출한다. 230개 공간군의 정규화자 평행이동 코셋과 Wyckoff 문자를 미리 계산해 재라벨이 학습 시 테이블 조회다.
• 궤도 내/간 순열. MCFlow의 정준 순서로 사이트를 대칭 궤도로 묶어 정렬한다. 같은 원소·Wyckoff를 공유하는 궤도 간 순서와 궤도 내 원자 순서는 여전히 임의이므로, 전체 궤도와 궤도 내 원자를 섞는 순열 증강으로 학습한다. N! 전체 순서가 아니라 궤도 구조 안에서만 순열해, 대칭 동치 기술만 증강하며 완전 무작위 순열을 능가한다.

4.3 마스크 학습 목표

순서적·원형 라벨 평활. 빈을 무순서 범주로 다루면 좌표의 거리 구조와 빈 0·K−1의 인접성을 버린다. MaskGXT는 원-핫 타깃을 순서적·원형 소프트 타깃으로 대체한다. 진짜 빈에 확률 대부분을, 이웃 빈에 약간을 줘 가까운 빈 예측이 먼 빈 예측보다 손실이 작다. 격자 토큰은 파라미터가 감기지 않으므로 비순환 거리로 같은 구성을 쓴다.

마스크 교차엔트로피. 각 토큰을 확률 t~U(0,1)로 독립적으로 마스크 기호로 대체해 손상시키고, 트랜스포머가 마스크 위치의 원래 토큰을 예측하도록 학습한다. 손실은 격자·좌표·공간군·Wyckoff 네 스트림에 가중치 w_m으로 합산된 마스크 교차엔트로피이며, 공간군·Wyckoff 스트림은 원-핫 타깃을 쓴다.

서브빈 좌표 정제. 이산화는 안정적 범주 표현을 주지만 기하 정밀도를 빈 폭의 절반으로 제한한다. 이를 회복하기 위해 각 격자·좌표 위치에서 트렁크 특징을 읽어 제한된 오프셋 δ∈(−½,½)를 예측하는 경량 회귀 헤드를 붙인다. 마스크 교차엔트로피 밖에서 빈 중심 대비 참 잔차로 smooth-L1 손실로 지도한다.

4.4 모델 아키텍처

아키텍처는 토큰화 스킴, 트랜스포머 트렁크, 예측 헤드 세 부분이다. 1+6+5N 토큰을 임베딩한 뒤 사이트별 선형 투영 W_site가 각 사이트의 5개 토큰 임베딩(좌표 3·Wyckoff·원소)을 하나의 원자별 특징으로 융합해 길이 1+6+N 시퀀스를 만든다. 각 원자별 특징은 정준 사이트 순서에 대한 학습 위치 인코딩과 마스크 비율 임베딩을 더한 뒤 양방향 트랜스포머로 들어간다. 트렁크는 QK 정규화 자기주의를 쓰는 Pre-LN 트랜스포머로, 각 블록이 멀티헤드 자기주의와 SwiGLU 피드포워드로 구성된다. QK 정규화는 쿼리·키를 헤드 차원으로 정규화해 내적을 제한하고, 학습 가능한 헤드별 온도 s_h가 표준 1/√d_h 스케일링을 대체한다.

4.5 샘플링 공간군 계층 + 그리디

공간군 계층 샘플링. 조성은 여러 다형체를 형성할 수 있으므로, 공간군에 따라 분기해 다양한 후보를 샘플링한다. 조성당 S개 예산에 대해 완전 마스크 시퀀스에서 공간군 사후확률을 계산하고, 가장 높은 S개 공간군을 골라 각각 하나의 샘플링 분기를 만든다. 각 분기에서 공간군 토큰을 g로 고정하고 나머지 토큰을 그리디로 디코딩한다. 남은 모든 공간군의 사후확률이 작은 임계값(0.02) 아래면 분기는 공간군과 토큰을 i.i.d.로 샘플링한다.

신뢰도 순위 그리디 디코딩. 각 분기에서 확률적 토큰 샘플링을 결정적 토큰 선택으로 대체해 가장 확률 높은 구조를 반환한다. 완전 마스크 시퀀스에서 시작해 마스크 토큰 스트림의 사후 분포를 반복 예측하고, argmax로 가장 신뢰도 높은 위치를 채운 뒤 나머지를 디코딩 스케줄에 따라 재마스크한다. 출력 공간이 이산화돼 있어 이 그리디 규칙이 유한 어휘에서 잘 정의되며, 연속 생성 과정을 적분·샘플링하는 확산·플로 샘플러와 대조된다.

실험은 두 질문에 답한다. (1) 이산 마스크 생성 정식화가 표준 1:1 평가에서 연속 확산·플로 CSP 모델을 능가하는가, (2) MaskGXT 구성요소가 기하 정확도와 다형체 커버리지를 개선하는가. MP-20(최대 20원자/셀)과 MPTS-52(최대 52원자, 출판연도 시간순 분할)에서 평가하며, StructureMatcher로 생성·참조 구조를 비교한다. METRe는 조성별로 생성 구조를 모아 같은 조성의 어떤 생성 구조든 참조와 매치하면 매치로 센다.

5.6 절제 연구

승리 계보를 따라 발생한 순서대로 세 전환점을 재현한다. 청록 박스는 자율 에이전트 턴(연산자 표시), 앰버 박스는 희소 고수준 인간 개입, 회색 박스는 인간 조향의 유일 인터페이스인 오케스트레이터다.

(a) 자율 교차 도메인 전이

(b) 목표 개입 — 서브빈 좌표 정밀도 복원

(c) 메커니즘 개입 — 여러 다형체 커버

주기성 인식 좌표 이산화, 순서적 라벨 평활, 토큰화된 결정학 대칭, 신뢰도 순위 그리디 디코딩을 결합한 마스크 생성 결정 트랜스포머 MaskGXT를 제시했다. 중요하게도 MaskGXT는 비전의 마스크 생성 모델링을 재료과학으로 전이하고 희소·표적 인간 조향으로 정제하는 AI 공동연구자 루프로 개발됐다. 이 과정이 대칭 토큰, 공간군 계층 샘플링, 서브빈 좌표 정제 같은 핵심 도메인 적응을 만들어 구조 정확도와 다형체 커버리지를 함께 개선한다.

향후 방향

• 인간 주의 병목. 한 번의 탐색이 다수 가설·코드 변형·로그·플롯·실패 시도를 만든다. 직접 노출 대신 AI 공동연구자는 어떤 아이디어를 시도했고 왜 성공·실패했는지, 어떤 메커니즘이 미탐색인지, 어떤 결정이 인간 판단을 요하는지의 압축된 연구 상태를 유지해야 한다.
• 원리적 프록시 평가. 단기 예산 실행만으로 후보를 고르는 대신, 모델 크기·학습 시간·데이터 크기·샘플링 예산에 대한 스케일링 법칙 분석 등으로 순위가 더 큰 예산에 외삽되는 검증 신호를 개발해야 한다.
• 지표 최적화 너머. 과학 알고리즘 발견은 실패 모드 매핑, 생성 샘플 검사, 메커니즘 가설 검증, 절제 설계, 신뢰할 경험 신호 판단 같은 탐색적·분석적 실험을 요한다. 이를 갖추면 에이전트가 자동 구현 탐색에서 화학·생물·재료과학을 가로지르는 아이디어 전이의 더 완전한 연구 워크플로로 이동한다.

주요 알고리즘

• Algorithm 1 (학습). 결정 샘플링 → 원점 이동 r 후 Wyckoff 재라벨 → 대칭 궤도 정준 정렬 + 궤도 순열 증강 → L·F를 K빈 양자화 → t~U(0,1)로 토큰 마스킹 → 마스크 위치 로짓 예측 → 소프트 타깃 대비 마스크 교차엔트로피 → AdamW 갱신.
• Algorithm 2 (샘플링). 모든 토큰을 마스크로 초기화(공간군 g† 주어지면 고정) → T 단계 반복: 병렬 사후확률 예측, 그리디(argmax) 토큰 선택, 최고 신뢰도 위치 고정·나머지 재마스크 → 서브빈 오프셋으로 격자·좌표 역양자화.
• Algorithm 3 (다형체 인식 샘플링). 완전 마스크 시퀀스 한 번 순전파로 공간군 사후확률 읽기 → 상위 S개 공간군 선택 → 각 g에 대해 공간군을 고정하고 Algorithm 2로 디코딩.