기존 질문
행동 파운데이션 모델이 인간 반응을 얼마나 정확히 모사하는가?
Editorial Abstract
이 논문이 던지는 질문은 단순하다. 사람을 대신하는 행동 파운데이션 모델에서 과학 이론을 발견해도 되는가? 놀라운 대목은 Centaur가 인간을 완벽하게 복제하지 않아도, AUTOCOG가 그 위에서 발견한 이론이 실제 인간 데이터에 일반화되었다는 결과다.
연구진은 LLM 에이전트가 실험을 설계하고, Centaur가 합성 참가자로 응답하며, 두 경쟁 이론을 판정하고, 약한 이론을 다시 합성하는 폐루프를 25회 돌렸다. 그 결과 등장한 RCSL과 CRAN은 열 개의 held-out 인간 실험에서 고전적 휴리스틱인 Take-The-Best와 Tallying을 크게 앞섰다. 다만 이 결과는 “합성 참가자가 인간을 대체한다”는 선언이 아니다. 오히려 논문의 핵심은 더 섬세하다. 이론 탐색은 정밀한 인간 행동 추정보다 시뮬레이터에 요구하는 충실도가 낮을 수 있다. 시뮬레이터는 경쟁 이론을 가르는 규칙성을 보존하면 되고, 최종 판정은 인간 데이터가 맡을 수 있다.
이 연구의 가장 중요한 메시지는 “가상의 인간이 진짜 인간을 대체했다”가 아니라, “불완전한 시뮬레이터도 이론 공간을 넓히는 탐색 엔진이 될 수 있다”는 데 있다.
Evidence Boundary
이 글은 2026년 9월 7일 공개된 arXiv v1 preprint를 해설한다. 결과는 한 종류의 다속성 의사결정 과제에서 얻어졌으며, 다른 심리 과제나 더 먼 분포 밖 조건으로의 일반화를 직접 입증하지는 않는다.
Part I · The Question
심리학의 병목을 시뮬레이션으로 옮길 수 있는가
자동 과학자가 커질수록 참가자 모집 비용과 실험 시간이 병목이 된다. 행동 파운데이션 모델은 이 병목을 줄이지만, 새로운 문제가 생긴다. 우리가 발견한 것은 인간의 이론인가, 시뮬레이터의 이론인가.
§1 · Motivation
자동화된 과학 발견과 ‘합성 참가자’의 만남
자율 시스템은 이미 여러 과학 분야에서 가설 제안, 실험 설계, 코드 생성, 분석을 자동화하고 있다. 인지과학에서도 LLM 에이전트가 이론을 제안하고, 서로 다른 이론을 가르는 실험을 설계하며, 사람에게서 행동 데이터를 모은 뒤 이론을 수정하는 폐루프가 등장했다. 문제는 이 과정이 확장될수록 참가자 시간과 모집 예산이 가장 느린 자원이 된다는 점이다.
Centaur는 이 병목에 대한 하나의 해답이다. 이 모델은 160개 실험의 trial-level 데이터로 미세조정되어 인간 반응을 예측하는 행동 파운데이션 모델이다. 논문은 여기서 한 발 더 나간다. 사람을 단순히 예비 테스트에 쓰는 대신, 초기 이론 탐색 전체를 시뮬레이터 위에서 돌리고 인간은 마지막 일반화 판정에 집중할 수 있는지 직접 시험한다.
이 논문의 질문
행동 파운데이션 모델 위에서 발견한 이론이 인간 데이터에도 통하는가?
§2 · The Core Tension
시뮬레이터를 잘 맞추는 것과 인간을 설명하는 것은 다르다
행동 모델은 인간과 어긋나는 지점을 갖는다. 따라서 시뮬레이터에서 오차가 작은 이론이 실제로는 시뮬레이터의 편향만 정교하게 기술할 수도 있다. 이 위험은 강화학습에서 “시뮬레이터를 푸는 것”과 “시뮬레이터를 현실의 proxy로 쓰는 것”을 구분해야 한다는 논점과 맞닿아 있다.
저자들이 만든 가장 강한 검증 장치는 단순하다. Centaur에서 발견한 이론을, discovery loop에 쓰지 않은 열 개의 인간 실험에 그대로 가져가 평가한다. 이 설계 덕분에 이론 발견과 인간 일반화 검증이 분리된다.
Part II · Closed Loop
AUTOCOG × Centaur: 사람이 빠진 25회의 발견 루프
AUTOCOG는 두 이론 사이의 차이를 최대화하는 실험을 설계하고, Centaur의 반응으로 승자를 가른 뒤, 약한 이론을 프로그램 합성으로 다시 만든다.
§3 · Architecture
네 단계가 반복될 때 이론 공간이 열린다
- 01Experimental Design각 incumbent theory를 경쟁 이론과 가장 잘 구분하는 실험을 LLM 에이전트가 하나씩 설계한다.
- 02Behavioral Data Collection실제 참가자 대신 Centaur가 각 실험에 trial-by-trial로 응답한다.
- 03Analysis & Arbitration두 이론이 모두 반응을 시뮬레이션하고, Centaur 응답과의 divergence를 비교해 LLM arbiter가 데이터를 더 잘 설명하는 이론을 고른다.
- 04Theory Revision약한 이론은 program synthesis로 재도출되거나 새로운 메커니즘으로 교체된다. 후보군은 고정된 목록이 아니라 열린 이론 공간이다.
논문은 두 개의 seed theory에서 시작해 단일 loop를 25 cycle 수행했다. 중요한 점은 revision 단계다. 단순히 파라미터를 튜닝하는 것이 아니라 모델의 계산 메커니즘 자체를 바꿀 수 있기 때문에, 발견 과정은 정해진 후보들 중 하나를 고르는 모델 선택을 넘어선다.
§4 · Task
다속성 의사결정: 단순하지만 이론을 갈라놓기 좋은 무대
과제는 두 제품 가운데 하나를 고르는 선택 문제다. 각 제품은 최대 다섯 개의 cardinal-valued cue로 기술되고, cue validity는 0.5에서 0.9 사이에 놓인다. 이 구조는 “가장 신뢰도 높은 단서 하나를 먼저 보는가”, “모든 단서를 동등하게 세는가”, “차이의 크기와 맥락을 어떻게 반영하는가”처럼 서로 다른 인지 메커니즘을 분리하기 좋다.
Figure 1 in the paper
원 논문의 2쪽 Figure 1은 A) AUTOCOG loop, B) 제품 선택 과제, C) Centaur에서 cycle이 진행될수록 이론 오차가 낮아지는 과정, D) 열 개 인간 held-out 실험에서의 최종 비교, E) 가장 잘 일반화된 RCSL의 개념을 한 장에 묶는다. 이 글의 상단 SVG는 해당 결과 그래프를 복제하지 않고, 시뮬레이션 발견 → 인간 검증이라는 논리만 새로 그린 개념도다.
Part III · Theories
두 고전 이론에서 출발해 두 혼합 메커니즘을 발견하다
AUTOCOG가 만든 이론은 완전히 낯선 수학을 발명한 것이 아니라, 문헌의 익숙한 구성요소를 새로운 방식으로 결합했다. 이 점이 오히려 과학적 해석 가능성을 높인다.
§5 · Seeds
출발점: Take-The-Best와 Tallying
Take-The-Best · TTB
cue를 validity가 높은 순서로 검사한다. 처음으로 두 옵션을 구분하는 cue가 나오면 즉시 멈추고 그 cue 하나만으로 선택한다. 차이의 크기와 그 아래 cue는 버린다. 어느 cue도 구분하지 못하면 추측한다.
Tallying
모든 feature에서 어느 옵션이 더 큰지 승리 횟수만 센다. cardinal magnitude와 validity는 버리고, 각 cue를 동등하게 취급한다. 승리 수가 같으면 추측한다.
두 seed 모두 softmax 기반 response noise와 lapse를 갖는다. TTB는 inverse temperature β, lapse ε, cue validities를 사용하고, Tallying은 β와 ε를 사용한다.
§6 · Surfaced Theories
발견 1: CRAN — 차이의 절대값을 맥락 속 상대적 우위로 다시 본다
Contextual Relative Advantage Normalization (CRAN)은 두 옵션의 feature difference를 현재 stimulus context에 존재하는 최대 절대 차이로 정규화한다. 다른 cue에 매우 큰 우위가 하나 존재할 때 작은 차이는 비선형 contrast effect로 약해지지만, 극단적 차이가 없으면 여러 작은 우위를 계속 보존한다.
핵심은 고정 threshold를 쓰지 않는다는 데 있다. context의 최대 차이가 기준을 제공하고, validity weight는 equal weighting 쪽으로 shrinkage될 수 있으며, 비선형 변환을 통해 lexicographic weighting 쪽으로 이동할 수 있다.
| Parameter | Range | Role |
|---|---|---|
| gamma | [0.0, 1.0] | validity weighting과 equal weighting 사이의 shrinkage |
| tau | [0.1, 10.0] | validity weight의 비선형 변환 |
| alpha | [0.1, 5.0] | 상대 차이에 대한 contrast 강도 |
| rho | [0.0, 3.0] | 절대 magnitude 민감도 보존 |
| beta | [0.1, 30.0] | softmax inverse temperature |
| epsilon | [0.0, 0.5] | lapse rate |
| validities | experiment-provided | cue validity vector |
§7 · Surfaced Theories
발견 2: RCSL — 한 단서에 멈추되, 멈춤 자체를 확률화한다
Relative Contextual Salience Lexicographic (RCSL)은 Take-The-Best의 validity-ordered search와 compensatory integration을 결합한다. cue를 validity 순으로 보되 “첫 구분 cue에서 무조건 멈춘다”가 아니라, 현재 cue가 두 옵션을 얼마나 강하게 가르는지에 따라 확률적으로 search를 종료한다.
각 가능한 stopping point의 기여를 기대값으로 누적하고, 어느 cue에서도 멈추지 않았을 때 남은 확률 질량은 모든 cue의 validity-weighted compensatory evidence로 처리한다. 최종 score는 softmax를 통해 choice probability가 된다.
| Parameter | Range | Role |
|---|---|---|
| alpha | [0.1, 10.0] | 상대 차이가 stopping hazard에 미치는 비선형성 |
| theta | [0.0, 5.0] | soft stopping의 scale |
| beta | [0.1, 20.0] | softmax inverse temperature |
| gamma | [0.0, 1.0] | validity weighting의 shrinkage |
| epsilon | [0.0, 0.5] | lapse rate |
| lambda_stop | [0.0, 1.0] | stopping probability의 전체 scale |
| validities | experiment-provided | cue validity vector |
RCSL은 “lexicographic인가 compensatory인가”라는 이분법을 깨고, 상황에 따라 둘 사이를 확률적으로 오가는 메커니즘을 제안한다.
Part IV · Evidence
시뮬레이터에서 좋아진 이론이 인간 데이터에서도 살아남았다
핵심 증거는 Centaur 내부 점수가 아니라, discovery에 쓰지 않은 열 개의 인간 실험에서 나온다.
§8 · Held-Out Human Generalization
RCSL과 CRAN은 canonical seeds를 크게 앞섰다
| Theory | Discovery source | MSE of p̂(B) on 10 held-out human experiments | Interpretation |
|---|---|---|---|
| Diminishing Returns WADD | Human-loop AUTOCOG | 0.018 ± 0.005 | 인간 실험으로 직접 발견된 상위 기준 |
| Satisficing WADD | Human-loop AUTOCOG | 0.018 ± 0.003 | 인간 실험으로 직접 발견된 상위 기준 |
| RCSL | Centaur-loop AUTOCOG | 0.021 ± 0.002 | Centaur에서 발견됐지만 인간에서 human-loop 이론에 근접 |
| CRAN | Centaur-loop AUTOCOG | 0.034 ± 0.004 | 두 seed보다 뚜렷하게 낮은 오류 |
| Take-The-Best | Seed / canonical | 0.110 ± 0.010 | 고전적 one-reason heuristic |
| Tallying | Seed / canonical | 0.161 ± 0.013 | 고전적 equal-cue heuristic |
논문 보고값. 오차막대는 열 개 인간 실험에 대한 SEM이다. human-loop 이론은 바로 이 열 개 실험에서 도출되었으므로, Centaur-loop 이론과 완전히 대칭적인 discovery 조건은 아니다.
§9 · What the Result Means
숫자의 중요한 부분은 ‘0.021’ 자체보다 평가 경계에 있다
RCSL의 인간 MSE가 0.021이라는 사실만 보면 단순한 성능 비교처럼 보인다. 그러나 연구 설계에서 더 중요한 것은 RCSL과 CRAN이 Centaur의 합성 행동만 보며 진화했음에도, 실제 인간의 held-out 실험에서 canonical theories보다 낮은 오류를 냈다는 점이다.
동시에 과장해서는 안 된다. human-loop 이론 두 개의 0.018은 같은 인간 실험에서 발견된 모델이므로 자연스럽게 강한 기준이다. 또한 이 논문은 한 과제군에서 두 발견 이론이 일반화된 사례를 보여준 것이지, 모든 simulator-discovered theory의 일반화를 보장한 것이 아니다.
Observed
25 cycle 동안 successive theory가 seed를 대체하며 Centaur prediction error가 감소했다.
Generalized
RCSL·CRAN이 열 개 인간 held-out experiment에서 TTB·Tallying을 앞섰다.
Not Established
임의의 심리 과제, 멀리 떨어진 OOD 조건, 모든 behavioral foundation model에 대한 일반 법칙은 아직 아니다.
Part V · Why It Can Work
정밀한 모사가 아니라 ‘이론을 가르는 규칙성’이 필요하다
논문의 가장 흥미로운 주장이다. 이론 발견에서 시뮬레이터는 인간의 모든 행동을 정확히 맞출 필요가 없을 수 있다.
§10 · Discovery vs. Estimation
이론 선택은 전역적 복제보다 국소적 구분을 요구한다
일반적인 estimation에서는 시뮬레이터의 절대 오차가 중요하다. 반면 AUTOCOG에서 simulated behavior는 주로 두 종류의 비교에 들어간다. 첫째, arbitration에서 경쟁 중인 두 이론 가운데 어느 쪽이 더 낫나를 가른다. 둘째, revision에서 약한 이론이 데이터와 어디서 어긋나는가를 알려준다.
따라서 discovery loop가 요구하는 것은 인간 행동 전체에 대한 완벽한 복제가 아니라, 현재 경쟁 이론들이 다르게 예측하는 차원을 시뮬레이터가 충분히 보존하는 것일 수 있다. 이는 multi-fidelity 방법론의 직관과 닿는다. 저렴하고 불완전한 모델을 넓은 탐색에 쓰고, 비싼 고충실도 데이터는 최종 판정에 집중한다.
\[\text{Useful discovery proxy} \;\not\equiv\; \text{globally perfect human simulator}\]
위 식은 논문의 주장을 설명하기 위한 개념적 요약이며, 저자들이 제시한 정리나 수학적 보장은 아니다.
§11 · Near-Distribution Conditions
이번에는 왜 Centaur의 불완전성이 치명적이지 않았나
Appendix는 실험이 Centaur의 학습 분포와 어떤 관계에 있었는지 구체적으로 설명한다. Centaur의 학습 corpus에는 binary-valued cue를 쓰는 multi-attribute decision task가 있었지만, 이 논문이 사용한 cardinal-valued variant는 없었다. 즉 실험은 학습 분포 안은 아니지만 비교적 가까이에 있었다.
- 직접적인 과제 확장: 기존 binary-feature paradigm의 자연스러운 연장이다.
- 정답 피드백 없음: 선택 후 feedback이나 correct answer가 공개되지 않아 accuracy shortcut을 이용하기 어렵다.
- trial 독립성: 각 trial이 독립이므로 Centaur가 사람과 어긋나는 것으로 보고된 sequential dependency 문제가 나타나지 않는다.
저자들은 이 세 조건이 simulated behavior가 discovery에 유용하게 남은 이유로 추정한다. 다만 candidate theories의 예측이 서로 비슷해지거나 실험이 training distribution에서 더 멀어질수록 simulator fidelity가 더 중요해질 것이라고 예상한다.
Part VI · Limits
가장 위험한 실패는 ‘좋은 시뮬레이터 이론’을 과학적 진실로 착각하는 것이다
AUTOCOG의 arbitration은 경쟁 이론을 가를 수 있지만, 시뮬레이터의 체계적 오류를 스스로 판정할 수 있는 장치는 아니다.
§12 · Failure Modes
Centaur의 오류가 successor theory 안으로 들어갈 수 있다
논문은 중요한 실패 경로를 명시한다. Centaur의 오류가 theory revision을 유도하면, successor theory는 인간이 아니라 Centaur의 고유한 편향을 설명하는 방향으로 진화할 수 있다. AUTOCOG 내부의 arbitration은 둘 중 어떤 이론이 Centaur를 더 잘 설명하는지만 보기 때문에 이 문제를 감지하지 못한다.
Simulator Capture
theory가 human regularity가 아니라 simulator-specific artifact를 포착할 수 있다.
OOD Drift
자동 실험 설계가 계속 바깥으로 이동하면 behavioral foundation model의 신뢰도가 급격히 낮아질 수 있다.
Theory Convergence
경쟁 이론의 prediction이 매우 비슷해질수록 작은 simulator bias가 arbitration을 뒤집을 수 있다.
Task-Specific Success
이번 성공은 독립 trial, feedback 없음, near-distribution이라는 비교적 우호적인 조건에서 나왔다.
§13 · Epistemic Boundary
“합성 참가자가 사람을 대체한다”는 결론은 이 논문보다 훨씬 강하다
이 연구는 simulator-only discovery가 가능할 수 있다는 존재 증거를 제시한다. 하지만 참가자 recruitment 전체를 foundation model로 대체해야 한다고 주장하지 않는다. 오히려 결론은 hybrid workflow에 가깝다. 시뮬레이터는 이론 공간을 넓히고, 인간 데이터는 surfaced theory가 실제 사람에게도 통하는지 판정한다.
인간 데이터의 역할이 사라진 것이 아니다. 이 연구에서 인간 데이터는 더 적게 쓰이지만, 더 결정적인 위치로 이동한다.
Part VII · Hybrid Science
In silico 탐색, 인간 판정: 다음 세대 AI Scientist의 작업 분할
논문이 제안하는 현실적인 미래는 완전 자동화가 아니라 충실도에 따라 실험 자원을 배분하는 하이브리드 과학이다.
§14 · Handoff Rule
언제 시뮬레이터를 멈추고 사람에게 돌아가야 하는가
저자들은 초기 cycle을 simulated data로 돌리다가 두 조건 가운데 하나가 깨지면 human participant로 전환하는 전략을 제안한다.
Condition A · Theory Separation
후보 이론들이 여전히 서로 명확하게 다른 prediction을 낼 때는 simulator가 discrimination에 유용하다. 예측이 수렴하면 human data가 필요해진다.
Condition B · Distribution Proximity
설계된 실험이 simulator training distribution 가까이에 있을 때는 합성 응답을 쓸 수 있다. 실험이 멀어지면 사람으로 handoff한다.
이 규칙은 비용 절감보다 더 중요한 연구 설계 원리를 제시한다. 데이터의 가격이 아니라 ‘이 데이터가 지금 맡아야 하는 epistemic role’을 기준으로 fidelity를 선택하는 것이다.
§15 · Broader Significance
AI Co-Scientist에서 ‘합성 세계’는 탐색 공간이 될 수 있다
이 논문의 직접 범위는 cognitive science지만, 구조적 함의는 더 넓다. 과학 자동화 시스템은 항상 가장 비싼 현실 실험을 처음부터 반복할 필요가 없다. 충분히 유용한 surrogate가 경쟁 가설의 차이를 보존한다면, 저충실도 환경에서 넓게 탐색하고 실제 세계의 관측은 반증과 최종 판정에 집중할 수 있다.
다만 이 확장은 이 논문의 실증 결과가 아니라 해석이다. 다른 분야에서는 surrogate의 오류 구조, 현실 실험의 비가역성, 안전성, 분포 이동의 형태가 전혀 다를 수 있다. 따라서 in silico discovery의 일반 원리로 확장하려면 “어떤 fidelity가 어떤 과학적 판정에 충분한가”를 분야별로 검증해야 한다.
다음 연구 질문은 “시뮬레이터가 인간을 얼마나 닮았는가?”만이 아니다. “어떤 이론 경쟁에서는 어느 정도의 닮음이면 충분한가?”가 더 직접적인 질문이 된다.
Technical Appendix · Reproducibility Notes
논문 Appendix의 실행 조건과 이론 표현
블로그 본문에서 생략하기 쉬운 실행 조건까지 보존한다. 이 숫자들은 결과 해석과 재현 가능성에 직접 연결된다.
A1 · Run Details
에이전트, Centaur, 계산 자원
| Component | Configuration reported in the paper |
|---|---|
| LLM agents | gemini-3.1-pro-preview via google-genai SDK |
| Agent sampling | temperature 0.7; maximum output 32,768 tokens; reasoning budget 8,096 tokens |
| Behavioral simulator | Llama-3.1-Centaur-70B adapter on a 4-bit Llama-3.1-70B base |
| Synthetic participants | 25 per designed experiment |
| Trials | about 96 per synthetic participant; each unique option pair repeated max(1, floor(96 / n_pairs)) times |
| Choice sampling | single next token at temperature 1.0; prompt follows Centaur training-data text format |
| Theory evaluation | 50 Centaur experiments + 10 held-out human experiments; 200 simulated participants with parameters drawn once; random seed 0 |
| Hardware | single NVIDIA H200 GPU, 141 GB, academic cluster |
| Runtime | roughly 24 GPU-hours; estimated, not logged |
A2 · Theory Representation
각 이론은 설명문이 아니라 실행 가능한 프로그램이다
AUTOCOG의 모든 theory는 자연어 메커니즘 설명과 fixed interface를 만족하는 executable model을 쌍으로 가진다. interface에는 자유 파라미터와 허용 범위를 선언하는 Parameters block, 선택 확률을 반환하는 predict(parameters, stimulus, history) 함수, probability를 실제 response로 변환하는 policy 함수가 포함된다.
모든 이론은 inverse temperature beta와 lapse rate epsilon을 갖는 softmax choice rule을 공유한다. 프레임워크의 interface는 사람이 정하지만, AUTOCOG가 theory의 verbal description, predict body, parameter specification을 생성한다. 각 synthetic participant는 자신의 parameter를 선언 범위에서 한 번 뽑고 유지한다. 따라서 비교는 maximum-likelihood fitting이 아니라 generative evaluation으로 이뤄진다.
A3 · Executable Logic
네 이론의 핵심 계산 규칙
Take-The-Best — 실행 규칙
1. Sort cues by validity in descending order.
2. Compare option A and B on each cue in that order.
3. Stop at the first strict difference.
4. The option that wins on that cue receives score 1; the other receives 0.
5. If no cue discriminates, return a uniform choice.
6. Convert scores with softmax(beta), then mix with uniform choice by lapse epsilon.Tallying — 실행 규칙
1. Count the number of cues where A > B and where B > A.
2. Cue magnitudes and cue validities do not affect the tally.
3. Feature-wise ties contribute to neither option.
4. Apply softmax(beta) to the two tallies.
5. Mix with uniform choice by lapse epsilon.CRAN — 실행 규칙
1. Normalize cue validities; shrink them toward equal weights with gamma.
2. Raise weights to tau and renormalize.
3. Find the largest absolute feature difference in the current stimulus context.
4. Normalize each pairwise feature difference by that global maximum.
5. Apply a nonlinear salience transform: relative_difference ** alpha.
6. Preserve absolute-magnitude sensitivity with global_max_difference ** rho.
7. Sum signed, weighted evidence across cues and option pairs.
8. Apply softmax(beta), then add lapse epsilon.RCSL — 실행 규칙
1. Normalize cue validities and shrink toward equal weighting with gamma.
2. Sort cues by validity in descending order.
3. For each option pair, compute each cue's absolute difference relative to the pair's maximum.
4. At cue k, compute a soft stopping hazard scaled by lambda_stop and shaped by alpha and theta.
5. Accumulate expected signed evidence across every possible stopping point.
6. If search has not stopped, use validity-weighted compensatory evidence as fallback.
7. Sum evidence into option scores.
8. Apply softmax(beta), then add lapse epsilon.A4 · Parameter Ranges
Seed와 discovered theory의 파라미터 범위
| Theory | Parameter ranges |
|---|---|
| TTB | beta [0.1, 20.0]; epsilon [0.0, 0.5]; validities supplied by experiment |
| Tallying | beta [0.1, 20.0]; epsilon [0.0, 0.5] |
| CRAN | gamma [0.0, 1.0]; tau [0.1, 10.0]; alpha [0.1, 5.0]; rho [0.0, 3.0]; beta [0.1, 30.0]; epsilon [0.0, 0.5]; validities supplied by experiment |
| RCSL | alpha [0.1, 10.0]; theta [0.0, 5.0]; beta [0.1, 20.0]; gamma [0.0, 1.0]; epsilon [0.0, 0.5]; lambda_stop [0.0, 1.0]; validities supplied by experiment |
A5 · Takeaways
논문을 다 읽고 남겨야 할 다섯 문장
- Behavioral foundation model은 인간을 완벽하게 복제하지 않아도 이론 탐색에 유용할 수 있다.
- AUTOCOG는 실험 설계 → 합성 행동 수집 → 이론 판정 → 프로그램 합성 기반 수정의 폐루프를 25회 실행했다.
- Centaur에서 발견된 RCSL과 CRAN은 열 개의 held-out 인간 실험에서 TTB와 Tallying보다 낮은 MSE를 기록했다.
- 성공의 핵심 가설은 discovery가 estimation보다 simulator에 요구하는 fidelity가 낮을 수 있다는 것이다.
- 가장 안전한 확장 전략은 simulator-only science가 아니라 in silico search + human adjudication의 하이브리드 구조다.
References
논문이 인용한 연구
아래 목록은 원 논문의 References를 빠짐없이 옮겨 웹 읽기에 맞게 정리한 것이다.
The rise of self-driving labs in chemical and materials sciences
Scaling up psychology via scientific regret minimization
A foundation model to predict and capture human cognition
A foundation model for the Earth system
Generalized outcome-based strategy classification: Comparing deterministic and probabilistic choice models
Can we automatize scientific discovery in the cognitive sciences?
Closing the loop to discover psychological theories with an automated cognitive scientist
Evolutionary-scale prediction of atomic-level protein structure with a language model
Can Centaur truly simulate human cognition? The fundamental limitation of instruction understanding
Not yet AlphaFold for the mind: Evaluating Centaur as a synthetic participant
AlphaEvolve: A coding agent for scientific and algorithmic discovery
Survey of multifidelity methods in uncertainty propagation, inference, and optimization
auto-psych: Automating the science of mind using agent-driven theory discovery and experimentation
Generating Computational Cognitive models using Large Language Models
Position: RL researchers need to distinguish between solving simulators and using simulators as a proxy
Centaur may have learned a shortcut that explains away psychological tasks
Sparks of In Silico Cognitive Science: Theories from Simulated Data Can Generalize to Humans