MENTAL WORLD MODELING 세계의 다음 상태는
물리에도 있고, 마음에도 있다

같은 장면을 보고도 다른 행동을 예측한다 —
차이는 마음을 아느냐에 있다

답사의 오랜 격언에 "아는 만큼 보인다"는 말이 있다. 월드 모델에도 꼭 같은 이치가 통한다. 모델은 마음을 아는 만큼 행동을 본다. 이 논문의 출발점은 소박하다 못해 일상적인 장면 하나다. 여인이 잠시 한눈을 파는 사이 머그잔이 찬장으로 옮겨진다. 사물만 추적하는 월드 모델은 "잔이 찬장에 있으니 그녀는 찬장으로 갈 것"이라 예측한다. 그러나 그녀는 잔이 옮겨진 것을 보지 못했다. 실제로 그녀가 향하는 곳은 잔이 있던 자리다. 장면은 옳게 보았으되 행동은 틀리게 예측한 것이니, 모델이 놓친 것은 물리가 아니라 그녀의 믿음이다.

크레이크가 1943년에 내다본 '머릿속의 작은 세계'는 오늘날 AI 연구의 한복판으로 되돌아왔다. LLM은 프로그램을 쓰고 도구를 부리며 에이전트의 인지 핵심이 되었지만, 그것만으로는 진화하는 세계 속에서 예측하고 개입하는 행위자가 되지 못한다. 그래서 월드 모델이 필요하다. 다만 이 논문이 묻는 것은 월드 모델의 대상이다. 인간의 행동은 외부 환경과 내면의 정신적·사회적 배치가 맞물려 빚어진다. 사람이 무엇을 알고, 믿고, 주목하고, 원하고, 의도하고, 느끼고, 무엇을 사회적으로 허용된다고 여기는지 — 이 숨은 변수들을 추적하지 않는 월드 모델은, 겉보기에 옳은 장면에서 틀린 행동을 예측한다.

저자들은 이를 Mental World Modeling(MWM)이라는 일반 이론 틀로 정식화하고, 훈련 없이 완전히 들여다볼 수 있는 베이스라인 MENTIS로 구현하며, 과정 전체가 금라벨로 주석된 검증 데이터 Menti-Bench에서 8개 현대 LLM 월드 모델로 검증한다. 결론은 명료하다. 정신 상태의 명시적 모델링은 인간 행동 예측에 필수적이며, 현재 시스템의 병목은 결합된 세계가 어떻게 변하는지를 예측하는 전이 시뮬레이션에 있다는 것이다.

세 갈래의 월드 모델, 그리고 공통으로 빠진 변수

'월드 모델'이라는 말은 아직 하나의 정의로 통일되지 않았으나, 예측 대상에 따라 대체로 세 갈래로 나뉜다. 세 갈래 모두 공간적·물리적 지능을 향해 실질적인 진보를 이루었으되, 모델링의 기본 대상은 한결같이 세계의 물리적 기층 — 사물, 위치, 기하, 운동, 접촉, 가림, 어포던스 — 이다. 그 세계 속의 행위자는 그저 움직이는 사물의 한 종류로 남겨진다.

한편 인지과학 쪽에는 오래된 반대편 전통이 있다. 정신 모델 이론, 마음 이론(Theory of Mind), BDI 행위자 모형, 체화 인지가 그것이다. AI에서는 ToMi, SocialIQA, FANToM, ToMBench 같은 벤치마크가 언어 모델의 사회적 추론을 시험해 왔다. 그러나 이 전통의 단위는 대개 정신 상태의 추론이나 정적 문답이지, 정신 변수가 물리 사건과 함께 진화하는 상태 변수라는 관점이 아니다. POMDP는 잠재 상태·부분 관측·행동·전이를 하나로 묶는 형식적 골격을 제공하지만, 그 잠재 상태는 통상 물리 제어를 위해 최적화되어 왔다. MWM은 바로 이 골격을 물려받되, 잠재 상태 안에 정신·사회 변수를 일급 시민으로 들여놓는다.

결합 상태 하나와 세 개의 함수 —
MWM의 형식적 뼈대

MWM은 의식의 이론이 아니다. 사적 의식 경험을 재현하겠다는 주장이 아니라, 사회적 행동과 그 귀결을 예측하는 데 필요한 변수를 유지하는 외부의, 근사적인, 과제 관련적인 시뮬레이터를 만들자는 모델링 제안이다. 그 뼈대는 네 가지 이론적 다짐으로 요약된다. 세계 상태는 물리·정신 변수를 함께 담아야 하고, 대상 에이전트는 전체 상태가 아닌 1인칭 부분 관측을 받아야 하며, 행동은 물리적 운반체와 정신·사회적 의미를 함께 지녀야 하고, 다음 상태로의 전이는 물리와 정신이 결합된 채 일어나야 한다.

왜 결합 상태여야 하는가 — Property 3.1

논증은 간명하다. 참된 행동 분포 p*(a|s)가 정신 성분에 의존한다면 — 같은 물리 배치에서 믿음이 다를 때 행동 분포가 달라진다면 — 물리 상태만 보는 예측기는 두 상태를 구별할 수 없으므로 원리상 충분할 수 없다. 거꾸로 정신 상태만 보는 예측기는 물리적 접근성이 다른 두 장면을 구별하지 못한다. 거짓 믿음 과제는 전자의, 가시성·어포던스 과제는 후자의 일상적 사례다. 사회적 장면은 두 조건을 동시에 일상적으로 만족시키니, 결합 상태는 취향이 아니라 필연이다.

관측은 이미 해석이다

대상 관측 o^ϵ_t은 전역 상태의 복사본이 아니라 1인칭 렌더링이다. 물리 관측은 대상의 지각 접근(위치, 시선, 청취 범위)에 따라 걸러지고, 정신 관측은 자기 성찰과 타인에 대한 마음 이론 추론 — 1차("밥은 선물의 위치를 모른다"), 2차("밥은 내가 안다고 생각한다") — 으로 이루어진다. 같은 물리 신호가 관측자마다 다른 정신 관측을 낳는다. 잭이 우는 모습을 보고 앨리스는 실망을, 밥은 안도를 읽는다. 해석은 믿음과 목표와 관계와 맥락이 매개하기 때문이다. 기브슨의 말대로 어포던스는 "환경과 관찰자 양쪽을 가리키는" 것이니, 관측이란 애초에 해석된 무엇이다.

행동은 운반체와 의미의 겹

행동 a^ϵ_t 역시 두 겹이다. 물리적 운반체(움직임, 발화, 몸짓)와 정신적 내용(요청, 위로, 기만, 사과)이 한 행동의 두 차원을 이룬다. "지금 나가"라는 말과 농담으로 던진 같은 말은 운반체가 비슷하되 정신 행동이 다르고, '위로'라는 정신 행동은 말로도 몸짓으로도 다가섬으로도 실어 나를 수 있다. 탁자 너머로 건네지는 찻잔 하나가 사과일 수도, 기만일 수도, 순응일 수도, 배려일 수도 있으니 — 그것을 갈라 읽는 정신·사회적 상태를 쥔 쪽은 월드 모델이다.

상태의 분류 체계 — 두 채널의 세간살이

논문은 상태를 주석 가능한 분류 체계로 구체화한다. 물리 채널은 존재와 배치와 신호를, 정신 채널은 해석과 성향과 규범을 담는다. 아래는 그 세간살이의 목록이다.

MWM이 제값을 하는 자리

거의 모든 인간 대면 시스템은 느슨한 의미에서 '사회적'이다. 그러나 논문의 주장은 더 좁고 그래서 더 쓸모 있다. MWM이 값을 하는 것은 세 조건이 겹칠 때다. 부분 관측성이 전역 상태와 대상의 지각 사이에 틈을 만들고, 정신 변수가 어떤 행동이 합리적이거나 수용 가능한지를 바꾸며, 행동이 물리적 효과 너머의 사회적 의미를 실어 나를 때. 셋 중 하나라도 없다면 더 단순한 물리 모델로 족하다. 손가락을 컵에 감는 데는 MWM이 필요 없다. 그 컵을 건네는 일이 도움인지 참견인지 무례인지를 판단하는 데 MWM이 필요하다.

여섯 단계의 투명한 기계 —
답을 고르기 전에 세계를 먼저 짓는다

MENTIS는 MWM을 검증 가능하게 만드는 모듈식·훈련 없는 베이스라인이다. 설계 원칙은 하나다. 선택할 분기를 짓기 전에는 결코 답을 고르지 않는다. 직답 베이스라인이 장면과 질문과 선택지를 받아 곧장 글자 하나를 뱉는다면, MENTIS는 잠재 추론 경로 전체 — x → ŝ_t → ô^ϵ_t → {â_t,k} → {ŝ^k_t+1} → {r_k} → k̂ — 를 기계 검증 가능한 산출물로 노출한다. 예측이 틀리면 실패의 소재를 물을 수 있다. 상태 파싱이 틀렸는가, 관측이 전역 정보를 누설했는가, 행동 분해가 어긋났는가, 전이가 그럴듯하지 않은가, 평가자가 잘못 매겼는가. 단일 프롬프트는 이런 해부를 허락하지 않는다.

대상 모듈이 '유사 에이전트(pseudo-agent)'라 불리는 데는 이유가 있다. 벤치마크 설정에서 그것은 행동을 자유로이 지어내지 않고 주어진 선택지를 분기로 바꾼다. 통제된 행동 공간에서의 비교를 위한 방법론적 선택이며, 자유 제안 방식은 개방 세계 계획을 위한 자연스러운 확장으로 남겨 둔다. 행동 생성의 품질과 세계 전이의 품질을 뒤섞는 것 — 그것이야말로 흔한 평가의 오류이기 때문이다.

답만이 아니라 과정까지 채점하는 시험지

결과만 채점하는 기존 사회 추론 벤치마크로는 MWM을 시험할 수 없다. 표면 단서로 정답을 맞히면서도 이 틀이 필수라 주장하는 변수들을 전혀 구성하지 않을 수 있기 때문이다. 그래서 저자들은 과정 완비(process-complete) 검증 데이터를 손수 짓는다. 각 기록은 결정의 순간에서 잘린 상황 이야기, 지정된 대상 에이전트, 의도적으로 최소화된 질문, 자연어 선택지 여섯이며, 금 주석은 결합 현재 상태, 대상 관측, 선택지별 후속 상태, 최종 행동까지 MWM의 전 과정을 덮는다.

구성의 우선순위는 크기가 아니라 지름길 통제였다. 정답 글자는 여섯 위치에 거의 균등하게 분포하고, 정답과 오답 선택지 길이는 맞추어졌으며(평균 28.4 대 26.6 단어), 텍스트 기록은 적대적 선택지 균형화와 선택지만 보고 푸는 블라인드 탐침을 통과했고, 미디어 기록은 건별 인간 품질 검사를 거쳤다 — 생성된 비디오 50편 중 28편만 살아남았다. 장면은 네 범주 (대인 47.5% · 사물/자원 28.1% · 공간/지각 12.9% · 위험/규범 11.4%)와 다섯 생활 영역에 걸쳐 층화된다. 두 가지 주석 규약이 평가의 하중을 진다. 전역 상태의 unspecified는 의도적 열림이라 채우든 비우든 벌점이 없으나, 대상 관측의 Unknown은 "대상이 알 수 없다"는 단언이므로 이를 채워 넣는 예측은 관점 누설로 벌점을 받는다.

평가 지표는 층층이다. 결과 층은 여섯 글자에 대한 최종 행동 F1, 구조 층은 산출물의 존재와 스키마 타당성, 의미 층은 인간 평정으로 보정된 LLM 심판이 금 주석 대비 물리·정신 충실도와 전이 합리성을 매기며, 가치 층은 분기 점수 정렬과 결정 마진과 동점률을 본다. 여기에 선택지만으로 얼마나 풀리는지 (S0 하한)와 미디어 채널 개입 실험이 타당성 감사로 상시 동반된다.

필요성의 사다리 — 다짐 하나에 한 칸씩

실험의 뼈대는 사다리다. 선택지만 보는 하한 S0에서 시작해 직답(S1), 사고 연쇄(S2), 자기일관성 SC@6(S3), 자유 서술 상태(S4), 구조화 상태(S5)를 거쳐 완전한 MWM(S6)까지, 한 칸마다 모델링 다짐 하나가 더해진다. 인접 칸의 짝지은 비교가 성능 차이를 특정 메커니즘에 귀속시키는 구조다. 8개 월드 모델(OpenAI 5종, Anthropic 3종) 전부에서 결과는 같은 방향을 가리킨다.

더 눈여겨볼 대목이 둘 있다. 첫째, 직답은 연산을 더 부어도 부족하다. 여섯 개의 추론 사슬을 표집하는 S3조차 S6에 평균 10.0점 뒤지고, 가장 약한 모델의 S6(gpt-4.1, 84.9)이 가장 강한 모델의 S3(gpt-5.6-sol, 83.6)을 넘는다. 월드 모델식 시뮬레이션은 표집으로 닿을 수 없는 이득을 준다. 둘째, 구조의 이득은 약한 모델에서 더 크다. S6−S1 이득이 gpt-5.6-sol에서 +21.1, gpt-4.1에서 +28.0이다. 명시적 구조는 더 강한 기반 모델로 대체되는 것이 아니라 모든 층위에 이롭되 약한 쪽에 가장 이롭다. 한편 선택지만 보는 하한 S0은 모델 역량과 무관하게 29.7–33.2의 좁고 평평한 띠에 머무니, 이 시험지는 선택지에서 새는 데가 없다.

남은 격차의 소재지 — 전이 시뮬레이션

최선의 구성(S6, gpt-5.6-sol 기준 90.7)과 인간(98.5) 사이에는 7.8점이 남는다. 이 격차가 어디 사는지를 캐는 것이 오라클 개입 실험이다. 예측된 중간 산출물 하나를 금 주석으로 바꿔치기하고 나머지는 예측으로 남겨 두면, 단일 오라클의 이득이 그 단계가 기여하는 오류의 크기를 잰다.

오라클 이득은 가산적이지 않다. 단일 이득의 합은 +8.7이나 넷을 함께 넣은 이득은 +6.3이다. 단계 오류가 겹치고 전파된다는 직접 증거다 — 잘못 파싱된 상태는 잘못 시뮬레이션된 결과로 다시 나타나 두 오라클에 이중으로 계상된다. 네 산출물이 모두 금일 때 파이프라인은 97.0에 이르니, 인간 격차 7.8점 중 6.3점(81%)은 중간 단계 — 주로 전이 시뮬레이션과 상태 파싱 — 의 예측 오류에, 1.5점(19%)은 가치 평가·결정 규칙·잔여 난이도에 귀속된다. 결론이자 향후 과제의 방향이다. 현재 MWM을 제약하는 것은 세계가 지금 어떤지의 표상이 아니라, 결합된 세계가 어떻게 변하는지의 시뮬레이션이다.

이득은 어디서 가장 큰가 —
숨은 마음이 결정을 쥔 자리에서

양상을 가로지르는 구조의 힘

직답은 미디어 입력에서 더 약하다 — 텍스트 70.8, 이미지 67.0, 비디오 64.8. 그러나 이 격차는 사다리를 오르며 줄어들다(6.0 → 1.8 → 0.3) S6에서 사라진다(90.5 · 91.2 · 90.9). 격차가 이미 S5, 곧 시뮬레이션 이전에 닫힌다는 점이 요체다. 이야기가 타입 있는 상태로 파싱되고 나면 하류 단계는 입력 양상에 더 이상 의존하지 않는다. 구조화된 상태는 텍스트·시각·청각 증거를 하나의 공통 형식으로 바꾸는 일종의 공용어(interlingua)인 셈이다. 채널 개입 실험이 이를 뒷받침한다. 이미지를 캡션으로 바꾸면 S6이 6.4점, 오디오를 제거하면 6.1점, 프레임 순서를 섞으면 추가 4.1점, 오디오만 남기면 18.8점을 잃는다. 손실이 구조의 양과 함께 커지니, 이 이득은 텍스트 사전지식이 아니라 시각·시간·청각 증거의 실사용 위에 서 있다.

가설로서의 마음, 그리고 남은 7.8점의 지도

사람이 무엇을 믿고 두려워하고 설득당할 수 있는지의 명시적 모델은 조력과 조작을 똑같이 떠받친다. 논문의 윤리적 입장은 그래서 분명하다. 정신 상태 추론은 측정이 아니라 가설이다. 시스템이 채워 넣는 모든 정신 변수는 행동과 맥락으로부터의 추론이므로, 불확실성과 함께 유지되고, 과제가 요구하는 범위로 한정되며, 당사자가 보고 따지고 고칠 수 있게 이의 제기 가능해야 한다. 추론된 취약성 위에 세운 표적 설득, 정서 조작, 은밀한 감시, 추론된 정신 상태를 근거로 한 징벌적 결정은 명시적으로 범위 밖이다. 흥미로운 것은, MWM을 과학적으로 쓸모 있게 만드는 바로 그 성질 — 모든 가정이 검토 가능한 곳에 적혀 있다는 가독성(legibility) — 이 가장 강한 안전장치이기도 하다는 점이다. 잘못 적용된 추론은 감사하고 반박할 수 있는 자취를 남긴다.

맺음말

이 논문이 남기는 문장은 결국 하나로 수렴한다. 세계의 다음 상태는 물리적일 뿐 아니라 정신적이다. 사람을 상대하는 AI에게 필요한 월드 모델의 잠재 변수에는 믿음, 목표, 의도, 정서, 규범, 관계, 그리고 사회적 분위기가 들어 있어야 한다. 이 변수들 없이는 지극히 단순해 보이는 인간의 행동조차 엉뚱한 이유로 예측 불가능하게 남는다 — 모델이 세계는 보되, 대상이 이해하는 대로의 세계는 보지 못하기 때문이다. 명시적 월드 모델링의 가치는 이제 측정되었고, 그 가치는 숨은 마음이 결정을 쥔 자리에서 가장 크며, 남은 7.8점으로 가는 길은 단계별로 지도에 올랐다. 그 길 끝에서 MWM이 내놓는 것은 더 높은 점수만이 아니다. 한 행위자가 왜 그렇게 행동할 것인지에 대한, 들여다볼 수 있고 충실하며 반박 가능한 설명이다. 사람에 관한 결정을 맡길 시스템이라면 조만간 반드시 내보이라 요구받을 바로 그것이다.