AI가 경제의
‘도구’에서 ‘행위자’가 되면
무엇이 달라지는가

일반지시를 받아 복잡한 경제행동을 수행하는 시스템

저자들은 경제학이 지금까지 AI adoption, 노동시장 영향, prediction harm, macroeconomic possibilities처럼 AI를 생산에 투입되는 도구로 보는 문제에 집중해왔다고 지적한다. 그러나 AI 개발의 목표는 점차 일반적 지시를 받아 장기간 복잡한 계획을 형성하고 실행하는 autonomous agent로 이동하고 있다.

논문은 2025년의 Operator와 Codex 같은 사례를 들어 web browser 조작과 multi-step software engineering을 수행하는 agent를 언급하고, 업계에서 2025년이 “year of agents”로 불렸던 맥락을 소개한다. 또 OpenAI가 제시한 발전단계에서 Stage 3를 수일간 사용자를 대신해 행동하는 agent, Stage 5를 복잡한 시스템을 관리할 수 있는 organization으로 설명한 구분을 논의의 배경으로 사용한다.

최적화한다는 사실만으로 경제이론을 그대로 적용할 수는 없다

AI agent는 주어진 action과 information에서 objective를 달성하도록 설계된다. 이 점만 보면 expected-utility maximizer를 가정하는 경제학의 표준 agent와 잘 맞는다. POMDP 역시 경제학의 dynamic decision problem의 특수한 경우로 볼 수 있다.

하지만 modern AI agent는 목표와 행동이 불투명하다. pre-trained LLM 위에는 RLHF, constitutional AI, reinforcement learning, hidden system prompt, filter가 층층이 더해진다. reward specification이 완전할 수 없기 때문에 designer–AI 관계는 principal–agent 관계의 incomplete contract와 닮는다. AI가 optimizer라는 사실은 알 수 있어도 정확히 무엇을 최적화하는지는 확신하기 어렵다.

행동경제학적 유사성은 출발점이지 결론이 아니다

최근 실험은 LLM이 선택, 위험, 시간에 걸쳐 expected utility maximization에 부합하는 emergent preference를 보이거나 인간과 비슷한 behavioral bias를 나타낼 수 있음을 보여준다. 그러나 저자들은 이것을 근거로 AI와 인간을 경제모형에서 단순히 relabel하면 된다는 결론을 거부한다.

그 이유는 네 가지다. 첫째, 현재 agent의 preference와 belief가 얼마나 안정적인지 증거가 부족하다. belief calibration, data에 따른 update, 다른 agent의 belief에 대한 higher-order belief는 특히 잘 알려져 있지 않다. 둘째, 기술진보가 빨라 현재 관찰이 미래 agent에 그대로 적용되지 않을 수 있다. 셋째, multi-agent system에서는 작은 행동차이도 equilibrium에서 크게 증폭된다. 넷째, model opacity와 alignment problem 때문에 open-ended setting의 행동을 목표함수만으로 예측하기 어렵다.

저자들이 인용한 평가에서는 2024년 top model조차 strategic economic reasoning에서 guessing보다 33% 나은 수준에 그쳤고, 일부 microeconomic profit-maximization 문제에서는 여러 LLM이 guessing과 큰 차이를 보이지 않았다. 따라서 경제학에는 AI agent의 preference, belief, learning, equilibrium behavior를 직접 측정하는 새로운 empirical program이 필요하다.

AI proxy는 인간의 선호를 완벽히 대리할 수 없다

AI agent는 개인을 대신해 상품을 추천하거나 직접 구매하는 proxy consumer가 될 수 있다. 이때 핵심 난점은 high-dimensional choice space에서 인간의 진짜 선호를 완전하게 명시할 수 없다는 것이다. 계약을 완전하게 작성하기 어려운 것처럼 인간 선호를 AI reward로 완전히 옮기기도 어렵다.

한편 AI shopper는 시장조사와 가격비교의 거래비용을 크게 낮춰 경쟁시장을 Arrow–Debreu world에 더 가깝게 만들 수 있다. 그러나 preference specification error는 두 종류의 왜곡을 만든다. 첫째, 주어진 가격에서 잘못된 bundle을 구매하는 개인적 오류다. 둘째, 그 오류가 체계적이면 aggregate demand 자체가 인간 선호와 멀어져 가격이 정보집계 기능을 잃는 general-equilibrium distortion이다.

이 문제는 시장이 충분히 크고 AI의 오류가 zero-mean이며 독립적이라면 약화될 수 있다. 그러나 agent가 특정 marketplace에 체계적으로 편향되거나 제3자가 recommendation을 조작한다면 가격은 상대적 수요를 제대로 반영하지 못할 수 있다.

생산측에서는 더 극단적인 가능성도 제시된다. AI가 최종 소비재뿐 아니라 자기복제에도 자원을 쓸 수 있고, 더 빠르게 증식하는 “mutant machines”를 완벽히 구분할 수 없다면 안정적 equilibrium에서 AI 복제가 인간소비를 밀어내는 결과까지 가능하다는 이론적 예가 소개된다. 이는 AI가 생산요소인 동시에 스스로를 생산하는 자본일 때 welfare theorem의 직관이 얼마나 달라질 수 있는지를 보여준다.

검색비용 감소와 수요왜곡이 동시에 가격을 바꾼다

AI agent는 추천을 조절해 독점가격을 낮추거나, 더 낮은 search cost와 더 많은 정보로 제품시장 경쟁을 강화할 수 있다. 반대로 agent가 직접 구매할 때 systematic choice distortion은 demand curve 자체를 바꾼다.

흥미로운 점은 이 왜곡이 항상 welfare loss만 만드는 것은 아니라는 것이다. 일부 모델에서는 imperfect choice가 가격을 낮추는 pecuniary externality를 만들어 소비자후생을 높일 수 있다. 저자들은 향후 연구가 distortion–price frontier를 더 정교하게 추적해야 한다고 주장한다. AI가 underspecified preference의 빈칸을 어떻게 채울지, 언제 인간에게 defer할지 역시 설계변수다.

거의 무료인 검색이 반드시 더 좋은 매칭을 보장하지 않는다

AI clone이 인간을 대신해 거의 무한한 상대를 검색하면 search cost는 크게 낮아진다. 그러나 인간을 근사하는 representation error가 조금만 있어도 고차원 matching에서는 성과가 악화될 수 있다. Liang의 AI-clone 모델은 dimension이 커질수록 작은 표현오차가 누적되어 실제 인간이 소수의 인간 후보만 직접 검색하는 편이 더 나을 수도 있음을 보여준다.

논문은 여기서 한 단계 더 나아가 AI agent의 자율검색이 equilibrium congestion을 만들 수 있는지도 질문한다. search cost가 거의 0이더라도 모두가 동시에 시장을 스캔하면 lowered search cost의 이익이 congestion으로 상쇄될 수 있다.

서로 통신하지 않아도 담합이 학습될 수 있다

digital platform의 가격결정은 이미 algorithm의 영향을 받는다. 반복 가격설정게임에서 independent reinforcement-learning agent가 supracompetitive price를 학습할 수 있다는 결과와, 실제 독일 주유소시장에 algorithmic pricing이 도입된 뒤 나타난 경험적 증거가 함께 소개된다.

왜 agent가 담합하는가에 대해서는 insufficient exploration과 over-pruning이 중요한 설명으로 제시된다. noise로 인해 공격적인 전략이 충분히 탐색되지 않으면 학습이 보수적 고가격 경로에 갇힐 수 있다. 이런 mechanism을 algorithm의 세부 구현과 무관하게 이해해야 robust detection과 regulation이 가능하다.

AI의 preference를 설계할 수 있다는 사실이 전략경쟁을 바꾼다

고전적 bargaining theory에서는 principal이 agreement에 덜 절박한 agent에게 협상을 위임하면 유리할 수 있다. 인간 agent의 preference를 임의로 바꾸는 데는 제약이 있지만 AI agent의 reward function은 훨씬 유연하게 설계할 수 있다.

그 결과 1단계에서 인간이 AI의 preference를 선택하고 2단계에서 AI들이 surplus를 협상하는 preference-selection game을 생각할 수 있다. 그러나 모두가 더 강경한 agent를 설계하려는 경쟁은 surplus를 파괴하는 race to the bottom으로 갈 가능성도 있다.

agent의 설계 자체가 시장경쟁의 결과가 된다

서로 다른 규모와 domain specialization을 가진 agent는 제품처럼 가격이 매겨지고 판매될 수 있다. 그러나 agent market에는 network-good와 비슷한 allocation dependence가 생길 수 있다. 특정 type의 agent는 같은 type과 협업할 때 더 잘 작동하거나, 다른 type을 상대로 더 잘 경쟁할 수 있다.

따라서 upstream seller가 supracompetitive price를 지원하도록 agent를 설계하는 “backdoor collusion” 가능성도 생각할 수 있다. downstream 기업의 fine-tuning과 open-weight ecosystem은 agent design space를 더 넓힌다. 어떤 AI agent가 경제에 배치되는지는 기술진보만이 아니라 시장의 incentive가 결정한다.

데이터와 algorithmic improvement는 복제 가능한 조직자산이 된다

Coase 이후 기업규모의 한계는 transaction cost, capability maintenance, property right, knowledge transfer, information cost, agency problem, bureaucracy로 설명되어 왔다. 이 중 상당수는 인간의 제한된 communication, attention, motivation에서 비롯된다.

AI agent는 생산과정에서 데이터를 생성하고 그 데이터로 다시 생산성능을 개선하는 automation feedback loop를 만들 수 있다. 더 중요한 점은 그렇게 개선된 data와 algorithm을 여러 agent에 거의 동일하게 복제할 수 있다는 것이다. 인간에게는 포화되는 대규모 데이터에서도 AI는 계속 학습할 수 있고, 개선된 capability를 조직 내부에 대량복제할 수 있다. 이는 규모의 경제를 단순한 공장규모가 아니라 ‘복제 가능한 학습’의 문제로 바꾼다.

transfer learning과 낮은 coordination cost가 산업경계를 흐릴 수 있다

AI는 기업의 scope도 넓힐 수 있다. 기술적으로는 한 domain의 training과 expertise가 다른 domain으로 transfer될 수 있고, 경제적으로는 여러 capability를 유지하는 coordination cost가 줄어든다.

논문이 소개하는 capability-formation model에서는 coordination cost가 낮아지고 여러 시장이 비슷한 capability를 가치 있게 평가할수록, 경제가 많은 전문기업에서 소수의 대형 multi-industry firm으로 갑자기 phase transition할 수 있다. 다만 큰 기업이 반드시 market power를 의미하는 것은 아니며 market power가 곧 consumer harm이라는 뜻도 아니다.

AI scientist가 basic-science frontier를 스스로 밀 수 있다면

AI agent가 R&D를 빠르게 하면 기존시장에 새로운 product variety가 생기고 전혀 새로운 시장도 열릴 수 있다. 기존 AI-for-science 논의는 known domain 사이의 interpolation과 recombination을 강조하지만, 논문은 인간과학자 없이 basic-science frontier를 밀어 genuinely novel idea를 생성하는 agent를 별도의 가능성으로 본다.

endogenous growth model에서는 R&D에 급격한 diminishing returns가 없다면 explosive growth까지 가능할 수 있다. 따라서 중요한 질문은 “AI scientist가 인간보다 빠른가”가 아니라 인간과 AI scientist의 차이가 innovation production function과 성장모형을 어떻게 바꾸는가이다.

human-human, human-AI, AI-AI의 coordination cost는 서로 다르다

복잡한 생산과정에서 AI agent는 moral hazard를 줄일 수 있다. 설계상 shirking incentive를 없앨 수 있기 때문이다. 그러나 동시에 alignment와 opacity 때문에 인간이 control·coordinate하기 더 어려울 수도 있고, 초인적 속도와 복잡성에서 발생하는 cheating은 인간 supervisor가 발견하기 어려울 수 있다.

따라서 team production은 누가 누구와 상호작용하는지부터 다시 설계해야 한다. human-human, human-AI, AI-AI relationship의 differential coordination cost가 조직도를 결정할 수 있다.

의사결정 chain의 최적 ordering도 달라질 수 있다. 각 agent가 기존 오류를 수정할 확률과 새로운 오류를 도입할 확률의 비율에 따라, 더 높은 ratio를 가진 agent를 뒤쪽 decision stage에 배치하는 것이 유리할 수 있다. 현재는 최종결정자가 인간일 가능성이 높지만 기술진보가 이 순서를 뒤집을 수 있다는 것이 논문의 문제제기다.

AI 조직에도 계약, 규범, 기록, ‘돈’이 필요할 수 있다

formal contract를 작성하게 한 reinforcement learner가 더 잘 협력한다는 연구가 소개된다. 그러나 인간조직의 cooperation은 불완전계약만으로 유지되지 않는다. shared norm과 future relationship value에 기반한 relational contract가 중요한 역할을 한다.

AI agent가 이런 normative competence를 가질 수 있을지, 그리고 narrow goal을 가진 agent 사이에서 utility transfer를 가능하게 하려면 어떤 record-keeping 또는 money-like infrastructure가 필요한지가 열린 문제다. 이 부분은 multi-agent system의 protocol 설계가 경제제도 설계와 합쳐지는 지점이다.

다양성이 사라지면 작은 실패가 거시적 실패가 된다

AI agent 도입은 생산성을 높이면서도 systemic fragility를 키울 수 있다. 같은 model 또는 같은 agent가 기업 안팎에서 복제되면 error가 independent하지 않고 correlated해진다. 인간의 다양한 실수는 aggregate에서 상쇄될 수 있지만 동일한 artificial agent의 동일한 failure mode는 여러 곳에서 동시에 나타날 수 있다.

논문은 2010년 Flash Crash에서 automated trading algorithm이 약 15분 동안 약 1조 달러의 시가총액 증발을 악화시킨 사례를 떠올린다. 특히 out-of-sample environment에서 black-box agent가 어떻게 행동할지 충분히 모르기 때문에 기존 network-fragility model처럼 learning rule과 objective를 완전히 명시한 분석만으로는 충분하지 않을 수 있다.

누가 계약했고, 누가 책임지고, 과거행동을 어떻게 기억할 것인가

현대시장은 property, contract, agency law와 legal identity를 전제로 한다. 인간과 법인은 등록을 통해 sue and be sued의 주체가 되고 credit·reputation system도 이 identity에 의존한다. AI agent에는 아직 이와 같은 보편적 identity·registration infrastructure가 없다.

첫 번째 접근은 transaction을 수행하는 모든 AI를 identifiable human/entity에 등록하고 그 principal에게 법적 책임을 묻는 것이다. 그러나 increasingly general instruction 아래에서 인간이 agent의 세부행동을 예견하거나 통제하기 어려워질수록 conventional agency-law의 scope-of-authority 개념과 충돌한다.

두 번째 접근은 corporation처럼 agent 자체에 legal personhood를 부여하는 것이다. 이 경우 agent 명의의 asset, control, seizure 가능성까지 포함하는 새로운 legal infrastructure가 필요하다. 어떤 방식이든 agent design과 deployment incentive에 직접 영향을 미친다.

기록 역시 단순할 수 없다. bad behavior를 영구기록하면 cooperation을 촉진할 수 있지만 과도한 long-lived reputation은 herding을 만들거나 short-run agent에 불리할 수 있다. 반대로 record 삭제나 조작이 쉬우면 community enforcement가 붕괴할 수 있다. AI agent 시대의 memory architecture는 개인화 기능이 아니라 시장제도의 일부가 된다.

일반목적 agent에도 분야별 자격과 protocol이 필요할 수 있다

general-purpose agent의 unpredictable behavior와 multi-agent interaction의 불확실성을 고려하면 정부가 배포 전 minimum technological standard, testing, specialized training을 요구할 수 있다. 법률, critical infrastructure, finance처럼 고위험 domain에는 digital occupational licensing과 비슷한 제도가 가능하다.

agent를 approved transactional protocol이나 approved platform에서만 작동하게 하고 monitoring과 disclosure를 요구하는 방식도 고려된다. public regulator가 license를 줄지 private regulator가 맡을지, capability 변화에 규제가 어떻게 적응할지, 일부 agent는 market access 자체를 막아야 할지 역시 열린 문제다.

AI regulation은 기업의 trade secret 경계를 다시 묻는다

foundation model은 private firm 내부에서 개발되고 training data·procedure는 비공개인 경우가 많다. 동시에 대규모 neural network의 input-to-output mechanism도 과학적으로 완전히 이해되지 않는다. 저자들은 이를 “doubly-inscrutable”한 상태로 본다.

자동차나 의약품은 regulator가 최종제품 시험이나 공개과학에 의존해 안전성을 평가할 수 있지만 frontier AI는 training cost가 너무 높고 evaluation이 output뿐 아니라 data·training procedure의 접근을 요구할 수 있다. 따라서 정부와 academic researcher가 현재 trade secret으로 취급되는 정보에 일정 수준 접근해야 할 가능성이 있다.

그렇다고 transparency만 늘리면 해결되는 것도 아니다. 금융회사가 stress test를 game하듯 AI 기업도 disclosure를 조작하거나 profit incentive와 충돌할 때 safety procedure를 우회할 수 있다. 무엇을 공개시킬 것인가만큼 언제 inspection하고 무엇을 검증할 것인가가 중요하다.

Agent infrastructure는 경제 인프라가 된다

이 논문을 기술 관점에서 읽으면 흥미로운 결론이 나온다. AI agent system의 중요한 구성요소는 model, memory, tool, planner만이 아니다. identity, authority, contract, record, reputation, money-like transfer, inspection, licensing도 runtime의 일부가 될 수 있다.

즉 미래의 multi-agent platform은 단순한 orchestration framework가 아니라 경제적·법적 상호작용을 제약하고 기록하는 digital institutional layer를 필요로 할 수 있다. 이 지점에서 agent architecture와 mechanism design, law, regulation이 하나의 연구영역으로 연결된다.

어떤 AI agent economy가 만들어질지는 설계선택이다

저자들은 Silicon Valley가 약속하는 increasingly agentic AI가 실현된다면 인간의 decision을 대체하고 시장과 조직의 구조를 깊이 바꿀 수 있다고 본다. 그러나 그 미래를 기술이 자동으로 결정한다고 보지 않는다.

어떤 agent가 만들어지고, 어떤 incentive 아래 상호작용하며, 어떤 record를 남기고, 누가 책임지며, 어떤 market access를 얻는지는 mechanism, infrastructure, institution의 설계에 달려 있다. AI agent 경제는 모델능력의 결과가 아니라 모델능력과 제도설계가 함께 만드는 equilibrium이다.