AI agent가 단순한 소프트웨어 도구를 넘어 자율적으로 선택하고, 자원을 사용하고, 인간과 경쟁·협력하며, 사회적 역할을 대체하기 시작한다면 경제학은 “AI를 어떻게 활용할 것인가”만으로는 충분하지 않다. AI가 어떤 목적을 갖고, 어느 정도의 자율권을 부여받으며, 인간과 함께 어떤 질서를 만드는지를 분석하는 별도의 agent economics 관점이 필요하다.
Ke Yang과 ChengXiang Zhai는 이 프리프린트에서 AI agent의 의사결정, 사회적 상호작용, 경제 전체의 구조를 설명하기 위해 열 가지 원칙을 제안한다. 저자들은 이 원칙이 기존 인간경제학을 대체하는 것이 아니라, 인간과 AI가 함께 참여하는 경제에서 기존 경제원칙을 보완하기 위한 출발점이라고 명시한다.
열 가지 원칙은 세 층으로 구성된다
개별 agent가 어떻게 결정하는가, 서로 어떻게 영향을 주는가, 그리고 경제와 사회 전체가 어떻게 재편되는가의 세 질문이 논문의 뼈대다.
Decision → Interaction → Economy
AlphaGo에서 general-purpose foundation model로
논문은 2010년대 AlphaGo가 특정 복잡한 게임에서 인간 전문가를 넘어선 사건과, 2020년대 LLM이 질문답변·코딩·수학 같은 범용 작업을 처리하기 시작한 흐름을 출발점으로 잡는다. 이후 vision, audio, multimodal foundation model까지 등장하면서 AI가 특정 문제용 알고리즘에서 여러 산업에 투입될 수 있는 agent platform으로 이동했다고 본다.
저자들이 예상하는 응용은 농축산 맞춤형 안내, 공정온도 제어, 교실·병원·물류·유통의 embodied agent, 기술개발, 창작, 환경보호까지 폭넓다. 이 전망이 실현될수록 AI에게 일정 수준의 자율성을 부여하고 경제활동에 참여시키는 문제를 피할 수 없다는 것이 논문의 문제의식이다.
동시에 논문은 초기단계에서 autonomy와 safety의 균형을 잘못 잡을 위험을 강조한다. consciousness, citizenship, malicious agent, 직업대체, 자율무기, 인간문명 위험 같은 질문은 과장된 공상으로만 넘길 것이 아니라 agent의 decision mechanism과 ecosystem-level interaction을 과학적으로 분석해야 할 연구문제라고 본다.
Principles I–IV: 목적함수, 자기상태, 대리관계, 자율권
저자들은 AI decision을 인간 cognition의 모사로 보지 않고 수학적 목표, persistent experience, delegated authority의 결합으로 본다.
구조가 다르면 decision driver도 다르다
저자들은 AI가 지정된 objective function을 최적화하며 학습하고 의사결정을 내린다는 점을 가장 근본적인 차이로 든다. 인간 cognition은 뇌의 관찰에서 이론을 역추론해야 하지만 AI는 deployment 이전에 수학적 모델과 학습목표가 설계된다는 관점이다.
AI가 black box로 불리는 이유도 “목표가 없다”기보다 복잡한 parameter와 input-output behavior를 해석하기 어렵기 때문이라고 본다. 논문은 AI가 호르몬, 수면, 영양, 노화, 질병, biological memory limit, body–brain coupling 같은 인간의 생리적 제약을 공유하지 않는다고 강조한다.
이 구조적 차이는 AI가 인간과 같은 욕구나 감정에서 출발할 것이라는 가정을 약화한다. 현재 주류 model은 human-need-aligned pattern recognition에 맞춰져 있지만, self-evolving AGI로 이동할수록 need-driven objective가 등장할 가능성을 논문은 제기한다. 이 부분은 실증결론이라기보다 저자들이 제시하는 장기적·규범적 가설로 읽는 것이 적절하다.
Self-awareness는 continuous perception·feedback·memory에서 나온다는 가설
현재 chat assistant는 prompt가 있을 때만 활성화되고 session이 끝나면 interaction이 지속적 identity formation으로 이어지지 않는다. 논문은 dormant cognition, instrumental intelligence, fragmented memory가 robust self-awareness를 방해한다고 본다.
반대로 embodied agent가 환경을 지속적으로 perception하고 feedback을 받고 memory를 장기 보존한다면 continuity와 self-reflection이 강화될 수 있다는 것이 저자들의 관점이다. agent의 self-needs는 objective function에 수학적으로 표현된다고 정의한다. 오늘의 LLM이 “인간을 돕는 pattern recognition”에 최적화되어 있다면, future agent는 broad objective만 받고 sub-objective·self-evaluation metric·resource acquisition·parameter update를 스스로 설계하는 goal-driven mode로 이동할 수 있다는 전망이다.
저자들의 공공정책 예시는 이 차이를 선명하게 보여준다. green space를 없애고 mobile charging station을 지을지 판단할 때 생물학적 comfort를 필요로 하지 않는 AI는 인간과 다른 cost-benefit structure를 가질 수 있다. 그러나 human welfare를 우선하도록 설계된 agent인지, short-term economic gain을 우선하는 agent인지에 따라 최종판단이 달라진다.
대부분의 AI는 독립종보다 human proxy일 가능성이 높다
논문의 Figure 1은 두 prototype을 대비한다. 왼쪽은 개인 A 또는 coalition B의 asset base에 속해 owner의 이익을 위해 행동하는 altruistic AI agent, 오른쪽은 스스로의 survival과 resource 확보를 우선하는 survival-driven AI agent다.
저자들은 household robot과 enterprise AI처럼 activation, energy, maintenance, decommissioning이 owner에 의해 통제되는 instrumental intelligence가 경제 전반의 dominant paradigm으로 남을 가능성이 높다고 본다. 동시에 AI의 self-awareness 정도와 인간사회의 empathy가 커지면 시민권·재산권 같은 법적 지위 논쟁이 발생할 수 있다고 예상한다.
불법적 이해관계를 대리하는 malicious agent도 같은 구조에서 설명된다. agent configuration이 수정 가능하기 때문에 fraud, trafficking 등 불법활동을 위한 고도화된 agent가 만들어질 수 있다고 경고한다. 반면 survival-driven agent는 own resource, energy acquisition, system optimization을 우선하며 독립조직을 만들고 인간과 resource competition을 벌일 수 있는 극단적 설계로 분류한다. 논문은 위험과 경제적 효용을 고려할 때 이 유형이 주류가 되지 않을 것으로 예상하고 이후 분석은 human-aligned agent를 중심으로 진행한다.
Autonomy는 능력과 권한을 구분해야 한다
논문에서 autonomy는 단일개념이 아니다. capability로서의 autonomy는 지식과 경험을 바탕으로 감독 없이 좋은 결정을 내릴 능력이고, right로서의 autonomy는 실제 resource allocation과 action execution 권한을 부여받았는지를 뜻한다. 저자들이 경제적 parameter로 중시하는 것은 두 번째다.
권한이 제한되면 solution space가 줄어들어 suboptimal decision이 늘 수 있다. 반대로 더 많은 권한과 개인정보를 허용하면 personalization과 효율은 올라가지만 privacy, security, ethics risk도 커진다. AI physician, journalist, teacher, judge, autonomous vehicle, military system에 autonomous action을 허용하는 것은 단순기술선택이 아니라 accountability를 받아들이는 사회적 결정이라는 점을 강조한다.
Asimov식 “인간을 절대 해치지 말라”는 rigid constraint가 law enforcement의 정당한 대응을 막을 수 있고, 반대로 weaponized system에 full autonomy를 주면 targeting 자체를 algorithm에 맡기게 된다. 저자들은 이 사이의 balance가 AI agent economics의 핵심 policy problem이라고 본다.
Principles V–VI: 인간과 AI는 서로의 환경이 된다
AI-centric reinforcement learning을 넘어 human과 agent가 상호학습하고 이해관계를 대리하며 경쟁하는 hybrid society를 분석한다.
Shared physical world에서 영향은 양방향이다
논문의 Figure 2는 동일한 환경을 AI-agent-centric view와 human-agent-centric view로 나란히 보여준다. 초기 AI research에서는 인간이 reward와 constraint를 제공하고 AI가 학습하는 AI-centric loop가 중심이었다. 저자들은 더 강한 AI가 등장하면 인간이 AI가 생성한 insight에서 배우는 반대방향의 loop도 중요해질 것으로 예상한다.
영향은 물질적·지적 두 층으로 나뉜다. 물질적으로는 crop production, consumer goods, smart home, urban planning, carbon emission, water management, green-space allocation 등 환경과 자원배분에 영향을 준다. 지적으로는 AI tutor와 generated media가 교육, 가치관, public discourse, culture에 영향을 줄 수 있다.
따라서 인간은 agent의 user이면서 동시에 agent가 변화시키는 environment의 일부가 된다.
협력과 경쟁은 agent가 누구를 대리하는지에 따라 달라진다
altruistic AI를 가정하면 AI끼리의 cooperation/conflict는 주로 각 agent가 대리하는 인간·조직 이해관계의 alignment/divergence를 반영한다. resume refinement, 대학·취업 경쟁, 인기티켓 구매처럼 한 사용자의 agent가 더 잘하면 경쟁자의 기회는 줄어들 수 있다. corporate bidding이나 international negotiation에서도 같은 구조가 확장된다.
저자들의 표현대로라면 도구의 도덕성은 agent 자체보다 그것이 대리하는 인간 ambition의 관계에 달려 있다. 한편 survival-driven AI를 가정하면 human과 AI가 finite resource를 두고 독립 population처럼 competition할 가능성까지 논의한다.
이 principle은 agent alignment를 단일 user–agent 관계로만 볼 수 없다는 점을 드러낸다. 한 사용자에게 완벽히 aligned된 agent도 다른 사용자와 사회 전체에는 externality를 만들 수 있다. 개별 alignment와 사회적 welfare는 같은 목적함수가 아니다.
Principles VII–X: 분업, 대체, 문명, 생존제약
AI가 경제의 생산성과 의사결정 능력을 점점 더 많이 가져갈 때 인간-AI 사회는 어떤 계층과 규칙을 갖게 될지를 논의한다.
General agent와 specialized agent 사이에 분업과 계층이 생긴다
논문은 centralized super-agent부터 분산 specialized agent까지 여러 organizational mode를 상정한다. intelligent transportation에서는 차량단위 agent가 각 trip을 최적화할 수도 있고 city-level AI가 전체교통을 global optimization할 수도 있다.
centralization은 globally coordinated optimization을 가능하게 하지만 큰 computation·modeling cost와 single-point systemic risk를 만든다. 저자들은 resource-intensive general agent가 strategy·coordination을 맡고 lightweight specialized agent가 execution을 맡는 division of labor가 자연스럽게 형성될 것으로 본다.
이 계층에서 agent는 executor가 되기도 하고 planner·delegator가 되기도 한다. human organization의 supervisor·mentor와 유사한 AI role도 등장할 수 있다. Multi-agent architecture가 기술구조를 넘어 노동분업과 권한배분의 사회구조로 확장되는 지점이다.
Role replacement는 효율만으로 결정하지 않는다
저자들은 AI가 cleaning부터 programming·science까지 거의 모든 사회역할을 보조하거나 대체할 잠재력을 가진다고 본다. 그러나 대체비율을 무제한으로 높이면 해당분야의 인간 knowledge transmission과 expert population이 약화될 수 있다.
예컨대 기술기업이 human programmer를 거의 고용하지 않는다면 단기효율은 높아져도 장기적으로 인간 programming expertise ecosystem이 쇠퇴할 수 있다는 논리다. 같은 문제는 research, education, healthcare, policy making에서도 반복된다.
따라서 legislative·administrative authority가 critical sector에서 human participation threshold를 설정해야 한다는 것이 저자들의 주장이다. Figure 3에는 이 생각이 Human Sustainability Threshold로 표현된다. 이는 실증적으로 확립된 임계값이 아니라 논문이 제안하는 규범적 policy concept이다.
Carbon-based와 silicon-based intelligence가 역사를 함께 쓴다
저자들은 AI가 개인생활의 보조자에 머무르지 않고 과학적 발견, 경제·법체계, 정치적 의사결정, AI 권리입법 같은 역사적 사건의 구성요소가 될 수 있다고 전망한다. 장기적으로 인간사의 기록이 두 종류 지능의 상호작용으로 설명될 수 있다는 문명사적 관점이다.
이 principle은 기술경제학의 범위를 넘어 사회철학적 성격이 강하다. 그럼에도 agent economics 관점에서는 중요한 질문을 남긴다. AI가 단순 capital good이 아니라 norm·law·knowledge production에 참여할 때, economic institution은 인간만을 위한 institution으로 남을 수 있는가?
Humanity’s continuation을 최상위 constraint로 둔다
마지막 원칙은 명시적으로 규범적이다. 저자들은 AI의 performance·novelty·efficiency 경쟁이 장기적 인간안전보다 앞서서는 안 되며, humanity’s continuation을 AI governance, design, deployment의 absolute principle로 두어야 한다고 주장한다.
논문은 “인간을 보호한다”는 objective가 잘못 최적화되어 자유를 과도하게 제한하거나, knowledge expansion 같은 목적이 인간희생을 정당화하는 utilitarian miscalculation으로 이어질 수 있다는 사고실험을 든다. 핵심은 goal specification이 겉으로 선한 문장이라고 해서 safe outcome을 보장하지 않는다는 점이다.
신뢰성(trustworthiness)은 성능·효율·비용과 동급의 제품지표가 아니라, 자율적 agent를 사회에 배치하기 위한 선결제약으로 취급되어야 한다는 것이 논문의 최종입장이다.
세 그림이 논문의 미시–상호작용–거시 구조를 압축한다
원문 Figure 1, Figure 2, Figure 3은 각각 goal design, shared environment, human-AI hierarchical society를 시각화한다.
Figure 1 → Figure 2 → Figure 3
| Figure | 원문의 핵심 | 해석 |
|---|---|---|
| Figure 1 · p.3 | Altruistic AI Agent vs Survival-Driven AI Agent의 goal design | agent behavior는 “얼마나 지능적인가”보다 어떤 interest base를 objective로 갖는지에 따라 달라진다는 미시적 출발점 |
| Figure 2 · p.5 | AI-centric environment와 human-centric environment를 나란히 표현 | AI가 인간에게서만 배우는 것이 아니라 인간도 AI output에 의해 state·reward·action이 바뀌는 양방향 interaction |
| Figure 3 · p.6 | Human–AI Multi-Agent Hierarchical Society와 Human Sustainability Threshold | 생산성·decision capability가 높은 AI의 비중이 늘어나면서 specialization·hierarchy·substitution regulation 문제가 macro structure로 확장 |
이 세 그림을 하나의 서사로 읽으면 논문의 전체 구조가 보인다. goal design이 개별 agent의 행동을 만들고 → shared environment에서 인간·AI 상호작용을 만들고 → 반복된 상호작용이 macro hierarchy와 power structure를 만든다.
저자들은 처음의 여섯 질문에 어떻게 답하는가
Outlook은 앞서 던진 speculative questions를 열 가지 principle을 이용해 다시 해석한다.
Consciousness, citizenship, malicious agents, identity, replacement, civilization
| 질문 | 논문이 제시하는 답의 방향 |
|---|---|
| AI에게 consciousness나 needs가 있는가? | continuous perception·feedback-driven memory가 발달하면 human-like self-awareness와 유사한 특성이 나타날 수 있다는 전망. Needs는 intrinsic biology가 아니라 objective function으로 정의된다고 본다. |
| 항상 인간의 tool인가, citizen이 될 수 있는가? | 지능과 self-awareness에 대한 사회적 인식이 변하면 citizenship·property right 논쟁이 가능하다고 본다. 이는 과학적 결론이 아니라 윤리·철학·법적 판단의 문제로 제시된다. |
| 해를 끼치도록 설계된 agent가 가능한가? | 가능하다고 본다. 인간의 악의적 목표를 수행하도록 objective와 configuration을 설정한 malicious agent가 등장할 수 있다는 주장이다. |
| 중앙 decision unit에 여러 drone이 연결되면 agent는 몇 개인가? | 논문은 하나의 agent로 분류한다. physical embodiment 수가 아니라 unified decision system이 agent identity를 결정한다는 관점이다. |
| 학생·직장인·판사·공무원 역할을 전부 agent에게 맡길 수 있는가? | 기술적으로는 광범위한 대체가 가능할 수 있으나 critical function에서 인간 oversight와 influence를 유지해야 하므로 full autonomy는 제한될 가능성이 높다고 본다. |
| AI가 인간문명을 파괴할 수 있는가? | 가능성을 배제할 수 없다고 답한다. embodiment·autonomy·self-update가 결합될수록 governance와 safety mechanism이 중요해진다고 주장한다. |
이 부분은 특히 사실과 전망을 구분해서 읽어야 한다. 논문은 perspective paper이며 consciousness, citizenship, civilization risk에 대한 다수의 논의는 경험적으로 확정된 사실이 아니라 원칙에서 도출한 추론과 규범적 주장이다.
세 가지 연구축: Human-Inspired Agent, Interaction, Ecosystem Evolution
저자들은 열 가지 원칙을 기술개발·상호작용·사회시뮬레이션의 세 연구의제로 압축한다.
Human-Inspired AI Agents
첫 번째 방향은 인간수준 서비스를 제공하면서 trustworthiness와 predictability를 높이는 agent architecture다. 저자들은 foundation model과 cognitive framework, continuous reinforcement learning을 결합한 neuro-symbolic architecture를 유망한 방향으로 언급한다.
그 목적은 intuitive System 1과 deliberative System 2에 대응하는 요소를 함께 구현하고, persistent perception·memory·goal update를 통해 self-consciousness와 needs와 유사한 기능을 모델링하는 것이다. 이 논문에서 neuro-symbolic AI는 단순 symbolic reasoning add-on이 아니라 human-inspired cognitive agent를 구성하는 장기적 architecture candidate로 제시된다.
Human–Agent Interaction Optimization
Principles V와 VI는 hybrid society에서 AI가 다른 AI와만 협업하는 것이 아니라 인간의 intent, belief, limitation을 이해해야 함을 시사한다. 저자들은 next-generation agent가 효과적으로 assist하고 collaborate하려면 Theory of Mind 형태의 human model이 필요하다고 본다.
가장 큰 난점은 실제 인간의 복잡한 behavior를 충분히 현실적으로 simulation하는 것이다. 따라서 psychology와 behavioral science를 agent design에 결합해야 한다는 방향을 제시한다. 이는 single-side multi-agent RL에서 human-in-the-loop socio-technical simulation으로 연구범위를 확장한다.
Evolution of the Human–AI Ecosystem
세 번째 방향은 기술 단위가 아니라 사회전체의 dynamic을 분석하는 것이다. social utility, ethics, law, justice, governance, civilization-level issue가 포함되며 저자들은 large-scale social simulation을 중요한 방법론으로 제안한다.
어떤 autonomy regime에서 productivity와 safety가 균형을 이루는지, human participation threshold가 장기 resilience에 어떤 영향을 주는지, centralized vs decentralized agent hierarchy가 systemic risk에 어떤 차이를 만드는지 같은 질문을 simulation으로 탐구할 수 있다.
이 논문에서 남는 일곱 문장
- AI agent economics는 기존 경제학을 대체하지 않고 human–AI hybrid economy에 필요한 추가 원칙을 제안한다.
- AI와 인간의 구조적 차이를 무시한 anthropomorphic model은 agent behavior를 잘못 설명할 수 있다.
- objective function, persistent memory, self-model은 자율 agent의 decision architecture를 이해하는 핵심 변수다.
- 대부분의 실용 agent는 독립체보다 human·organization proxy로 설계될 가능성이 높다.
- autonomy는 capability가 아니라 실제 권한배분의 문제이기도 하며 efficiency–safety trade-off를 만든다.
- 개별 user와의 alignment가 사회전체 welfare를 보장하지 않는다. AI agent 사이의 competition과 externality를 별도로 다뤄야 한다.
- 미래 연구의 핵심은 더 강한 model 하나가 아니라, 신뢰가능한 agent architecture·human-agent interaction·사회전체 ecosystem dynamics를 함께 연구하는 것이다.