AI를 쓰는 것과 사고를 넘기는 것은 같은가

언어는 이미 마음 밖에서 진화하는 집단적 기억이었다

논문의 출발점은 LLM이 아니라 인간 언어이다. 언어는 세대를 건너 정보를 축적하고 재조합하는 새로운 상속 체계이며, 사회학습을 통해 단어·문법·의미·관습을 새로운 사용자의 마음에 심는다. 이 때문에 언어는 오래전부터 생태계 안에서 분화·경쟁·혼종화·소멸하는 문화적 체계, 심지어 “viral entity”와 유사한 존재로 비유되어 왔다.

문화 진화 이론의 유전자–문화 공진화와 meme 개념, 컴퓨터 바이러스의 self-propagating information structure, extended mind 관점은 모두 한 지점에서 만난다. 인지 과정은 뇌 내부에만 갇혀 있지 않고, 기호·책·도구·제도·미디어와 결합해 분산된다. 중요한 차이는 외부 도구가 인간 능력을 보완할 수도 있고, 당장의 수행을 대신하면서 내부 숙련을 약화시킬 수도 있다는 점이다.

이전 미디어는 표현을 운반했고, LLM은 표현의 생산에도 참여한다

인터넷, instant messaging, smartphone, social media도 언어의 생산과 유통 방식을 바꾸었다. 그러나 LLM은 한 단계 더 나아간다. 인간이 만든 표현을 전달하는 데 그치지 않고 생산·재구성·평가에 직접 참여한다. 그래서 논문이 묻는 것은 “LLM이 언어를 바꾸는가”가 아니라, 언어–인지–기술로 구성된 결합 시스템 자체를 재조직하는가이다.

저자들은 computer virus와 programming language를 두 기술적 선구자로 놓는다. programming language는 인간–기계 인터페이스를 제공했고, computer virus는 host machinery를 이용해 퍼지는 정보 구조를 보여주었다. LLM은 두 측면을 일부 결합한다. 다만 저자들은 이 비유가 LLM-human interaction을 본질적으로 parasitic이라고 뜻하지 않는다고 명시한다. 생물학적 바이러스도 pathogen에서 mutualist와 evolutionary partner까지 다양한 관계를 보이며, LLM의 효과 역시 사용 방식에 따라 달라질 수 있다는 입장이다.

U, C, D는 ‘사용 여부’보다 coupling의 질을 구분한다

여기서 가장 중요한 점은 C 상태의 존재이다. 논문은 LLM adoption 자체를 병리로 보지 않는다. LLM을 널리 사용하면서도 자율성을 유지하는 regime을 모델에 명시적으로 포함한다. 위험은 사용 그 자체가 아니라 보완적 coupling이 지속적 대체 coupling으로 이동하는 과정이다.

확산, 중단, 의존, 회복, 집단적 자율성의 다섯 힘

\(\lambda UC\)는 biological infection rate와 형태가 닮았지만, 논문은 이것을 “host-side social or institutional transmission pressure”로 읽는다. \(\kappa U^2C\)는 자율적 인지 관행이 충분히 흔할 때 더 강하게 작동하는 cooperative term이다. 즉 사회에 독립적 읽기·쓰기·검증의 문화가 많을수록 LLM을 사용 중인 사람도 U 쪽으로 돌아갈 가능성이 커진다는 모델링 가정이다.

도구가 사라진 뒤 무엇이 남는가가 기준이다

논문은 cognitive offloading 자체를 비정상으로 보지 않는다. 읽기와 쓰기 역시 기억과 추론을 외부 구조에 분산하면서 인간 뇌를 재조직해 온 대표적인 cognitive technology이다. 문제는 외부 지원이 새로운 내부 능력을 만들어 주는가, 아니면 그 능력을 수행할 필요 자체를 없애는가이다.

완전 자율 상태와 두 개의 coupled branch

\(D=1-U-C\)를 이용하면 비결합 평형은 \(E_U=(1,0,0)\)이다. 다른 equilibrium은 다음 2차식의 root에서 나온다.

coupled population 안에서 regular user와 dependent user의 비율은 \(\mu\)와 \(\sigma\)로 정해진다.

들어가는 문과 나오는 문이 다르다

coupled branch와 saddle은 \(\lambda\ge\lambda_{SN}\)에서 나타나고, 완전 uncoupled equilibrium은 \(\lambda<\lambda_{TC}\)에서 안정하다. \(\kappa>\rho\)이면 두 임계값 사이에 bistable region이 생긴다.

forward trajectory에서는 \(\lambda\)가 \(\lambda_{TC}\)에 이를 때까지 U=1 attractor에 머물 수 있다. 반대로 coupled state에서 \(\lambda\)를 낮추어도 \(\lambda_{TC}\)를 넘었다고 바로 회복하지 않는다. \(\lambda_{SN}\) 아래까지 내려가야 coupled attractor가 사라진다.

이 임계값 차이가 hysteresis width이다. 논문이 “technological lock-in”이라고 부르는 현상은 바로 이 예방 조건과 회복 조건의 비대칭에서 나온다.

κ와 ρ의 관계가 전이의 성격을 바꾼다

\(\kappa>\rho\)이면 physical simplex 안에 saddle-node가 생겨 genuine bistability가 가능하다. \(\kappa<\rho\)에서는 formal saddle-node가 물리적으로 허용되는 상태 공간 밖에 놓이고, 변화는 forward transcritical bifurcation을 통한 continuous transition이 된다. \(\kappa=\rho\)에서는 두 threshold가 \(\lambda=2\rho\)에서 합쳐진다.

여기서 competence는 human+AI 성능이 아니다

논문의 \(\Gamma\)는 외부 지원이 제거되었을 때 인간에게 남아 있는 cognitive competence를 뜻한다. 즉 LLM을 포함한 coupled system의 총 성능이 아니다. 평균 competence는 다음과 같다.

substitutive-use regime의 예시로 저자들은 \(\Gamma_u=1\), \(\Gamma_c=0.5\), \(\Gamma_d=0.1\)을 둔다. 이 값은 empirical estimate가 아니라 illustrative modelling assumption이다. 저자들은 scaffolded 또는 augmentative regime에서는 coupling 이후의 competence가 그대로이거나 오히려 증가할 수도 있다고 분명히 적는다.

population state의 hysteresis가 competence에도 그대로 투영된다

따라서 \(\langle\Gamma\rangle^*\)는 \(U^*\)의 증가 함수이고 population bifurcation과 동일한 saddle-node, bistability, hysteresis를 갖는다. forward tipping에서 competence drop과 reverse recovery jump는 다음과 같이 표현된다.

Figure 2–3에 사용된 예시 parameter

\(\mu\)와 \(\sigma\)는 이 minimal model에서 \(\lambda_{SN}\), \(\lambda_{TC}\) 위치를 바꾸지 않는다. 대신 coupled population의 구성과 \(g\), 즉 coupled state가 갖는 cognitive cost를 바꾼다.

두 개의 ‘계곡’으로 보는 lock-in

페이지 6의 Figure 3c는 average competence의 dynamics를 effective potential \(V\)로 다시 그린다.

낮은 \(\lambda\)에서는 high-autonomy minimum 하나만 존재한다. \(\lambda_{SN}\)에서 low-competence minimum이 새로 생기고, bistable interval에서는 두 basin이 함께 존재한다. 예시 parameter에서는 \(\lambda_M\approx0.420\)인 Maxwell point에서 두 minimum의 depth가 같아진다. 그러나 high-autonomy basin이 아직 존재하는 동안 시스템은 그곳에 남을 수 있고, \(\lambda_{TC}\)에서 basin이 사라질 때 abrupt transition이 발생한다.

한 번 lock-in된 뒤에는 원래 조건으로만 돌아가도 회복되지 않을 수 있다

두 조건의 차이는 정책적으로도 중요한 구조를 만든다. forward transition을 막을 때 필요한 intervention보다 이미 coupled attractor에 들어간 뒤 되돌릴 때 더 강한 transmission-pressure reduction이 필요하다. 예방이 reversal보다 쉬울 수 있다는 수학적 이유가 hysteresis다.

자율성을 강하게 보호하는 것만으로는 충분하지 않다

\(\kappa\)를 키우면 autonomous cognition이 흔할 때 invasion resistance가 커지고 \(\lambda_{TC}\)가 올라간다. 하지만 \(\kappa>\rho\)에서는 \(\lambda_{TC}-\lambda_{SN}\)도 커져 한번 autonomous fraction이 크게 줄어든 뒤에는 history dependence가 더 강해질 수 있다.

그래서 저자들의 결론은 “\(\kappa\)를 최대화하라”가 아니다. collective autonomy를 강화하되, 충분히 강한 return process \(\rho\)를 함께 만들어야 한다. 논문이 예로 드는 것은 protected unaided tasks, deliberate disengagement, non-LLM skill maintenance, attractive non-LLM alternatives이다.

높은 adoption과 낮은 dependency는 동시에 가능하다

이 식은 중요한 정책 메시지를 담는다. \(\mu\)를 줄이거나 \(\sigma\)를 늘리면 total adoption \(C+D\)를 반드시 낮추지 않고도 dependent share를 줄일 수 있다. 저자들이 말하는 cognitive immunization은 결국 “LLM을 덜 쓰게 만들기”가 아니라 “LLM을 써도 verification, active reasoning, autonomous alternatives, recovery가 가능한 coupling을 만들기”에 가깝다.

같은 LLM도 exocortex가 될 수도, substitution layer가 될 수도 있다

저자들은 인간이 언어·글쓰기·기관·기술을 통해 늘 cognition을 외부화해 왔다고 본다. AI는 그 외부 장치가 점점 능동적이고 agent-like해지는 새로운 단계이다. 한 극단에서는 AI가 방대한 지식을 탐색하되 해석과 high-level judgment를 인간에게 남겨 두는 exocortex처럼 작동할 수 있다. 이는 문화·과학 지식의 축적과 전달을 크게 가속할 가능성이 있다.

따라서 논문이 경고하는 것은 capability 자체가 아니다. human–AI coupling의 architecture이다. 동일한 도구라도 사용자가 먼저 문제를 구조화하고, 모델의 주장을 재구성·반박·검증하게 설계하면 scaffolding이 될 수 있다. 반대로 synthesis, evaluation, composition을 통째로 대신하면 substitution 쪽으로 이동할 수 있다.

개인의 편리함과 집단의 안정성은 같은 문제가 아니다

논문의 central feedback는 두 social process의 상호작용이다. 첫째, 새로운 LLM use practice는 사람 간 모방, 학교·직장 adoption, 성공 사례의 복제를 통해 퍼진다. 둘째, autonomous cognition도 학교·직장·peer norm이 reading, writing, reasoning, verification, independent problem solving을 반복적으로 요구하고 보상할 때 사회적으로 유지된다.

인지 위임이 흔해질수록 자율적 사고를 지속시키는 환경이 약해지고, 환경이 약해질수록 다시 위임이 쉬워지는 positive feedback가 생길 수 있다. 논문이 강조하는 것은 runaway가 반드시 발생한다는 것이 아니라, 그런 runaway가 plausible social learning과 cooperative reinforcement 아래에서 가능하다는 것이다.

다음 단계는 사람을 평균내지 않는 것이다

저자들은 heterogeneous interacting agents, network connectivity distribution, correlation, multilayer network, spatially connected institutions를 자연스러운 확장으로 제안한다. epidemiology에서 topology가 epidemic threshold와 immunization outcome을 바꾸듯, LLM adoption과 cognitive recovery도 누가 누구와 연결되어 있는지에 따라 달라질 수 있다.

특히 cognitive state가 social ties 자체를 바꾸는 adaptive network가 되면 feedback는 더 복잡해진다. region과 institution이 서로 연결된 multiscale system에서는 local invasion threshold와 global propagation pattern이 분리될 수 있다.

미래 모델은 autonomy와 agency를 연속 변수로 다뤄야 한다

논문은 Diverse Intelligence와 multilayer-network theory를 미래의 conceptual/formal framework로 제시한다. autonomy, dependence, agency를 fixed compartment가 아니라 biological, artificial, hybrid substrate에 걸쳐 시간에 따라 변하는 graded capacity로 보면 인간과 LLM의 경계 자체도 dynamic variable이 된다.

이 관점에서 퍼지는 것은 특정 “개인”이나 “모델”만이 아니라 cognitive organization의 pattern일 수 있다. 사용자가 세계·자신·가능한 행동을 표상하는 방식이 LLM과의 반복 interaction을 통해 지속적으로 재구성된다면, cognitive virus라는 비유의 단위도 문화적 replicator, human host state, technical lineage, institution을 가로지르는 더 큰 ecology로 이동한다.

AI 시대의 핵심 변수가 ‘성능’에서 ‘가역성’으로 확장된다

LLM이 인간의 생산성을 높이는 것은 이미 중요한 사실이다. 그러나 이 논문은 한 단계 다른 축을 묻는다. 도구를 제거했을 때 인간에게 무엇이 남는가, 그리고 coupling state를 바꾸고 싶을 때 되돌아갈 수 있는가. 이 질문은 AI literacy, education, workplace policy, interface design, evaluation protocol에 공통으로 걸린다.

성능이 높고 adoption이 넓은 시스템도 \(\mu\)가 낮고 \(\sigma\)와 \(\rho\)가 충분히 크다면 자율성 친화적일 수 있다. 반대로 단기적으로 효율적인 interface가 verification friction을 지우고 alternative source를 약화시키면 dependency-producing coupling을 강화할 수 있다. 즉 AI design의 목표를 “얼마나 쉽게 대신해 주는가”에서 “얼마나 잘 보완하면서도 사용자의 복귀 가능성을 남기는가”로 바꾸는 사고가 필요하다.

이 논문을 다섯 문장으로 압축하면