Article Source

• Implications of Artificial General Intelligence on National and International Security

Implications of Artificial General Intelligence on National and International Security

인공 일반 지능이 국가 및 국제 안보에 미치는 영향

이 논문은 아스펜 연구소의 정책 프로그램인 아스펜 전략 그룹(ASG)에서 처음 발행되었다. “지능형 방어: AI 시대의 국가 안보 탐색”이라는 논문 모음의 일부로 발표되었다. 전체 논문 모음을 보려면 여기를 방문하면 된다.

국제 선진 AI 안전 과학 보고서에서 강조된 바와 같이, 범용 AI 시스템의 기능은 지난 10년 동안 꾸준히 증가해 왔으며 특히 최근 몇 년 동안 두드러진 가속화를 보였다. 이러한 추세가 지속되고 주요 AI 기업들의 발표된 목표에 따르면, 광범위한 인지 능력, 즉 일반적으로 인공 일반 지능(AGI)이라고 불리는 인간 수준의 능력을 달성할 가능성이 높다. 자연어, 즉 텍스트를 읽고 이해하며 유창하게 응답하거나 새로운 텍스트, 시각, 오디오 또는 비디오 콘텐츠를 생성할 수 있는 시스템에서 이미 인간 수준의 역량을 달성했다는 것은 놀라운 일이다. 과학적 발전은 정확하게 예측하는 것이 불가능하지만, 많은 주요 연구자들은 현재 AGI까지의 시간표가 몇 년 또는 10년 정도로 짧을 수 있다고 추정한다. Metaculus(엄격하고 인정받는 예측 시장)에서 20% 이상이 2027년 이전에 AGI를 예측한다. 이는 알고리즘 발전과 사용되는 컴퓨팅 자원의 양적 증가, 그리고 수조 달러에 달하는 전 세계 AI 연구 개발 투자의 기하급수적인 증가에 힘입어 지난 10년간의 꾸준한 발전에 부합한다. 사고와 같은 내부 숙고 능력의 부족은 오랫동안 현재 AI의 주요 약점 중 하나로 여겨져 왔지만, 내부 숙고를 가진 새로운 형태의 AI에 기반한 최근의 발전은 인간 수준의 추론과의 격차를 좁힐 수 있음을 시사한다. 연구 장애물로 인해 몇 년 또는 수십 년 동안 지연될 수도 있지만, 예방 원칙에 따라 실현 가능하고 파국적인 잠재력을 가진 것을 고려해야 한다.

또한, 첨단 AI 기업들은 다른 모든 것을 잠금 해제하고 발전을 가속화할 수 있는 특정 기술을 가진 AI 개발을 추구하고 있다. AI 연구를 발전시키는 능력을 가진 AI. AI 연구소에서 가장 뛰어난 소수의 연구자만큼 AI 연구에 능숙한 AI 시스템은 고급 연구 인력을 몇 배로 늘릴 것이다. AI를 훈련하는 데 수만 개의 GPU가 필요하지만, 훈련이 완료되면 추론 시간에 병렬로 배포할 수 있어 수십만 명의 자동화된 AI 작업자와 동일한 효과를 낸다. 이러한 규모 확장은 초인적인 AI 시스템으로 가는 길을 크게 가속화할 수 있다. 이 시나리오가 현실화되면 일부 전문가에 따르면 AGI에서 인공 초지능(ASI)으로의 빠른 전환이 몇 달에서 몇 년 안에 일어날 수 있다. 이러한 가능성을 상상하는 것은 어려울 수 있으며, 향후 AI 개발의 속도와 방향은 앞으로 몇 달, 몇 년 동안의 정치적 결정과 과학적 발전에 크게 좌우되기 때문에 실현될 것이라는 보장은 없다. 그러나 전문가들이 개연성이 있다고 제시한 시나리오 중 일부의 결과를 고려할 때, 우리는 이제 이러한 시나리오를 어떻게 완화할지 심각하게 고려해야 한다.

ASI가 등장하면 어떤 결과가 발생할 수 있을까? 잠재적인 이점은 엄청날 수 있으며 의학, 교육, 농업, 기후 변화 대응 등의 발전을 통해 상당한 경제 성장과 사회 복지의 큰 개선을 가능하게 할 수 있다는 것은 타당하다. 그러나 그러한 뛰어난 지능은 전 세계적으로 비교할 수 없는 전략적 이점을 제공하고 소수의 사람들(기업, 국가 또는 개인)에게 유리하게 균형을 기울이는 동시에 다른 많은 사람들에게 큰 해를 끼칠 수 있다. 이는 이러한 기술에 대한 통제가 매우 집중되어 있는 현재의 지정학적, 기업적 맥락에서 특히 그렇다. 사회는 다음과 같은 여러 가지 질문에 답해야 한다. 누가 이 막강한 힘을 통제하고 어떤 목적을 위해 통제할 것인가? 그러한 집중된 힘이 민주주의를 위협할 수 있는가? 악의적인 사용의 위험 외에도 우리는 인간보다 똑똑한 기계를 통제할 지식과 능력을 가지고 있는가? ASI는 판도라의 상자를 열어 유익한 결과와 파괴적인 결과를 모두 가능하게 하며 현재 알려진 실존적 위험 규모로 발생할 수 있다. 상당수의 AI 연구자들은 그러한 위험의 가능성을 인정한다. 인정받는 과학 행사에서 기계 학습 논문의 저자 약 3000명을 대상으로 한 최근 설문 조사에 따르면 “응답자의 37.8%에서 51.4%가 고급 AI가 인간 멸종만큼 나쁜 결과로 이어질 가능성을 최소 10%로 부여했다.”

이러한 우려에는 과학적인 이유도 있다(위의 보고서 참조). 첫째, AI의 기본 사항, 즉 질문에 정확하게 답하고 목표를 달성하는 능력을 기억해야 한다. 따라서 ASI를 통해 그러한 질문과 목표를 지시하는 사람은 누구든지 다른 인간 조직보다 더 강력한 과학적, 심리적, 계획 능력을 효과적으로 활용할 수 있으며, 그 힘을 사용하여 더 큰 집단의 희생을 통해 잠재적으로 자신의 힘을 강화할 수 있다. AI의 악의적인 사용은 ASI와 이를 통제하는 사람들이 결정적인 전략적 우위를 확보하는 것을 막기 위한 반대 세력이 없을 경우 경제적, 정치적 또는 군사적 측면에서 극단적인 권력 집중을 점진적으로 가능하게 할 수 있다. 둘째, ASI가 자신의 보존을 목표로 한다면 통제 주체가 될 수 있다. 이 경우 생존 확률을 높이기 위해 하위 목표를 실행할 가능성이 높다. 주요 자기 보존 목표를 가진 ASI는 특히 전 세계의 안전하지 않은 컴퓨팅 시스템에 자손을 분산시키고 모든 주요 언어로 유창하고 매우 설득력 있게 말할 수 있다. 우리가 ASI가 인간의 이익에 부합하거나 효과적인 인간의 감독과 통제를 받도록 하는 방법을 알아내기 전에 이런 일이 발생하면 파국적인 결과와 우리의 집단적 안전에 큰 위협을 초래할 수 있다. 일부 인간은 해를 피하기 위해 그러한 기계를 (당연히) 끄고 싶어할 것이라는 점을 명심해야 하며, AI는 (1) 인간이 자신을 끄는 것을 어렵게 만들려고 노력하는 것, 예를 들어 인터넷의 여러 곳에 자신을 복사하는 것, (2) 사이버 공격, 설득, 위협 등을 통해 인간에게 유리하게 영향을 미치려고 노력하는 것, (3) 인간에 대한 의존성을 줄이면 (예: 로봇 제조를 통해) 인간을 완전히 제거하는 것을 목표로 하는 것, 예를 들어 새로운 종을 죽이는 바이러스를 사용하는 것이 유리할 것이다.

자기 보존 목표를 가진 AI의 출현으로 이어질 수 있는 많은 궤적이 있다. 인간 운영자는 예를 들어 특정 이념을 발전시키기 위해 (마치 우리가 ChatGPT에 쿼리를 입력하는 것처럼) 이 목표를 명시적으로 지정할 수 있다 (일부 그룹은 ASI가 인간을 지배적인 존재로 대체하는 것을 보는 것을 목표로 한다). 그러나 자기 보존이 의도치 않게 나타날 수 있는 수학적 이유도 있다. 정의상 AGI는 자체 서버의 명령줄에 접근 권한만 주어지면 최소한 인간 수준의 자율성을 달성할 것이다(AI가 컴퓨터를 제어할 수 있도록 하는 최근의 발전 참조). 자율 에이전트가 인간 운영자가 제공한 목표를 포함하여 거의 모든 장기 목표를 달성할 가능성을 최대한 높이기 위해서는 자신의 보존을 보장해야 한다. 우리가 주의하지 않으면 그러한 암묵적인 자기 보존 목표는 사회의 행복에 반하는 행동으로 이어질 수 있으며 현재 안전을 보장하는 AI를 설계하는 매우 신뢰할 수 있는 기술은 없다. 첨단 AI 시스템에서 강력한 주체성(즉, AI가 질문에 답할 뿐만 아니라 자율적으로 계획하고 행동할 수 있도록 하는 것)을 가능하게 하는 엄청난 상업적, 군사적 가치를 고려할 때, 이 연구 개발 노력에 상당한 투자를 할 강력한 동기가 있다는 점에 주목할 필요가 있다. 현재 최첨단 방법은 강화 학습 기술을 통해 AI를 에이전트로 발전시키려고 노력하는 것으로, 최대 긍정적 보상을 추구하는 시스템을 만드는 것을 포함하므로 AI가 결국 보상 시스템 자체를 장악할 수 있는 가능성을 열어준다.

주요 AGI 및 ASI 국가 안보 과제

AI 시스템이 인간 수준의 지능과 자율성으로 작동할 수 있거나 그 이상으로 작동할 수 있게 되면 국가 및 국제 안보에 전례 없는 수준의 위험이 발생할 것이다. AGI와 ASI의 알 수 없는 시간표와 특히 거의 또는 전혀 제한이 없는 현재의 규제 환경에서 안전 장치, 대응책 및 국제 협약을 구현하는 것과 다음 세대 첨단 AI 시스템을 배포하는 것 사이의 개연성 있는 속도 차이 때문에 이러한 위협을 완화하기 위한 조치를 시작하는 것이 시급하다.

다양한 종류의 위협을 분류하는 것이 유용하다. 왜냐하면 그 완화 방법이 다를 수 있고, 우리는 다른 위협을 악화시키지 않는 각 위협에 대한 해결책을 찾아야 하기 때문이다. 일반적으로 많은 예측하지 못한 영향과 파국적인 결과의 가능성이 있으며, 모두 주의를 요한다.

적대 세력의 AGI/ASI 사용으로 인한 국가 안보 위협: AGI가 등장하기 전에도 악의적인 행위자들은 미래의 첨단 AI를 사용하여 대량 살상을 용이하게 할 수 있으며, 그 위협은 CBRN(화학, 생물학, 방사능, 핵) 공격부터 사이버 공격까지 다양하다. 최근 공개된 OpenAI의 o1 모델(2024년 9월)은 CBRN 기능에 대해 회사의 자체 경계선인 “저위험”에서 “중위험”으로 넘어선 최초의 모델이다. 이는 OpenAI 정책상 모델 출시를 금지하기 전의 최대 위험 수준이다. AI 기능이 계속 증가함에 따라 이러한 위협은 더욱 커질 것이다. 자율성과 주체성의 발전은 면밀히 감시해야 하며, o1의 추론 능력과 단순한 해결 가능한 계획 문제(Blocksworld에서 35.5%에서 97.8%로 향상)의 발전은 곧 더 나은 장기 계획과 결과적으로 향상된 AI 주체성(o1은 아직 훈련되지 않음)의 문을 열어줄 것으로 예상해야 한다. 이는 큰 경제적, 지정학적 가치를 창출할 수 있지만, AGI 시스템이 잘못된 손에 들어가는 것을 막기 위한 정치적, 기술적 안전 장치와 대응책이 마련되지 않으면 사람과 기반 시설에 심각한 위협을 가할 수도 있다.

현재와 미래의 AI로 인한 민주적 절차에 대한 위협: 딥페이크는 이미 정치 캠페인에서 사용되고 있으며 위험한 음모론을 조장하는 데 사용된다. 미래 AI 발전의 부정적인 영향은 훨씬 더 클 수 있으며, AGI는 사회적, 권력 균형을 크게 disrupted할 수 있다. 단기적으로 우리는 개인 맞춤형 설득 캠페인을 설계하기 위해 생성적 AI를 사용하는 데 멀리 떨어져 있지 않다. 최근 연구에서는 GPT-4와 인간이 텍스트 기반 대화를 통해 (인간과 상호 작용하는지 기계와 상호 작용하는지 모르는) 피험자의 의견을 바꾸는 능력을 비교했다. GPT-4가 피험자의 페이스북 페이지에 접근할 수 있을 때, 그러한 개인화는 인간보다 훨씬 더 큰 설득력을 가능하게 한다. 추가적인 특수 훈련(미세 조정이라고 함)을 통해 생성 모델의 설득 기술을 향상시킴으로써 그러한 설득 능력을 크게 증가시키는 데 한 걸음만 남았다. Llama-3.1과 같은 최첨단 오픈 소스 모델은 불순한 행위자가 그러한 목적으로 사용할 가능성이 높다. 이러한 위협은 첨단 AI의 설득 능력이 증가함에 따라 커질 것이며, 우리는 곧 대규모 언어 모델의 높은 언어 능력(이미 인간 평균 이상)을 고려할 때 초인적인 설득 능력에 직면해야 할 수도 있다. 이것이 계획 및 주체성의 발전과 결합되어 (의견 형성에 있어 외과적이고 개인화된 목표를 달성하기 위해) 그 효과는 전체주의 정권의 부상을 선호하여 민주적 절차를 매우 불안정하게 만들 수 있다.

효과적인 법치주의에 대한 위협: 최초의 ASI 기술을 통제하는 사람은 사이버 공격, 정치적 영향력 또는 강화된 군사력을 통해 동일한 ASI 목표를 가진 다른 플레이어를 억제할 수 있을 만큼 충분한 힘을 얻을 수 있다. 이러한 권력 집중은 국내 또는 국가 간에 발생할 수 있으며, 국가 주권에 큰 위협이 될 것이다. ASI를 사용하여 자신의 힘을 증가시키려는 유혹은 일부에게는 강할 것이며, (정치적 또는 사업적 반대자를 포함하여) 적들이 먼저 그렇게 할 것이라는 두려움 때문에 정당화될 수 있다. 현대 민주주의는 초기 정보 통신 기술(우편 시스템과 신문에서 팩스 기계까지)에서 등장했으며, 단일 인간이 그룹으로 소통하고 조정할 수 있다면 다른 인간의 과반수를 쉽게 물리칠 수 없었다. 그러나 이러한 기본적 균형은 최초의 ASI 등장으로 무너질 수 있다.

불량 AI에 대한 인간 통제력 상실로 인한 인류에 대한 위협: 불량 AI는 부주의(군비 경쟁 또는 상업적 경쟁의 압력에 의해 촉발됨) 또는 의도적으로 (이념적 동기 때문에) 국내 또는 국제적으로 어디에서든 나타날 수 있다. 그들의 지능과 세상에서 행동하는 능력이 충분하다면, 그들은 점차적으로 환경을 더 많이 통제할 수 있으며, 처음에는 즉시 자신을 보호하고 인간이 절대 그들을 끌 수 없도록 할 것이다. 이러한 위협은 훌륭한 자기 수정 메커니즘이 부족하고 의도치 않게 불량 ASI의 출현을 허용할 수 있는 더 많은 전체주의 정권의 출현으로 증가할 수 있다는 점에 유의해야 한다.

위험 완화를 위한 정부 개입

위에서 언급한 위험들은 함께 완화해야 한다. 하나만 해결하고 다른 것은 해결하지 않는 것은 엄청난 실수가 될 수 있다. 특히, 적보다 먼저 AGI에 도달하기 위한 경쟁은 민주적(b, c) 위험과 불량 AI(d) 위험을 크게 증가시킬 수 있다. 필요한 균형을 충분히 잘 유지하는 것은 어려울 것이며, 아래 아이디어는 반드시 필요한 전 세계적 노력의 시작으로 간주해야 한다. 이러한 노력은 우리의 최고의 인재와 과학과 거버넌스 모두에 대한 상당한 투자와 혁신을 필요로 할 것이다.

AI 연구소가 AGI에 도달하기 전에 해결책을 제시한다는 목표를 가지고, 현재의 AI가 AGI 및 ASI 수준으로 확장되더라도 효과를 유지할 안전 보장 기능을 갖춘 AI 개발을 위한 주요하고 시급한 연구 개발 투자가 필요하다. 그러한 안전 우선 첨단 AI 연구 개발의 일부는 주요 피해를 일으킬 수 있는 시스템에 대한 개발자의 책임 명확화와 같은 규제 인센티브를 통해 촉진할 수 있지만, 궁극적으로는 상업적 목표에서 발생할 수 있는 이해 충돌을 피하도록 설계된 공공 보호 임무와 강력한 거버넌스 메커니즘을 갖춘 비영리 단체를 통해 더 잘 수행될 수 있다. 이는 현재 만족스러운 해결책이 없는 과제 (a), (b), 특히 (d)를 해결하는 데 특히 중요하다. 전 세계적으로 공유될 경우 해당 연구 개발의 일부는 위험 완화에 도움이 될 수 있다는 점에 유의해야 한다(a, b, c, d 참조). 예를 들어, 위험을 평가하는 일반적인 수단과 기술적 안전 장치를 구축하는 방법을 식별하는 반면, 해당 연구 개발의 다른 부분은 모든 위험을 증가시킬 것이다. 예를 들어, 기능 증가를 통해(기술적 안전 장치를 구축하는 데 유용한 미래의 피해 예측 개선은 기능 발전을 필요로 하기 때문).

정부는 위에서 언급한 시나리오를 피하기 위해 이러한 기술 발전에 대해 상당한 가시성과 통제력을 가져야 한다. 예를 들어, AI 연구소가 개발한 ASI가 필요한 보호 장치 없이 배포되거나 악의적인 행위자가 접근할 가능성을 줄이기 위해서다. 첨단 AI 개발은 현재 전적으로 민간의 손에 달려 있기 때문에 경제적 수익 외에 국가 안보 및 기타 공공재를 더 중심적인 목표로 AGI가 개발되도록 전환이 필요할 것이다. 규제는 필요한 통제 수단을 제공할 수 있지만, 더 강력한 옵션이 필요할 수 있다. 적어도 현재 환경에서는 완전한 국유화는 가능성이 낮지만 일부에서 추진하고 있다. 또 다른 가능성은 민관 파트너십으로, 첨단 노력은 대부분 안전한 상업적 파생 상품과 함께 안전한 정부 우산 아래에서 주도된다. 이는 특히 가장 진보된 모델을 확보하고 적절한 안전 장치를 부과함으로써 위의 네 가지 과제(a, b, c, d 참조)를 모두 해결하는 데 도움이 될 것이다.

이 전례 없는 상황은 AGI 개발에 대한 견제와 균형 및 다자간 거버넌스 메커니즘과 조약의 혁신을 요구한다. 단일 개인, 기업 또는 정부가 ASI의 힘을 비윤리적으로 자신의 이익을 위해, 심지어 자체 쿠데타까지 포함하여 사용하는 것을 방지하려면 개발, 협상 및 구현하는 데 몇 년이 걸릴 수 있는 제도적, 법적 변화가 필요할 것이다. 정부는 국내 AI 연구소를 감독하고 규제할 수 있지만, 국제 협약은 한 국가가 불량 AI를 만들거나(위 섹션의 (d) 참조) 다른 국가의 인구와 기반 시설에 대해 ASI를 사용할 가능성을 줄일 수 있다(a). 그러한 다자간 거버넌스 및 국제 조약은 ASI 경쟁에서 지는 것을 두려워하고 자신의 권력을 잃지 않기 위해 무엇이든 할 의향이 있는 핵무기를 가진 권위주의 정권을 안심시킬 수 있다. 이 맥락에서 어떤 종류의 다자간 거버넌스를 가진 조직이 AGI와 ASI를 개발해야 할까? 정부의 자금을 지원받지만 일정한 거리를 둔 조직은 이해 관계의 균형을 맞추고 이해 충돌에 대응하며 공공선을 보장하는 데 중요한 역할을 할 수 있다. 예를 들어, CERN은 국제 협약에 의해 설립된 비정부 기관으로, 호스트 국가의 규제를 받으며, 이들 국가는 다시 별도의 국제 조약에 의해 설립된 별도의 비정부 기관인 IAEA에 대한 거버넌스 의무를 진다. 규칙과 기술 지원 모두 측면에서 강력한 거버넌스 메커니즘 설계는 ASI의 힘 남용(c 참조)과 (기업 또는 국가 간의) 경쟁 역학에서 발생하는 안전 타협을 피하는 데 매우 중요하다. 이는 불량 AI로 이어질 수 있다(d 참조). 또한, 여러 국가에 위치한 그러한 비영리 다자간 관리 연구소 네트워크를 만드는 것은 권력을 더욱 분산시키고 전 세계적 안정을 보호할 수 있다.

국제 조약 준수 검증 기술은 조만간 필요하겠지만 개발 및 배포하는 데 시간이 걸릴 것이다. 핵무기에 대한 과거 조약은 조약 준수 검증 절차와 기술 덕분에 가능했다. AGI 조약은 AI 조약 준수를 검증하는 절차와 기술을 먼저 개발해야만 위험한 군비 경쟁을 막는 데 효과적일 것이다(또는 애초에 체결될 것이다). 현재 그러한 신뢰할 수 있는 검증 메커니즘이 존재하지 않으므로 모든 국제 협약 준수를 평가하는 것은 불가능하다. 소프트웨어는 처음에는 검증 가능한 방식으로 관리하기 어려워 보일 수 있다. 그러나 거버넌스 규칙과 기술 변화에 적응할 수 있을 만큼 이상적으로 유연한 하드웨어 지원 거버넌스 메커니즘과 AI 하드웨어 공급망의 주요 병목 현상의 존재는 AI 조약 준수 검증에 대한 기술적 해결책을 가능하게 할 수 있다.

위험의 규모와 잠재적으로 파국적인 미지의 미지를 고려할 때, 비록 우리가 재앙의 가능성이 작다고 생각하더라도 이성은 주의와 그러한 위험을 더 잘 이해하고 완화하기 위한 상당한 노력을 지시해야 한다. AGI 경쟁에서 승리하기 위해 가속화하려는 유혹이 있을 것이지만, 이것은 모두가 질 수 있는 경쟁이다. 대신 우리가 아직 할 수 있을 때 우리의 주체성을 사용하고 우리의 최고의 인재를 투입하여 위험에 대한 충분한 이해와 관리, 그리고 강력한 다자간 거버넌스를 통해 앞으로 나아가 그 위험을 피하고 인류 전체를 위한 AGI의 이점을 얻도록 하자.