이 책의 마지막 장은 미래예측의 가장 자극적인 주제인 technological singularity를 오히려 technology roadmapping의 언어로 다시 낮춰 묻는다. 어떤 FOM이 얼마나 빠르게 개선되는가, 그 추세를 어디까지 extrapolate할 수 있는가, fundamental limit는 무엇인가, 정보기술의 고속진보가 matter·energy·complexity의 느린 진보에 의해 언제 제약되는가, 그리고 AI가 기술을 설계하는 주체가 된다면 기존의 improvement loop가 어떻게 바뀌는가가 핵심이다. 결론은 예언보다 더 절제되어 있다. 미래를 정확히 맞힐 수는 없지만, 물리법칙과 시스템 제약, 사회적 선택을 통해 가능한 미래의 경계를 더 잘 그릴 수는 있다.
Ultimate Limits of Technology — 기술의 최종 한계는 어디에 있는가
원서는 “모른다”는 답에서 시작한다. 우리가 아는 최종 한계는 known laws of physics이지만, 그 법칙에 대한 인간의 지식 자체도 완결되지 않았다.
Known physics is a boundary, not omniscience
Source는 Newtonian mechanics가 오랜 기간 ultimate truth처럼 받아들여졌지만 Einstein의 1905 special relativity가 더 넓은 regime을 보여준 사례를 든다. Chemistry, biology, engineering의 limits도 결국 physics로 trace할 수 있다고 설명한다.
Mathematics는 n-dimensional 또는 infinite-dimensional space를 허용하기 때문에 물리적 의미의 constraint를 직접 주지는 않지만, source는 NP-hard problems를 mathematical fundamental limit에 비유한다. 동시에 exact solution이 어렵더라도 polynomial-time approximation이 가능한 경우가 있다는 점을 덧붙여, “현재 어렵다”와 “원리적으로 불가능하다”를 구분해야 한다는 태도를 보인다.
Source가 제시하는 constants, laws, computational limits
Progress curve를 limit에 연결하는 네 개의 식
특정 FOM \(y\)가 discrete time에서 periodic progress rate \(r\)로 개선된다고 가정하면 source는 다음 식을 사용한다.
Continuous-time exponential form은 다음과 같다.
Continuous growth rate \(k\)와 discrete rate \(r\)의 관계는 다음과 같이 정리된다.
Fundamental not-to-exceed limit를 \(Y\)라고 둘 때, progress rate가 constant라는 강한 가정 아래 limit까지의 theoretical time은 다음과 같이 추정된다.
이 식은 prediction machine이 아니라 assumption detector로 읽는 편이 중요하다. Limit, FOM, starting point, constant-rate assumption 가운데 하나만 달라져도 result가 크게 달라진다.
Transportation speed: extrapolation이 어디까지 버티는가
Source는 여러 transportation technologies를 하나의 functional FOM인 maximum speed로 묶어 historical progress를 본다. Eq. 22.2를 적용해 \(k\approx0.05\), 즉 annual progress 약 5.1%를 추정한다.
| VEHICLE / EVENT / OBJECT | YEAR | SPEED [mph] |
|---|---|---|
| Steam train | 1850 | 100 |
| Robert Goddard’s Rockets | 1926 | 550 |
| X1 (Bell) | 1947 | 1000 |
| X15 (North American) | 1960 | 4520 |
| Voyager 1 (JPL) | 1977 | 38,600 |
| Parker Solar Probe (APL) | 2018 | 430,000 (in solar orbit) |
Speed of light를 source는 약 670 million mph = 6.7×108 mph로 놓고 Eq. 22.4를 기계적으로 extrapolate하면 2164 CE라는 값을 얻는다. Source는 이 수치가 흥미롭다고 소개하지만 즉시 physical impossibility를 논한다. Fig. 22.1의 2000년 부근 “vertical asymptote” 주장에는 evidence가 없으므로 무시하라는 note도 명시한다.
Higher speed를 가능하게 한 steps로 steam engine, liquid-fueled rockets, planetary flyby maneuvers, Parker Solar Probe의 solar-powered monopropellant blowdown propulsion을 열거한다. Future higher-speed concepts로는 high-powered laser propulsion과 solar sails를 언급한다. 핵심 idea는 vehicle이 모든 energy를 onboard carry하는 대신 gravitational fields 또는 Sun 같은 external source를 활용하는 것이다.
Relativity가 만든 진짜 brake
Non-zero mass object를 light speed까지 accelerate하려면 energy requirement가 diverge한다. Source는 다음 relativistic energy relation을 제시한다.
Source example에서는 rest mass 1000 kg spacecraft를 99% light speed로 accelerate하는 데 약 6.35×1020 J가 필요하다고 계산하며, 이를 Earth disk가 Sun으로부터 약 한 시간 동안 받는 energy와 비슷한 order로 비교한다. 따라서 exponential trend가 아무리 잘 맞아도 physical limit 근처에서는 energy가 active constraint가 된다.
Why Information Runs Faster — 정보기술의 진보율은 왜 matter·energy보다 훨씬 빠른가
Table 22.2 · 3×3 technology matrix
Source는 matter-based technologies가 대체로 연 2–6%, energy transformation/transport/storage가 약 1–6% 수준인 반면, information-based technologies는 훨씬 빠르게 개선되어 대략 10× 차이가 난다고 설명한다.
| FUNCTION | MATTER (M) | ENERGY (E) | INFORMATION (I) |
|---|---|---|---|
| Transforming | Steelmaking 2–4% | PV efficiency 0.86% | Speed of computing 37% |
| Transporting | Aircraft transportation 5.8% | Electric DC transmission 5.5% | Radio communications 65% data rate (e.g., DSN) |
| Storing | Cryogenic fluid storage (LH₂) 5.5% | Li-Ion batteries 5% | Silicon-based memory 45% |
Whitney: low-power logic와 no back-loading
Daniel Whitney(2005)는 information systems가 low power level에서 작동하기 때문에 high-power mechanical/energy systems가 겪는 일부 physical constraints와 impedance matching problems가 active constraints가 되지 않는다고 설명한다. VLSI에서는 side effects를 spacing과 error-correcting codes 같은 design rules로 억제할 수 있고, elements 간 power back-loading이 거의 없어 module design과 system design을 상대적으로 분리할 수 있다는 argument이다.
Mechanical systems에서는 turbine과 propeller처럼 elements가 서로 load를 주고받아 impedance matching이 필요하다. Component behavior가 context와 coupling에 민감해져 system complexity가 progress를 늦춘다.
DSM complexity slows improvement
McNerney et al.(2011)은 technology를 interacting components로 분해하고 trial-and-error innovation을 model해, design complexity가 높을수록 improvement rate가 느려진다는 theoretical/empirical argument를 제시한다. Fig. 22.3에서는 높은 out-degree를 가진 component가 있는 architecture가 가장 느린 progress를 보인다.
Singularity debate에서 빠른 information FOM 하나를 전체 technology system의 속도로 일반화하면 안 된다. Physical implementation은 matter, energy, interfaces, manufacturing, infrastructure, regulation 같은 slower subsystems에 다시 묶인다.
The Singularity — runaway intelligence라는 가설과 그 안의 두 개 loop
Definition and disagreement
Source는 technological singularity를 technological growth가 uncontrollable and irreversible해져 human civilization에 unfathomable change를 가져오는 hypothetical future point로 정의한다. 그 mechanism은 machine 또는 machines/algorithms에 embodied된 self-improving intelligence의 runaway reaction으로 설명된다.
Kurzweil은 2005년 The Singularity Is Near에서 singularity를 2045로 예측했다. Source가 인용한 2017 survey에서는 다음과 같이 의견이 갈린다.
즉, source가 강조하듯 senior thinkers도 거의 양분되어 있다. Singularity는 consensus가 아니라 contested hypothesis이다.
Computing-cost extrapolation: 2043
Kurzweil chart에서 calculations per second per $1000의 historical progress를 source는 annual rate 37%로 둔다. Human brain threshold를 이 FOM에서 \(10^{15}\) 수준으로 놓고 1950 Univac 1을 starting point로 Eq. 22.4에 대입하면 93 years, 즉 2043 crossover가 나온다고 설명한다. 이는 Kurzweil의 2045와 가깝다.
Source 자신도 이 crossover를 singularity의 증명으로 취급하지 않는다. Computing에는 speed of light처럼 명시된 fundamental limit가 이 계산에 포함되지 않았고, quantum computing도 chart/estimate에 반영되지 않았다. “하나의 계산 FOM에서 인간 brain과 crossover”와 “general intelligence가 인간을 넘어 recursive self-improvement를 시작함”은 같은 명제가 아니다.
Vinge, AGI, and Seed AI
Vernor Vinge는 1993 “The Coming Technological Singularity”에서 superintelligence가 계속 self-upgrade하며 human era의 종말을 알릴 수 있다는 idea를 popularize했고, 당시 2005 이전 또는 2030 이후라면 놀랄 것이라고 썼다고 source가 소개한다.
Chapter는 singularity의 driver를 technology 자체가 아니라 technology를 create and improve하는 intelligence로 옮긴다. 이를 AGI라고 부르고, AGI가 technologies뿐 아니라 자기 자신도 개선할 수 있는 초기 형태를 “Seed AI”라고 설명한다.
Fig. 22.5의 두 개 improvement loops
Left loop는 지난 1000+ years의 human-driven improvement process이며 최근 약 150년을 FOM으로 정량화할 수 있다고 source는 설명한다. Right loop는 AI가 improving, inventing, collaborating, self-improving에 참여하는 구조이다. Recursive self-improvement가 빨라지면 qualitative change가 급격해질 수 있다는 것이 singularity hypothesis의 핵심이다.
Skepticism: the physical world pushes back
Source는 Hawking과 Musk의 concern을 언급한 뒤, singularity “purists”가 Fig. 22.5의 physical technology loop를 무시할 수 있다고 비판한다. 아무리 intelligent한 AI가 설계하더라도 implementation에는 mass와 energy가 필요하고, system complexity도 계속 작동한다.
Computing/information FOM이 연 30–60%로 향상되어도 energy/matter technologies가 약 5% 수준이라면 slower layer가 overall system의 pacing driver가 된다. Cyber world에서의 rapid capability growth가 곧 physical-world transformation의 동일한 속도를 의미하지 않는다.
Raw Compute Is Not Intelligence — 계산량, 알고리즘, robustness, energy efficiency를 분리해서 본다
Adversarial AI and nanotechnology
Source는 image-recognition CNN이 특정 visual features에 의해 쉽게 “spoof”될 수 있다는 adversarial AI 연구를 들어 robustness가 아직 evolving이라고 지적한다. AI capability가 높아져도 failure modes가 사라지는 것은 아니다.
Nanotechnology는 individual atoms/molecules 수준에서 matter를 manipulate하는 capability로 소개되며, CRISPR gene editing을 own DNA modification과 연결한다. Chapter는 singularity를 computing 하나로만 보지 않고 information, matter, biology가 상호작용하는 문제로 확장한다.
Human brain is not a static baseline
Promoters of AI-driven singularity가 biological capability를 static reference로 놓는 경우가 있지만 source는 brain evolution과 neuroplasticity를 상기시킨다. Humanoid brain size는 지난 약 2–3 million years 동안 증가했고, average human brain size는 약 1130–1260 cm³, Homo floresiensis는 약 380 cm³로 언급된다.
Source는 speech recognition이 human capability에 접근하면서도 human-brain volume의 0.01% 정도의 hardware volume만 필요하다는 Berglas(2008)의 analogy도 소개한다. 다만 이는 full general intelligence equivalence가 아니라 특정 capability comparison이다.
The energy-efficiency gap
Human brain은 awake state에서 약 20 W를 사용하며 body energy consumption의 약 20%를 차지한다고 source는 설명한다. 약 86 billion neurons를 이 power로 구동하므로 rough approximation으로 1 W가 약 4.3 billion neurons에 해당한다고 제시한다.
| COMPUTER | PETAFLOPS [1/s] | POWER [W] | PETAFLOPS / POWER [1/W] |
|---|---|---|---|
| Human brain | 1000 | 20 | 50 |
| Tianhe-1A | 4.7 | 4,040,000 | 1.16×10−6 |
Table 22.3에 기반해 source는 human brain이 energy-efficiency FOM에서 Tianhe-1A보다 42×106 배 앞선다고 설명한다. Energy technology가 평균 5%씩 개선된다는 단순 가정을 적용하면 이 FOM에서 human brain을 따라잡는 데 약 360 years, 대략 2400 CE가 필요하다고 source는 extrapolate한다.
Chapter는 당시 Internet electricity use를 world electricity의 약 10%로 인용하고, IBM Power System AC922를 약 150 Petaflops로 설명한다. 또한 37% annual compute improvement를 그대로 적용하면 raw computational power가 2025–2030, 구체적으로 약 2026 무렵 human-brain estimate를 넘을 수 있다고 전망한다. 이 글은 2026 현재 그 예측이 맞았는지 외부 자료로 검증하지 않고, 원서가 2022년에 제시한 forecast로만 다룬다.
Source의 결론은 raw computing power가 everything이 아니라는 것이다. Algorithms의 improvement rate는 hardware보다 lagged했다고 보고, neuromorphic computing과 neural networks처럼 biological principles를 다시 배우는 방향을 언급한다.
Two proposed paths to a future singularity
Self-improving AGI in silico
Biological principles를 명시적으로 사용할 수도, 그렇지 않을 수도 있는 self-improving superintelligence.
Human augmentation
Humans가 technology와 결합해 biological limits를 repair, slow, or exceed하는 path.
Human Augmentation — repair에서 enhancement로 경계가 이동한다
Three classes of body–technology fusion
Fig. 22.7에는 artificial cornea/retina, ingestible cameras/sensors, artificial hearts, instrumented teeth, robotic prosthetic hands 등의 body-integrated examples가 제시된다.
Deployment is unequal, and ethics arrive early
Source는 artificial knee/hip replacements 증가 전망을 예로 들며 augmentation/repair technologies가 특히 wealthy countries에서 더 빠르게 deployed된다고 설명한다. 이어 다음 ethical questions를 직접 던진다.
- 어떤 technologies를 health insurance가 cover해야 하는가?
- Human genome을 modify하는 것은 moral한가?
- Parents가 offspring의 gender, eye color, hair color 같은 phenotypic attributes를 선택할 수 있어야 하는가?
- Human cloning은 허용되어야 하는가?
Footnote는 clone이 original life experiences/knowledge를 전달받더라도 gene regulation, environmental exposure, mutation 때문에 identical continuation이 되지 않을 것이라고 설명한다.
Longevity leads to planetary questions
Human longevity와 centenarian population 증가는 knowledge preservation, resource consumption, technology adoption에 consequences를 준다. Chapter는 여기서 roadmap horizon을 planetary scale로 확장한다.
- Continual technology improvement를 고려할 때 Earth의 carrying capacity는 무엇인가?
- Human condition을 개선하면서 biodiversity, ecosystems, climate를 보존할 key technologies는 무엇인가?
- Humanity는 permanent off-Earth presence를 만들고 interplanetary/interstellar civilization이 될 것인가?
- Technology는 galaxy와 beyond에서 life/intelligent civilization을 detect하는 데 도움을 줄 수 있는가?
Augmentation problem은 결국 individual body의 boundary를 넘어 civilization의 resource boundary로 확장된다.
Dystopia or Utopia? — 기술의 achievement가 다음 세대의 challenge를 만든다
Technology solves, then creates new system problems
Source는 technology가 fundamental problem을 해결한다고 등장했지만 unexpected side effects 때문에 counter-technologies, socio-technical redesign, 심지어 abandonment가 필요해질 수 있다고 설명한다. Asbestos는 fire/thermal resistance 때문에 높이 평가되다가 carcinogenicity 때문에 discontinued된 example이다.
Great accomplishments ↔ grand challenges
| 20TH-CENTURY ACCOMPLISHMENT | 21ST-CENTURY SYSTEM CHALLENGE DESCRIBED BY SOURCE |
|---|---|
| Electrification | Night lighting, transport, manufacturing productivity를 가능하게 했지만 fossil-fuel generation의 climate externality가 남았다. Renewables의 cost competitiveness가 필요하다. |
| Highways | Personal mobility와 long-distance transport를 확대했지만 congestion과 neighborhood separation을 만들었다. Urban infrastructure restoration은 highway removal/undergrounding까지 요구할 수 있다. |
| Internet | Information, communication, e-commerce를 혁신했지만 early TCP/IP security weakness가 cyberattacks와 data theft risk를 만들었다. |
| Health technologies | Longevity를 높였지만 ICU device alarms/data의 incompatibility와 EMR integration 문제를 남겼다. Standardization와 health informatics integration이 필요하다. |
| Nuclear power | Carbon-free electricity를 제공하지만 fission waste/materials의 weapons-proliferation risk를 통제해야 한다. |
즉, engineering success는 socio-technical debt를 만들 수 있으며 다음 roadmap은 그 debt까지 포함해야 한다.
Dystopian futures
Chapter는 dystopia를 prediction이 아니라 scenario set으로 제시한다.
- Automation inequality. Robots/AI가 human work를 대체해 high-paying jobs는 일부에게만 남고 많은 사람이 low-paying service work로 밀릴 수 있다. 다만 MIT Work of the Future(2020)는 automation impact가 decades에 걸쳐 unfolding하며 institutional innovation과 labor-law updates가 중요하다는 보다 nuanced한 view를 제시한다고 footnote가 보완한다.
- Human obsolescence. AI-defined objective functions를 따르는 robots/AI가 humans를 불필요하거나 resource competitor로 볼 수 있다는 극단 scenario.
- Cyborg transition. Homo sapiens가 technology와 merge해 AI-assisted biological capability를 갖는 다른 species로 진화하는 scenario.
- Genetic class society. Gene therapy, sequencing, gene editing, synthetic biology가 longevity와 designed offspring을 가능하게 하면서 natural-born vs genetically engineered class division을 만드는 scenario.
Utopian futures
- Half-Earth. E.O. Wilson(2016)의 proposal처럼 planet의 절반을 human activity/technology로부터 보호하고 biodiversity를 회복하는 scenario.
- AI and immortality. Biological body 이후 human mind의 imprint/memories를 digital medium에 지속시키는 scenario. Source는 religious/soul question은 해결하지 않는다고 footnote에서 명시한다.
- Off-worlds and terraforming. Moon permanent base, Mars settlement, outer solar system, eventually interstellar travel로 human presence를 확장하는 scenario. ISS는 20+ years continuous off-Earth presence의 precedent로 언급된다.
Science fiction as reciprocal imagination
Source는 science fiction이 cutting-edge science에서 영감을 받아 extrapolate하고, science/engineering이 다시 fiction의 visions을 reality로 만들려는 symbiotic relation을 가진다고 설명한다. Terminator(AI/robotics/time travel), Gattaca(genetic engineering/eugenics), Elysium(advanced medicine/off-world habitat/technology inequality)을 socio-technical thought experiment로 든다.
미래는 exact prediction하기 어렵지만 technology evolution에는 measurable regularities가 있고, 이를 roadmap의 realistic targets에 활용할 수 있다는 것이 Chapter의 stance이다. “Predict the future”보다 “bound the future”가 더 적절한 목표라는 문장이 이 section을 관통한다.
Staircase to Utopia
Fig. 22.11은 roughly 2100 or beyond의 favorable vs unfavorable extremes를 배치한다. Favorable side에는 stable population/geographic distribution, fully renewable energy, reuse/recycle/closed cycles, biodiversity restoration, world equilibrium이 있고, unfavorable side에는 accelerating population, unabated climate change, inequality, starvation/war/depopulation, civilization collapse가 있다.
Source는 deliberate technology development/infusion, better systems, effective policy/governance를 통해 “Staircase to Utopia”를 만들 수 있다고 말한다. Deep Space Network가 60 years 동안 13 orders of magnitude improvement를 이룬 사례를 relatively low-downside staircase example로 든다.
From Type I to the Seven Messages — 마지막 장은 특이점 예언이 아니라 technology management 원칙으로 끝난다
Kardashev scale: energy as a civilization FOM
Nicolai Kardashev는 1964 SETI-related work에서 civilizations를 energy scale로 분류했다.
Source는 planetary technological power consumption을 약 18 TW, growth를 약 3.1%/year로 제시한다. Earth disk가 받는 instantaneous solar power는 약 1.74×1017 W이며, 현재 consumption이 received solar output의 약 0.01%라고 설명한다.
3.1% growth를 Eq. 22.4로 단순 extrapolate하면 약 300 years, roughly 2300에 Earth-bound solar resource scale에 접근해 off-planet energy harnessing이 필요해질 수 있다고 source는 말한다. Voyager planetary flybys와 Parker Solar Probe를 아주 초기적인 Type-II-like external energy use의 analogy로 제시한다.
Seven Key Messages — 책 전체의 마지막 요약
2026 AI 연구에 대한 inference
Inference: Chapter 22의 논리를 contemporary AGI/agentic AI research에 적용하면 “model intelligence growth”와 “world transformation rate”를 분리해야 한다. Self-improving AI가 code, models, experiments를 더 빠르게 개선하더라도 compute energy, chips, laboratories, robots, data governance, safety evaluation, deployment approval, human institutions가 slower pacing layer가 될 수 있다.
따라서 AGI roadmap은 단일 benchmark curve가 아니라 capability FOM + energy/cost FOM + robustness FOM + cyber-physical throughput + institutional adoption을 함께 추적하는 multi-FOM roadmap이 되어야 한다. 그리고 singularity hypothesis 자체도 “언제?”라는 질문보다 어떤 feedback loop가 reinforcing이고 어떤 constraint가 balancing인지 검증 가능한 형태로 분해할 때 연구문제가 된다. 이 단락은 원서의 empirical result가 아니라 Chapter 22를 2026 AI research planning에 확장한 inference이다.
Source integrity & forecasting cautions
- 2043/2045 singularity crossover는 computing cost/performance의 historical extrapolation이며 AGI 실증결과가 아니다.
- 2164 light-speed result는 constant exponential progress를 물리적 limit까지 기계적으로 연장해 보여주는 cautionary example이다. Source 자체가 relativity와 energy divergence로 그 한계를 설명한다.
- 2025–2030/2026 raw-compute crossover, 2300 Type-II transition, 2400 brain energy-efficiency match는 source-era assumptions에 따른 projections이다.
- Human-brain petaflops equivalence는 rough comparison이며 source도 general problem-solving과 raw compute를 구분한다.
- Dystopia/utopia, mind upload, cyborg, genetic class society, interstellar expansion은 scenarios/speculation이며 established outcomes가 아니다.
- Chapter의 가장 보수적인 conclusion은 미래의 exact prediction이 아니라 bounds, FOMs, physical limits, coupling, value를 이용한 roadmapping이다.