R&D 조직의 문제는 아이디어 부족보다 선택의 구조에 있다. 기초연구와 기술성숙, demonstrator, product development는 서로 다른 maturity와 risk를 갖고, 각각의 프로젝트는 scope·schedule·budget·risk가 맞물린다. 동시에 실제 조직은 수십~수백 개 프로젝트를 수행하며 모두를 승인할 자원은 없다. Chapter 16은 이 문제를 프로젝트 단위와 포트폴리오 단위의 두 층으로 푼다. 먼저 프로젝트의 목표를 측정 가능한 FOM 변화와 시간, 비용, 위험으로 정의하고 CPM·budget·risk matrix·earned value로 실행을 통제한다. 그다음 strategic drivers, roadmaps, FOM targets, project dependencies를 하나의 구조로 연결하고, expected ΔNPV와 uncertainty를 사용해 R&D 투자 자체를 constrained mean–variance portfolio problem으로 바꾼다.
Four R&D Project Regimes — 모든 연구를 한 종류의 프로젝트처럼 관리하면 maturity와 실패의 의미를 잃는다
Blue Sky, R&T, Demonstrator, R&D는 TRL과 IRL 위에서 서로 다른 목적을 가진다.
Project와 operation을 먼저 구분한다
R&D function은 미래를 준비하기 위해 foundational research, technology invention/improvement, demonstrator/prototype, product/service development와 certification, existing mission/product/service sustaining을 수행한다. 그러나 대부분의 R&D work는 discrete project 형태다. Source가 정의한 project는 specific objective를 가지며 start/end date와 funding limit가 있고 resources를 소비하는 task series다.
TRL/IRL에 따른 네 가지 프로젝트 유형
| TYPE | MATURITY / ROLE | PRIMARY PURPOSE | SOURCE EXAMPLE |
|---|---|---|---|
| Blue Sky | Mainly TRL 1–3 | Feasibility가 불확실하지만 novel·potentially disruptive·impactful한 research. Universities와 government/nonprofit institutes에서 주로 수행. | DARPA-funded 100-Year Starship concepts for human interstellar mission. |
| Research & Technology (R&T) | TRL 3 → 6 | Basic feasibility가 established된 technology를 robust하게 maturity시키며 failure modes를 찾아 제거. | High-specific-impulse electric/plasma propulsion, including electrospray propulsion. |
| Demonstrators | TRL + IRL progression | One or more immature technologies를 prototypical system에 통합해 realistic conditions에서 test하고 derisking/learning 수행. | NASA X-57 Maxwell distributed electric propulsion demonstrator. |
| R&D / Product & Service Development | Toward TRL 9 / EIS | Commercially successful product/service 또는 scientific mission의 development, certification, entry into service. | Qantas Project Sunrise challenge for ~21-hour nonstop Australia–Europe/U.S. flight. |
Source는 TRL을 immature technology를 mature system에 infusion하는 readiness scale, IRL을 mature technology를 novel system에 통합하는 readiness scale로 설명한다. Demonstrator는 두 readiness를 동시에 높이는 learning laboratory다.
European R&T terminology의 정책적 함의
Footnote는 France/Germany 등 일부 European context에서 R&T와 R&D 구분이 더 명확하다고 설명한다. TRL 6 이전 R&T에 대한 government funding은 일반적으로 수용되지만 TRL 6 이후 commercial product/service development funding은 subsidy로 간주되어 WTO issue가 될 수 있다는 source의 정책적 설명이 붙는다.
The portfolio problem starts here
핵심은 네 유형 가운데 하나를 고르는 것이 아니다. 장기·고위험 탐색과 단기·고성숙 개발을 어떻게 섞을 것인가가 R&D portfolio shaping의 본질이다. Source는 NASA/U.S. Air Force X-programs를 demonstrator category의 iconic projects로 들고 Bell X-1의 1947 sound-barrier achievement를 언급한다.
Exercise 16.1
과거의 iconic R&D project를 하나 골라 Fig. 16.1 유형으로 분류하고 goals, milestones, budget, organizational setup, 성공/실패, lessons learned, follow-up을 반 페이지 정도로 정리한 뒤 자신이 참여하거나 lead하고 싶었는지 평가하도록 요구한다.
Design the Project Before Funding It — project charter는 좋은 문서가 아니라 value proposition을 scope·schedule·budget·risk로 강제하는 계약이다
Project preparation → planning → monitoring → adapting → learning의 inner/outer loop가 프로젝트를 일회성 이벤트가 아니라 조직학습 단위로 만든다.
Project lifecycle: control loop and learning loop
Source는 monitoring↔adapting을 project control loop, project completion 뒤 next project로 넘어가는 loop를 generational learning이라고 부른다. Continuing-learning organization은 project를 반복할수록 더 나아져야 한다.
Scope: “무엇을 연구할 것인가?”보다 “어떤 FOM을 언제까지 얼마나 움직일 것인가?”
Project goal은 technical/economic goals와 milestones로 표현된 value proposition이어야 한다. Chapter는 B747 example을 이어 받아 reference aircraft의 SFC를 약 7.9% 줄여 새로운 mission을 enable하는 목표를 든다.
이 식은 project가 \(\Delta t=t_1-t_0\) 안에 적어도 약 7.9%의 SFC reduction을 달성해야 한다는 뜻이다. 성공은 이 FOM target을 allocated schedule과 budget 안에서 달성하는 것이다. Purely qualitative goal도 가능하지만 객관적 progress tracking과 success judgment가 더 어려워진다고 source는 지적한다.
Footnote는 technology value를 투자당 FOM improvement \(\Delta FOM/\Delta\$\)와 FOM당 revenue/cost effect \(\Delta\$/\Delta FOM\)의 결합으로 생각할 수 있으며 product가 technology-investment ROI로 이어져야 한다고 Chapter 17을 예고한다.
Schedule: WBS, serial dependency, critical path
목표가 정해지면 work packages, tasks, milestones로 분해해 SOW와 WBS를 만든다. Source의 typical R&D example은 60 tasks가 dependencies로 연결되며 system requirements → software requirements → detailed design → testing → deployment 같은 phases로 구성된다. Critical path가 earliest finish date를 결정하고 source example은 147 workdays, 약 7개월을 제시한다.
Task마다 early/late start/finish와 slack을 계산하고 필요한 people/HR를 estimate해야 schedule이 realistic budget으로 연결된다.
Budget: work → schedule → resources
Budget은 scientists, engineers, technicians labor뿐 아니라 project management/coordination, demonstrator materials/consumables, specialized test facilities, software/technology licensing, firm overhead를 포함해야 한다.
- Define the work — SOW와 WBS로 tasks/milestones를 명확히 한다.
- Schedule the work — dependencies를 고려해 CPM/Gantt timeline을 만든다.
- Allocate budgets — people, materials, services를 tasks에 배정하고 full-time/part-time을 반영한다.
Cumulative budget curve는 project spending이 초기에는 느리고 중간에 빨라지며 끝에 완화되는 S-curve 형태를 보일 수 있다. Source는 nominal project budget 위에 10–30% 정도의 management reserve를 추가해 risks/contingencies를 proactive하게 관리하라고 권한다.
Iron triangle: Scope × Schedule × Cost
Credible plan은 scope, schedule, cost assumptions가 서로 consistency를 가져야 한다. “Optimal pace”보다 지나치게 빠르거나 느리게 추진하면 cost가 증가할 수 있고 scope 확대는 schedule/cost를 밀어올린다. Budget reduction은 일정 안에서 달성 가능한 scope를 줄인다.
경영진이 원하는 scope·date·budget을 모두 고정한 뒤 팀에게 현실화하라고 요구하는 것은 계획이 아니라 모순을 떠넘기는 것이다. Source는 good R&D leader가 unrealistic expectations에 push back할 수 있어야 한다고 강조한다.
Risk matrix
Risk는 project success를 막을 수 있는 factor/event이며 identification, assessment, monitoring이 필요하다. Source의 NASA-style matrix는 probability × impact의 5×5 구조다. Impact level 5는 loss of mission, budget overrun greater than $10M, 또는 level-1 milestone slip 같은 catastrophic criteria를 포함한다. Source figure는 low-probability/high-impact event를 더 무겁게 다루도록 risk level 1–12를 배치한다.
Risks는 accept, mitigate, eliminate할 수 있고 management reserve가 proactive risk treatment의 재원이다. Risk-free R&D는 사실상 존재하지 않을 뿐 아니라 worthwhile하지 않을 수 있으며 portfolio가 risk mix를 균형 있게 가져야 한다.
Project identity and charter
합의된 project는 기억하고 communication하기 쉬운 unique name/identity를 가져야 한다. Source는 Airbus DISCO — Disruptive Cockpit을 autonomy-enhanced cockpit과 future single-pilot operations goal을 가진 example로 소개한다.
One-page project ID card에는 picture/description, program/project manager, technology roadmap, target products, added-value FOM targets, risks, TRL progression, milestones, budget가 들어간다. Detailed charter와 함께 공유되어야 하며 technology → target product → FOM → parent roadmap link가 명확해야 portfolio traceability와 cross-business reuse가 가능해진다.
Planning topics that are often neglected
Burn rate는 균일하지 않고 maturity가 올라갈수록 project가 비싸지는 경향이 있다. 여러 projects의 expensive phases/EIS가 겹치면 R&D funding spike가 발생한다. Engineering capacity도 finite하므로 project 수/complexity를 줄이거나 timing을 offset하고, hire하거나, outsource/partner해야 한다.
Agile은 software-oriented/smaller projects에서 좋은 결과를 보였지만 multi-year complex hardware project에 대한 effectiveness는 source 집필시점에도 debated된다고 설명한다. Complex hardware는 integration/testing을 완전히 incremental하게 할 수 없기 때문이다. Waterfall이든 Agile이든 target schedule, resources, final value proposition이 필요하다.
Execute with Earned Value, Not Spending Alone — 돈을 썼다는 사실과 일이 진전됐다는 사실을 분리한다
EVM은 schedule baseline, accomplished work, actual cost를 연결하지만 percent-complete optimism과 critical-path blindness라는 한계도 있다.
Five EVM quantities
| QUESTION | TERM | ACRONYM |
|---|---|---|
| How much work should be done? | Budgeted Cost for Work Scheduled | BCWS |
| How much work is done? | Budgeted Cost for Work Performed | BCWP |
| How much did performed work cost? | Actual Cost of Work Performed | ACWP |
| What was the total project supposed to cost? | Budget at Completion | BAC |
| What do we now expect the total project to cost? | Estimate at Completion | EAC |
Core indices and forecasts
Source example에서 scheduled work의 80%만 실제로 수행되었다면 \(SPI=0.8\)이며 project가 약 20% behind schedule인 것으로 해석한다. CPI는 실제 수행한 work가 plan보다 싸게/비싸게 되었는지 보여준다.
Footnote는 basic EVM의 SPI가 critical-path dependencies를 직접 반영하지 않으므로 CPM상 schedule status와 달라질 수 있다고 주의한다. ETC formula는 앞으로도 지금까지와 같은 cost efficiency가 유지된다는 가정을 가진다.
EVM gaming: 80–90% done syndrome
Common failure mode는 task-level %-complete를 낙관적으로 매기는 것이다. Task가 빠르게 80–90% complete로 올라가지만 실제 completed work는 50% 미만일 수 있다. Source는 external verifier가 확인한 milestone만 completed로 세거나 0/50/100% rule을 쓰는 방법을 제안한다.
Why R&D projects overrun
NASA science missions: overrun concentration
NRC study는 40개 NASA Earth/Space Science missions를 분석했고 14 missions가 전체 cost overruns의 92%를 차지했다고 source는 요약한다. 주요 이유는 overly optimistic initial estimates, project instability/funding issues, advanced instruments/spacecraft-technology problems, launch-service issues/delays였다.
Schedule growth와 cost growth는 source에서 \(R^2\approx0.64\)로 strongly correlated되며 한 mission의 cost growth가 organizational replanning을 일으켜 earlier-stage missions까지 지연시키는 portfolio-level propagation이 가능하다. 개별 프로젝트의 overrun은 그 프로젝트만의 문제가 아니라 전체 포트폴리오의 timing과 cost를 흔든다.
Exercise 16.2
Blue Sky/R&T/Demonstrator/R&D 가운데 하나의 project를 구상하고 FOM-based value proposition, WBS, schedule, budget, risk matrix를 포함한 draft plan을 만든 뒤 왜 challenging하면서 worthwhile한지 설명하고 경험 있는 colleague의 feedback으로 realism을 검증하도록 요구한다.
Portfolio Shaping — “좋은 프로젝트”의 집합이 자동으로 좋은 포트폴리오가 되지는 않는다
Portfolio는 capacity, strategic balance, dependency, termination discipline을 동시에 만족해야 한다.
Orders of magnitude: strategy에서 500+ projects까지
Source의 major aerospace example은 portfolio-management scale을 정량적으로 보여준다. 25 strategic drivers가 7 technology thrust areas(technology push)와 9 product/service clusters(technology pull)를 설정하고, 이들이 40 technology roadmaps → 100+ FOM targets → 500+ projects로 내려간다. Project-level excellence만으로는 이 규모를 통제할 수 없다.
Wheelwright–Clark project portfolio taxonomy
| PORTFOLIO TYPE | ROLE | RELATION TO CHAPTER 16 PROJECT TYPES |
|---|---|---|
| Advanced R&D | Commercial development의 precursor가 되는 innovation/technology development | Blue Sky와 특히 R&T가 들어갈 수 있다. |
| Breakthrough | Product/process에 significant change를 만들고 새 core를 형성 | Demonstrator와 advanced R&D 일부. |
| Platform | 여러 해 활용되는 product/process family base | Reusable R&T platform 또는 new product/service platform. |
| Derivative | Cost-reduced version, add-on, enhancement, mature market-targeted development | 보통 TRL 7–9. 반드시 new technology를 포함하지 않는다. |
| Allied Partnerships | Third-party resources/activities를 leverage | 다른 모든 project areas와 결합 가능. |
Footnote는 Airbus–Siemens–Rolls-Royce의 E-Fan X를 2 MW class electric-propulsion allied partnership example로 들고, source는 2020 COVID-19-related budget cuts로 prematurely stopped되었다고 서술한다.
PreQuip: 30 projects에서 11 projects로
Disguised industrial firm “PreQuip”은 scientific instruments business를 운영했지만 projects가 schedule/budget을 넘고 new products/technologies를 제대로 deliver하지 못하며 workforce가 overloaded/stressed 상태였다. Existing 30 R&D projects를 mapping하자 available workforce 대비 overbooking factor ≈3, 즉 capacity의 약 세 배를 수행하고 있음이 드러났다.
Portfolio rationalization 뒤 11 projects로 줄였다. Three advanced R&D, one gas-chromatography breakthrough, three platform, three derivative, one external-partner breakthrough가 남고 emphasis도 higher-margin data processing/handling으로 조정했다. Source는 portfolio alignment 이후 productivity, speed, impact가 significantly increased했다고 Wheelwright & Clark의 결과를 소개한다.
Portfolio management의 가장 강한 action은 새로운 프로젝트를 시작하는 것이 아니라 조직 capacity에 맞지 않는 프로젝트를 줄이는 것일 수 있다.
STOP · CHANGE · KEEP · START
Source는 early termination이 실무에서 매우 어렵다고 설명한다. Management와 technical staff가 premature closure를 failure로 받아들이기 때문이다. 그러나 value-based portfolio shaping에서는 STOP이 자연스럽고 healthy한 decision일 수 있다. New START가 줄어드는 또 다른 이유는 total requested budget이 R&D ceiling보다 크기 때문이다.
Projects are linked: INDEPENDENT, AND, OR, XOR
- INDEPENDENT — 두 projects가 unrelated.
- AND — 한 project가 다른 project의 enabler여서 함께 funding되어야 한다.
- OR — 같은 FOM을 address해 하나 또는 둘 다 fund할 수 있다.
- XOR — competing technologies라 하나만 down-select되어야 한다.
이 logical dependency는 뒤의 mathematical constraints로 이어진다.
Strategic Alignment — 프로젝트를 roadmap과 product value에 연결하지 않으면 portfolio는 목록으로 퇴화한다
Vector chart는 project combinations의 value path를, MDM은 strategy→roadmap→FOM→project traceability를 보여준다.
Vector chart: project combination as value path
각 vector path는 서로 다른 R&D project combination을 의미한다. Origin (0,0)은 known reference product이고 각 technology가 incremental contribution을 더해 scenario endpoint를 만든다. Source example의 x-axis는 Delta Present Value to Manufacturer, y-axis는 Delta PV to Operator/customer다.
왼쪽 horizontal contribution은 producer manufacturing cost를 주로 줄이는 technology, vertical upward는 operator/customer value를 높이는 technology, diagonal은 manufacturer cost와 customer value를 동시에 움직이는 technology를 나타낸다. Similar product target을 달성하는 nonunique project combinations가 존재하며 cumulative R&D expenditure 같은 criterion으로 path를 비교할 수 있다.
ATRA Multidomain Mapping Matrix
MDM은 strategic drivers, Level-1/Level-2 technology roadmaps, FOM targets, project value propositions를 한 구조에 연결한다. Source figure는 illustrative counts로 strategic drivers와 roadmaps, 200+/300+ scale의 FOM/projects를 배치하며 integrated portfolio traceability를 시각화한다.
좋은 portfolio architecture는 project를 예산항목이 아니라 strategy와 FOM 사이의 traceable edge로 취급한다.
Quantitative Portfolio Optimization — intuition 중심의 funding discussion을 expected ΔNPV와 covariance가 있는 constrained optimization으로 바꾼다
Markowitz의 mean–variance logic을 R&D에 옮기되 technology는 tradable asset이 아니므로 valuation, dependency, uncertainty를 스스로 모델링해야 한다.
The fundamental allocation question
주어진 total R&D budget과 candidate technologies가 있을 때 각 technology에 얼마의 fraction을 배분해야 하는가? 이를 위해 technology valuation under uncertain scenarios, projected net cash flows, technology dependencies, technological/business constraints가 필요하다. Technology portfolio optimization은 enterprise risk management와도 연결될 수 있다.
Bi-objective problem: maximize value, minimize uncertainty
Chapter 12의 individual-technology infusion과 같은 metric을 portfolio level로 확장한다. Value는 expected portfolio delta net present value, uncertainty는 ΔNPV distribution의 standard deviation이다.
\(\phi\)는 technology investment portfolio weights, \(\Sigma\)는 scenario-based variance–covariance matrix다. Pareto frontier 위에서는 value를 더 높이면 risk도 증가한다. Minimum-risk portfolio와 maximum-value portfolio가 trade-space를 경계 짓고 둘을 동시에 달성하는 Utopia Point는 fundamental tradeoff 때문에 unattainable하다.
Intermediate portfolio 선택에는 \(E_p(\Delta NPV)/\sigma_p(\Delta NPV)\) 같은 value-to-risk ratio를 사용할 수 있다.
Constraints translate policy and dependencies into mathematics
Minimum/maximum weight는 각 technology에 반드시 유지할 최소 investment 또는 diminishing-return 이후의 upper bound를 나타낼 수 있다. Sum of minimum weights가 preallocated budget이며 나머지만 optimization에 사용할 수 있다.
이 linear inequality/equality constraints는 앞 절의 AND, OR, XOR relation을 codify할 수 있다. Truly independent technologies라면 total budget 외에는 coupling constraint가 필요하지 않다. Arbitrary constraints가 복잡해지면 source는 simulated annealing이나 genetic algorithm 같은 heuristic optimization도 언급한다.
Investment does not unlock value linearly forever
Individual technology의 investment–value 관계는 S-curve를 따르며 lower threshold 아래에서는 거의 value가 없고 middle region에서 빠르게 증가한 뒤 saturation될 수 있다. Portfolio example에서는 middle region을 linear approximation으로 단순화한다.
R&D 예산은 “조금씩 모두 나누면 안전하다”가 아니라 technology-specific value-unlocking threshold와 saturation을 고려해야 한다.
Technology Value Connectivity Matrix
Technology의 value는 자기 자신에 대한 direct investment뿐 아니라 related/enabling technologies에 대한 concurrent investment에서도 생길 수 있다. Value connection matrix의 diagonal은 direct value, off-diagonal은 synergy/enabler에 의한 indirect value generation을 나타낸다.
Portfolio total value는 direct weighted value와 interaction value의 합으로 표현된다. Off-diagonal interaction data가 없으면 illustrative analysis에서는 diagonal-only approximation을 사용한다. 이 가정은 convenience이지 실제 technology independence의 증명이 아니다.
Examples and the Future — optimal portfolio는 숫자가 자동으로 정해주는 답이 아니라 risk posture와 constraints를 드러내는 협상공간이다
Uniform/nonuniform bounds 사례에서 efficient frontier를 만들고, 다음 단계는 dynamic go/no-go와 real options를 결합한 multistage stochastic management다.
Illustrative setup: 12 technologies, €1M
Source examples는 independent하다고 가정한 12 technologies와 hypothetical total investment €1 million을 사용한다. Total investment가 \(P\) million €이면 portfolio value/risk/investment를 \(P\)배 하면 된다는 scale assumption을 둔다.
Example 1: uniform 5% minimum allocation
모든 12 technologies에 \(\phi_{min}=0.05\)를 주면 budget의 60%가 preallocated되고 40%만 optimizer가 자유롭게 배분한다. 모든 business unit/product/technology area에 minimum R&D entitlement를 보장하는 상황을 모사한다.
Example 2: realistic nonuniform bounds
두 번째 example은 technology별로 다른 \(\phi_{min}\), \(\phi_{max}\)를 둔다. Bounds는 nominal R&D cost estimates/budget requests에 proportional하게 만들며 source는 \(\sum\phi_{min}\approx0.5\), \(\sum\phi_{max}>2.0\)인 representative situation을 구성한다. Upper bounds는 additional spending이 diminishing return 때문에 substantial value를 더 만들지 못하는 경우를 표현한다.
Result에서는 first three portfolios가 거의 같은 risk인데 value는 증가한다. 이는 imposed bounds와 individual technology properties의 artifact다. “Portfolio opportunity” \(E_p/\sigma_p\)는 처음 다섯 portfolios에서 높고 이후 점차 줄어든다. Low-risk portfolios는 low-risk technologies에 higher/max weights를 주고, maximum-value portfolio #20은 high-value clusters #4, #7, #9에 limiting weights를 준다.
The optimizer does not replace governance
어느 Pareto-optimal portfolio를 선택할지는 CEO, CFO, CTO, board의 risk posture와 negotiation에 달려 있다. Private ownership, venture capital, public equity, pension-fund ownership 같은 investor structure도 R&D risk posture에 영향을 줄 수 있다고 source는 설명한다.
Conceptual redraw of the source’s efficient-frontier logic; coordinates are illustrative, not measured source values.
Future of R&D portfolio optimization
Source가 제시하는 next steps는 다음과 같다. TRL balance와 technology-category allocation 같은 constraints, business budget constraints, investment에 따른 nonlinear/diminishing ΔNPV, technology별 projected ΔNPV distribution을 이용한 probabilistic optimization이 필요하다.
실무의 가장 큰 난점은 target product/service에 mapping된 technology-level ΔNPV distributions를 objective/verifiable하게 만들고 senior management, 특히 CFO가 받아들일 수 있게 하는 일이다. Source footnote는 많은 technology companies의 finance departments가 deterministic planning에 익숙해 probabilities/statistical analysis를 불편해하는 현상을 지적한다.
시간에 따른 tactical portfolio management는 stage별 go/no-go decision을 가진 multistage stochastic optimization과 real-options look-ahead valuation으로 formulation할 수 있다. Source는 이를 technology-roadmapping maturity level 5에 해당하는 sophisticated practice로 본다.
더 나아가 portfolio “quality” function을 shareholder value나 EPS 같은 financial business outcome에 explicit하게 연결하면 R&D portfolio와 commercial outcome을 synchronize할 수 있으며 이 논의는 Chapter 17로 이어진다.
AI·Agentic R&D planning에 대한 해석
Inference: Chapter 16의 구조는 AI 연구포트폴리오에도 적용할 수 있다. “LLM 연구”, “Agent 연구”, “AI4Science”처럼 broad topic만 적는 대신 각 project를 target product/mission과 연결하고 measurable FOM—예를 들어 task success, calibrated reliability, inference cost, latency, tool-call error, evidence coverage, human-review load—의 \(\Delta FOM/\Delta t\)로 정의할 수 있다.
Portfolio layer에서는 개별 project의 expected value뿐 아니라 shared datasets, foundation models, evaluation infrastructure, agent-runtime platform처럼 off-diagonal synergy를 만드는 enablers를 connectivity matrix로 모델링할 수 있다. 반대로 같은 benchmark와 동일 product goal을 두고 경쟁하는 approaches는 OR/XOR relationship을 갖는다.
또한 AI 연구는 outcome uncertainty가 크므로 one-shot annual ranking보다 stage-gated evidence를 반영하는 multistage go/no-go 구조가 더 자연스러울 수 있다. 다만 AI project의 ΔNPV나 covariance를 객관적으로 추정하는 일은 source가 일반 technology portfolio에서 지적한 것보다도 더 어려울 수 있다. 이 단락은 Chapter 16의 framework를 AI R&D planning에 적용한 해석이며 원서의 실증결과가 아니다.