AWS re:Invent 2025 - Build an AI-ready data foundation (ANT304)

Abstract

An unparalleled level of interest in generative AI and agentic AI is driving organizations to rethink their data strategy. While there is a need for data foundation constructs such as data pipelines, data architectures, data stores and data governance to evolve, there are business elements that need to stay constant like cost-efficiency and effectively collaborating across data estates. In this session we will cover how building your data foundation on AWS provides the tools and the building blocks to balance both needs, and empower organizations to grow their data strategy for building AI-ready applications.

AI-Ready Data Foundations in Asset Management: From Strategy to Action

1. AI 지원 데이터(AI-Ready Data) 시장의 정의 및 범위 (AI 공동 과학자용)

• AI 지원 데이터란 특정 AI 유즈케이스에 맞게 정제되고, 구조화되었으며, 포괄적이고 맥락화된 데이터를 의미합니다. 데이터의 적합성은 ‘완벽한 데이터’라는 추상적인 이상향보다는 유즈케이스의 요구사항과 선택된 AI 기술(예: 생성형 AI 또는 에이전틱 AI)에 의해 정의됩니다.
• AI 지원 데이터 시장은 조직이 비즈니스 도메인 전반의 AI 워크로드(통신사의 경우: 네트워크 운영, 고객 상호작용, 과금, 서비스 사용 등; 기업의 경우: 분석, 의사결정, 자동화 및 에이전틱/생성형 AI 시스템)를 위해 데이터를 수집, 연결, 큐레이션, 거버넌스 및 전달할 수 있도록 지원하는 역량과 서비스를 포괄합니다.
• 따라서 AI 지원 데이터에는 기본적인 데이터 관리(수집, 통합, 품질, 메타데이터)와 AI 특화 관행(데이터 라벨링, 합성 데이터, 프롬프트 엔지니어링, 시맨틱 처리, 지속적인 품질 검증)이 모두 포함되며, 이들이 결합되어 AI 공동 과학자 및 기타 에이전틱 시스템의 배포를 지원합니다.

2. AI 지원 데이터 시장의 주요 서비스 및 제품 카테고리

• 데이터 통합 및 수집 플랫폼: 사일로화된 소스를 연결하고 AI 학습 및 추론 파이프라인으로 데이터가 지속적으로 흐를 수 있게 합니다.
• 데이터 품질, 프로파일링 및 데이터 관측성(Observability) 서비스: AI 워크로드에 대한 데이터의 적합성을 지속적으로 평가 및 제시하며, 텔레메트리 기반 운영을 지원합니다.
• 메타데이터, 카탈로그 및 시맨틱 레이어: 맥락, 계보(Lineage) 및 공통 시맨틱을 제공하여 모델과 에이전트가 데이터를 발견하고 사용할 수 있도록 합니다.
• 데이터 라벨링 및 어노테이션 서비스/플랫폼: 인간 참여형(Human-in-the-loop) 워크플로우를 포함하여 모델의 지도 학습 및 미세 조정을 지원합니다.
• 합성 데이터 생성 및 시뮬레이션 플랫폼: 전문 도메인(예: 네트워크 시뮬레이션, 디지털 트윈)을 위한 학습 데이터셋을 증강합니다.
• 프롬프트 엔지니어링 및 모델 상호작용 도구: LLM 및 에이전틱 시스템에서 사용하는 프롬프트와 체인(Chains)을 준비, 테스트 및 유지 관리합니다.
• ModelOps / 모델 수명 주기 플랫폼: 운영 중인 모델에 대한 배포, 모니터링, 지속적인 재학습 및 거버넌스 통제를 제공합니다.
• AI 게이트웨이, 모델 라우터 및 정책 집행 제품: 모델 실행 제어, 모델 간 라우팅을 수행하며 실행 시 보안, 프라이버시 및 비용 통제를 강제합니다.
• 관측성 및 텔레메트리 파이프라인: 데이터, 모델, 인프라 전반의 추적(Traces), 지표(Metrics), 로그를 통합하여 투명성을 제공하고 사고 대응을 가속화합니다.
• 거버넌스, 컴플라이언스 및 프라이버시 도구: 책임감 있고 감사 가능한 AI 배포를 위해 액세스 제어, 데이터 마스킹, 감사 및 동형 암호와 같은 신흥 암호화 기술을 지원합니다.
• 교차 기능 플랫폼 엔지니어링 및 관리 서비스(AI 플랫폼 엔지니어링, 운영 플랫폼, FinOps): 조직이 개념 증명(POC)에서 운영 단계로 전환하고, 에이전틱 또는 공동 과학자 시스템을 대규모로 운영할 수 있도록 돕습니다.

3. 최첨단 AI 공동 과학자 개발에 필요한 핵심 기술 구성 요소

• 이기종 컴퓨팅 패브릭(CPUs, GPUs, AI ASICs 등): 하이브리드 아키텍처에 통합되어 워크로드를 성능, 비용 및 에너지 효율성에 최적화된 엔진에 매칭합니다.
• 고속 네트워킹 및 성능 최적화 저장소: 대규모 모델 학습, 데이터 이동 및 하이브리드 환경에서의 저지연 추론을 지원합니다.
• 통합 소프트웨어 스택 및 공통 프로그래밍 모델: 이기종 컴퓨팅을 추상화하여 온프레미스, 클라우드, 엣지 환경 간의 이식성을 지원합니다.
• 동적 오케스트레이션 및 워크로드 라우팅 레이어: 학습 및 추론 작업을 가장 적합한 컴퓨팅 자원에 자동 배치하며, ModelOps 및 CI/CD 파이프라인과 통합됩니다.
• 데이터 수집 및 스트리밍 플랫폼: 공동 과학자의 학습, 인덱싱 및 실행 컨텍스트에 공급될 실시간 데이터 흐름과 비즈니스 시스템 간 통합을 지원합니다.
• 데이터 카탈로그, 메타데이터 및 시맨틱 처리 레이어: 공동 과학자가 신뢰할 수 있는 관련 데이터에 접근하고 추론할 수 있도록 맥락과 발견 가능성을 제공합니다.
• 데이터 라벨링, 증강 및 합성 데이터 파이프라인: 실제 데이터가 부족하거나 민감한 도메인 시나리오를 시뮬레이션하고 라벨링된 학습 세트를 생성합니다.
• ModelOps 역량: 배포 오케스트레이션, 지속적 검증, 드리프트 탐지, 재학습 자동화 등을 통해 운영 중인 공동 과학자 모델의 신뢰성과 준수성을 유지합니다.
• AI 게이트웨이 및 모델 라우터: 실행 경로 제어, 정책 강제, 적절한 모델로의 쿼리 라우팅을 통해 실행 시 비용과 신뢰성의 균형을 최적화합니다.
• 관측성 및 텔레메트리 파이프라인: 데이터 소스, 모델, 인프라 전반의 로그와 지표를 통합하여 AI 기반 사고 대응 및 근본 원인 분석을 가능하게 합니다.
• 설계 및 실행 단계의 거버넌스/보안 통제: 기본 정책 적용, 액세스 제어, 데이터 최소화 등을 통해 신뢰할 수 있는 AI 행동과 규제 준수를 보장합니다.
• 플랫폼 엔지니어링 및 ‘정해진 경로(Paved roads)’ 자동화: 안전하고 반복 가능한 전달을 가속화하여 비전문가도 공동 과학자와 효과적으로 협업할 수 있게 합니다.

4. 아키텍처 및 배포 패턴 (개요)

• 하이브리드 조립형(Composable) 아키텍처: 기존 기업 시스템 위에 AI 슈퍼컴퓨팅 레이어를 얹어, 기존 투자를 보존하면서 필요한 곳에 특화된 컴퓨팅을 사용합니다.
• 플랫폼 중심 배포: 데이터 수집, 메타데이터, ModelOps 등을 공유 플랫폼 서비스로 통합하여 AI 팀에 셀프 서비스 형태의 ‘정해진 경로’를 제공합니다.
• 모델 학습 및 컨텍스트 저장소에 공급되는 지속적 데이터 파이프라인: 스트리밍 수집 → 큐레이션/품질 점검 → 메타데이터 등록 → 라벨링/증강 → 학습/재학습 → 모델 레지스트리/배포로 이어지는 흐름입니다.
• 실행 시간 제어 평면(Runtime Control Plane): AI 게이트웨이와 모델 라우터를 통해 거버넌스를 강제하고, 요청을 적절한 시스템으로 라우팅하며 비용과 SLA를 관리합니다.
• 상관관계 기반 관측성: 데이터 계보, 모델 입출력, 인프라 성능을 연관 지어 감사, 컴플라이언스 및 신속한 사고 해결을 지원합니다.

5. 데이터 준비 시 내장해야 할 거버넌스, 프라이버시 및 컴플라이언스 통제

• 단순 중앙 집중식 프로세스보다는 비즈니스 성과(신뢰, 투명성 등)에 맞춘 적응형 거버넌스와 경영진의 책무성을 확립합니다.
• 거버넌스를 정적인 원칙에서 실행 시간 집행(Runtime Enforcement)으로 전환합니다. AI 관측성, AI 게이트웨이 등을 수명 주기에 통합하여 설계뿐 아니라 실행 중에도 통제가 적용되도록 합니다.
• 데이터 프라이버시 및 리스크 통제를 코드화하고, 암호화된 데이터에 대한 분석이 필요한 경우 동형 암호와 같은 암호화 기술을 평가합니다.
• 에러 예산(Error budgets) 및 성과 중심 지표를 사용하여 리스크 허용 범위를 관리하고, 도입 초기에는 저위험 유즈케이스를 우선시합니다.

6. 운영 및 조직적 조력자 (Enablers)

• 공동 과학자 시스템을 운영하고 시범 운영에서 대규모 생산 단계로 전환하기 위해 교차 기능 AI 플랫폼 엔지니어링 역량(소프트웨어, 데이터, AI Ops, 보안, FinOps)을 구축합니다.
• 기술과 비즈니스 도메인을 연결하고 모델과 성과 간의 지속적인 일치를 유지하기 위해 새로운 역할(운영 아키텍트, 데이터 제품 관리자, ModelOps 엔지니어 등)과 업스킬링에 투자합니다.
• 영향력이 큰 워크로드에 대한 파일럿 프로젝트를 우선시하고, 새로운 가속기에 대해 단계적 롤아웃을 사용하며, 기존 투자를 보호하는 조립형 아키텍처를 채택합니다.

7. 최종 관점 (조직이 시장에서 기대해야 할 사항)

• 이 시장은 전통적인 데이터 관리, 새로운 AI 특화 도구 및 관행, 그리고 학제간 운영 플랫폼을 결합하여 데이터를 공동 과학자와 에이전틱 시스템이 안정적으로 사용할 수 있도록 만듭니다.
• 성공은 컴퓨팅이나 저장소만큼이나 거버넌스, 관측성 및 플랫폼 엔지니어링에 달려 있습니다. 조직은 운영을 고려해 설계하고, 실행 시간 통제를 내장하며, 안전한 AI 사용이 비즈니스 전반에서 반복될 수 있도록 ‘정해진 경로’를 구축해야 합니다.