긴 답사의 끝은 언제나 높은 데서 물을 바라보는 일이었다. 부서마다 판 우물이 물길이 되고, 물길이 서로 만나 마침내 호수를 이루는 정경 — 지식 그래프의 앞날이 꼭 그러하다. 데이터는 현대 기업의 가장 귀중한 자산 가운데 하나이니, 조직화 원리를 손에 쥐면 수많은 사용 사례에 상당한 비즈니스 가치를 모는 지식 그래프를 세울 수 있다. 이 마지막 장은 지식 그래프의 미래 방향을 살핀다 — 지식 그래프가 기업 스택의 아래로 내려가 더 기반적인 역할을 맡고, 그 역할 속에서 범위를 넓혀 가는 흥미로운 패턴, 곧 지식 호수(knowledge lake)다.
지난 몇 해 사이 지식 그래프의 배치는 현대 그래프 기술의 진보를 거울처럼 비추며 크게 번성했다. 개별 사용 사례나 부서를 위한 지식 그래프는 이제 흔한 풍경이 되었고, 컴플라이언스 같은 중요한 범기능 비즈니스 활동이나 고객 같은 핵심 엔터티를 위한 지식 그래프도 점점 늘고 있다. 걸음마다 지식 그래프의 범위가 자랄수록, 그것을 받치는 인프라는 스택의 더 아래로 내려간다 (그림 14-1). 이 고수준 아키텍처 자체에는 논란의 여지가 없다 — 어떤 지식 그래프는 좁게 쓰이고 어떤 것은 넓게 쓰이되, 저마다 얼마간의 비즈니스 가치를 몰고 오는 것이다.
내력은 이러하다. 지식 그래프는 그 부서의 데이터로 살림을 차린 부서의 자산으로 출발한다. 그러다 필요가 정교해지면 그 그래프들이 온톨로지와 미들웨어로 서로 맞물려 여러 부서의 데이터를 아우르는 지식 그래프가 된다. 가장 정교한 수준에 이르면 지식 그래프는 여러 부서의 데이터를 아우르는 데 그치지 않고 전사적 재사용을 위한 기반 기술 계층이 된다 — 큰 지식 그래프 시스템을 기반으로 삼으면 다른 지식 집약 시스템들을 그 큐레이션된 데이터 위에 편리하게 세울 수 있는 것이다. 지식 그래프가 널리 채택되어 스스로 다른 유용한 시스템들의 기초가 되었다는 점에서, 이는 분명한 성공이라 하겠다.
그러나 여기서 물음이 솟는다. 지식 그래프의 확산이 제 성공의 희생양이 되면 어찌 되는가? 기업은 수많은 지식 그래프를 어떻게 관리해야 통치 불능의 난장판을 면하는가. 기업 아키텍처가 끝없이 아래로 이어지는 재귀적 지식 그래프들의 체계로 퇴락하고 마는 것은 아닌가. 부디 그렇지 않기를 — 저자들의 바람이자, 이 장이 내놓는 답의 출발점이다.
더 많고 더 좋은 품질의 데이터라는 전망은 흥미롭다. 그것은 지식 그래프의 더 크고 넓은 역할을, 따라서 점점 더 기반적인 역할을 함의한다. 지식 그래프가 비즈니스에 더 근본적인 것이 될수록 배치 아키텍처가 달라진다 — (잠재적으로 여럿인) 개별 사용 사례용·범기능 활동용 지식 그래프들로부터 범용(general-purpose) 접근으로 옮겨 가는 것이다. 이 범용 접근의 이름이 곧 지식 호수(knowledge lake)다 (그림 14-2).
지식 호수란 그 자체가 하나의 지식 그래프이면서 다른 지식 그래프들과 비(非)그래프 데이터를 포섭할 수 있는 아키텍처이자 사용 패턴이다. 자리는 기업의 데이터 웨어하우스와 데이터 레이크 바로 곁이다. 조직 데이터의 큐레이션된 부분집합을 그래프로 표현해 저장하고, 그것을 기업 내부의 여러 프로젝트에 제공한다. 말하자면 재사용을 위해 설계된 지식 그래프들의 모음인 것이다.
지식 호수는 데이터 레이크의 대체물이 아니요, (그보다는 덜한 정도로) 데이터 웨어하우스의 대체물도 아니다. 데이터 레이크의 본령은 의미는 나중에 세우면 된다는 전제 아래 대량의 데이터를 고속으로 부어 넣을 수 있다는 것 — 볼륨과 스루풋이 핵심 특성이다.
지식 호수는 그 데이터에 사후에(after the fact) 의미를 가져온다. 레이크와 웨어하우스에 쌓인 방대한 데이터를 비즈니스에 가치 있게 만드는 것이다. 그리하여 비즈니스 의미를 띤 데이터가 소비되는 으뜸 렌즈가 되는 쪽은 지식 호수요, 결과적으로 두 세계의 최선을 함께 얻는다.
이 책 내내 보았듯, 지식 그래프는 연결된 데이터를 부려 비즈니스 가치를 모는 일을 돕되, 고비용·고위험의 걷어내고-갈아엎는(rip-and-replace) 기술 프로젝트 없이 그 일을 해낸다 — 기존 시스템 곁에 앉는 비파괴적 기술로 배치되면서 동시에 그 시스템들의 유용성과 가치를 높이는 것이다. 범위가 아무리 커도 지식 호수라고 다를 것이 없다. 최종 목표가 전사를 넓게 덮는 맥락화된 이해와 연계일지언정, 출발점은 시스템 하나만큼 작아도 된다. 여느 그래프가 그러하듯 지식 호수도 세월과 함께 자라며 더 많은 데이터와 사용 사례를 쌓아 간다. 진부해지거나 누더기가 되지 않도록 거버넌스와 자동화가 필요하지만, 그 종국은 기업 데이터 전체를 지도화하여 발견되고, 사용(그리고 재사용)되고, 큐레이션되게 하는 지식 호수인 것이다.
Naisbitt가 옳다. 우리의 비즈니스에 모자란 것은 데이터가 아니다. 도전은 그 데이터를 이해하고 좋은 곳에 쓰는 일이다. 지식 그래프는, 그리고 미래의 지식 호수는, 맥락 속에서 데이터를 이해할 중대한 기회를 표상한다. 이 책에서 본 패턴과 사용 사례들이 이 거대한 도전에 맞설 토대를 마련해 준다. 오늘, 당신에게는 막대한 비즈니스 가치를 지닌 시스템을 만들 능력이 있다. 내일이면, 가장 까다로운 데이터 집약 시스템의 복잡성마저 길들여 단일 데이터베이스에 질의하듯 쉽게 비즈니스 가치를 뽑아낼 수 있을지도 모른다. 신나는 여정이 앞에 놓여 있는 것이다.
긴 답사가 여기서 끝난다. 1장의 첫걸음에서 조직화 원리(2장)를 배우고, 그래프 데이터베이스(3장)와 데이터 적재(4장)로 터를 닦았으며, 정보 시스템 통합(5장)과 데이터 과학(6·7장)으로 살림을 불렸다. 메타데이터(8장), 아이덴티티(9장), 패턴 탐지(10장), 의존성(11장)의 네 지식 그래프를 차례로 밟았고, 시맨틱 검색(12장)을 지나 그래프에 말을 거는 법(13장)까지 익혔다. 그 끝에서 바라보는 것이 이 호수다. 과연 아는 만큼 보인다 했으니 — 이제 독자의 눈에는 데이터의 물길이, 그 물길이 모여들 호수가 보일 것이다. 남은 일은 저마다의 기업에서 첫 우물을 파는 것뿐이다.
확산의 세 걸음. 지식 그래프는 부서 자산으로 출발해, 온톨로지·미들웨어로 맞물린 다부서 그래프(컴플라이언스·고객)가 되고, 마침내 전사 재사용의 기반 기술 계층이 된다 — 범위가 자랄수록 인프라는 스택 아래로 내려간다.
성공의 역설이 낳은 물음. 수많은 지식 그래프가 통치 불능의 난장판이나 재귀적 그래프의 무한 강하로 퇴락하지 않으려면? 답은 개별·범기능 그래프들에서 범용 접근 — 지식 호수 — 로의 이행이다.
지식 호수의 정의. 그 자체가 지식 그래프이면서 다른 지식 그래프와 비그래프 데이터를 포섭하는 아키텍처·사용 패턴 — DW·데이터 레이크 곁에 앉아 큐레이션된 부분집합을 그래프로 저장하고 여러 프로젝트에 제공하는, 재사용을 위해 설계된 지식 그래프들의 모음이다.
대체가 아니라 렌즈. 데이터 레이크의 본령(대량 고속 주입, 의미는 나중에)은 그대로 두고, 지식 호수가 사후에 의미를 부여해 비즈니스 의미 데이터 소비의 으뜸 렌즈가 된다 — 두 세계의 최선이다.
작게 시작해 크게 자란다. rip-and-replace 없는 비파괴 배치라는 지식 그래프의 미덕은 호수에도 그대로다 — 출발은 시스템 하나, 성장은 거버넌스·자동화와 함께, 종국은 기업 데이터 전체의 지도화(발견·사용·재사용·큐레이션)다. "정보에 빠져 죽어 가면서 지식에 굶주리는" 시대의 처방이 여기 있다.
이로써 『Building Knowledge Graphs: A Practitioner's Guide』 전 14장의 한국어 답사가 완결되었다. 1장 지식 그래프 소개 → 2장 조직화 원리 → 3장 그래프 데이터베이스 → 4장 데이터 적재 → 5장 정보 시스템 통합 → 6장 데이터 과학 보강 → 7장 그래프 네이티브 ML → 8장 메타데이터 → 9장 아이덴티티 → 10장 패턴 탐지 → 11장 의존성 → 12장 시맨틱 검색과 유사도 → 13장 지식 그래프와의 대화 → 14장 지식 호수. 사랑하면 알게 되고 알면 보이나니, 그때 보이는 것은 전과 같지 않으리라.