○ 작가의 말

데이터는 새로운 '석유'다. 기업 내에서 수집되는 정형, 반정형, 비정형 데이터의 양은 기하급수적으로 증가했다. 데이터에서 얻은 인사이트는 모든 기업의 중요한 차별화 요소이며, 제품의 기능과 비즈니스 프로세스 향상에는 머신러닝 모델이 사용된다.
엄청난 양의 데이터가 데이터 레이크(data lake) 내에서 수집되고 있지만, 항상 일관성 있고 정확하게 해석 가능하며 표준화될 만큼 충분하지는 않다. 데이터 과학자는 데이터 수집을 위한 시스템 정렬, 메타데이터 정의, ML 알고리듬을 제공하기 위한 데이터 랭글링(data wrangling), 대규모 파이프라인 및 모델 배포 등의 엔지니어링 활동에 상당한 시간을 소비한다. 이런 일들은 데이터 분석가의 핵심 역량인 인사이트 도출과는 무관할 뿐더러, 비즈니스 전후 사정에 대한 이해가 부족한 데이터 엔지니어나 플랫폼 IT 엔지니어에 의존하느라 늘 병목 현상이 발생한다. 데이터에 접근하려는 제품 관리, 마케팅, 재무, 엔지니어링 분야의 데이터 시민(data citizen, 사용자)은 늘어나는데 엔지니어링이 복잡하다 보니, 데이터 분석가와 과학자만 데이터에 접근할 수 있게 돼 데이터 민주화는 더욱 요원해지는 것이다. ML 프로그래밍의 발전에 관한 많은 책과 특정 데이터 기술에 대한 심층적인 책들이 나와 있기는 하지만, 다양한 데이터 사용자 지원을 한 셀프서비스 플랫폼 개발에 필요한 데이터 엔지니어링 운영 패턴에 대한 글은 거의 없다.
이 책에서는 데이터 사용자와 데이터 플랫폼 엔지니어의 관점을 모두 통합하고자 했다. 요구 사항에 대한 공통의 이해를 만드는 것은 가용 시간과 자원을 고려해 실현 가능한 것이 교차되는 실용적인 로드맵을 개발하는 데 매우 중요하다.

○ 역자 후기

데이터의 시대다. 데이터와 전혀 관련이 없어 보이던 분야에서도 데이터가 '보물 상자의 열쇠'라도 되는 것처럼 데이터를 도입하고 있다. 그런데 데이터 플랫폼을 도입하고 보면 생각만큼 단순하지 않다. 깊이 있는 분석을 위해서는 더 많은 데이터를 쌓아야 하는데, 데이터의 양과 원천 소스가 많아지는 만큼 데이터에 접근하고 분석하기가 점점 더 어렵다. 마치 보물 상자를 열어 보니 복잡한 보물 지도가 있고, 그 보물 지도가 가리키는 목적지를 찾아가니 또 다른 보물 상자가 있고, 또 그 상자를 열어보려면 또 다른 열쇠가 필요한 끊임없이 반복되는 보물찾기처럼 느껴진다. 이 책은 데이터 플랫폼을 구축하고 운영하는 분들이라면 경험해봤거나 접하게 될 다양한 문제점을 해결하기 위한 실마리를 제공한다. 저자는 데이터 플랫폼에 대한 풍부한 경험을 토대로 데이터 플랫폼을 구축하고 운영하고 사용하는 데 필요한 시간을 세분화해 각각의 단위별 시간을 줄일 수 있는 다양한 솔루션을 제시한다. 또한 수동 관리와 반자동 관리 그리고 완전 자동화에 이르기까지 단계적으로 솔루션을 적용할 수 있도록 안내한다.
이를 가능케 하는 것은 데이터 민주화와 셀프서비스 데이터다. 여기서 이야기하는 데이터 민주화란 데이터에 쉽게 접근할 수 있도록 기반을 만들어 데이터를 잘 아는 사람부터 잘 모르는 사람까지 누구나 데이터를 쉽게 사용해 인사이트를 도출할 수 있도록 하는 것을 말한다. 그리고 셀프서비스 데이터란 데이터 엔지니어나 데이터 과학자가 관여하지 않더라도 마케터, 사업 담당자, 서비스 운영 담당자 등 조직 내 모든 사람이 스스로 데이터에 접근해 인사이트를 추출할 수 있도록 만들어진 데이터 기반을 의미한다.
데이터와 관련된 용어는 대부분 영어다. 현업에서도 데이터 부서의 담당자가 아니면 이해하기 힘든 용어가 많기도 하고, 새로운 용어도 계속 생겨난다. 회사나 조직에 따라서는 같은 단어를 지칭하는 다른 용어가 혼재돼 사용되기도 한다. 가능하면 현업에서 이해하기에 무리가 없는 용어를 사용하려고 노력했지만, 일부 용어는 저자의 의도를 최대한 살리고자 영어 표현을 그대로 차용하기도 했다.

○추천사

쉬보단 바부(Shivnath Babu)(언라벌 데이터 시스템즈(Unravel Data Systems)의 공동 창립자 겸 CTO이자 듀크 대학교의 컴퓨터 과학 겸)
“각 개념에 대한 포괄적인 특징을 잘 알려주며 가장 최신 아이디어를 알려준다. 극도로 복잡한 문제를 분해해 해결할 수 있는 조각들로 나눈다.”

제니퍼 양(Jennifer Yang)(데이터 및 리스크 관리 책임자)
\"데이터 관리 전문가를 위한 포괄적인 개요를 제공하는 훌륭한 책이다.\"

1장. 소개
__원시 데이터에서 인사이트로의 여정 지도
____발견
____준비
____구축
____운영화
__인사이트 시간 스코어카드 정의
__나의 셀프서비스 데이터 로드맵 구축


1부. 셀프서비스 데이터 발견

2장. 메타데이터 카탈로그 서비스
__여정 지도
____데이터 세트 이해하기
____데이터 세트 분석하기
____지식 확장하기
__해석 시간 최소화
____기술 메타데이터 추출하기
____운영 메타데이터 추출하기
____팀 지식 수집하기
__요구 사항 정의
____기술 메타데이터 추출기 요구 사항
____운영 메타데이터 요구 사항
____팀 지식 취합기 요구 사항
__구현 패턴
____소스 특화 커넥터 패턴
____계보 상관 패턴
____팀 지식 패턴
__요약


3장. 검색 서비스
__여정 지도
____비즈니스 문제의 실행 가능성 확인하기
____데이터 준비를 위해 연관된 데이터 세트 선택하기
____프로토타이핑을 위해 현존하는 아티팩트 재사용하기
__탐색 시간 최소화
____데이터 세트 및 아티팩트 인덱싱
____결과의 순위 매기기
____접근 제어하기
__요구 사항 정의
____인덱서 요구 사항
____요구 사항 순위 매기기
____접근 제어 요구 사항
____비기능 요구 사항
__구현 패턴
____푸시 풀 인덱서 패턴
____하이브리드 검색 랭킹 패턴
____카탈로그 접근 제어 패턴
__요약


4장. 피처 저장소 서비스
__여정 지도
____사용 가능한 피처 찾기
____학습 세트 생성
____온라인 추론을 위한 피처 파이프라인
__피처화 시간 최소화
____피처 계산
____피처 제공
__요구 사항 정의
____피처 연산
____피처 제공
____비기능 요구 사항
__구현 패턴
____하이브리드 피처 연산 패턴
____피처 레지스트리 패턴
__요약


5장. 데이터 이동 서비스
__여정 지도
____소스 간 데이터 집계
____원시 데이터를 전문 쿼리 엔진으로 이동
____처리된 데이터를 서빙 저장소로 이동
____소스 전반의 탐색적 분석
__데이터 가용성 확보 시간 최소화
____데이터 수집 구성 및 변경 관리
____규정 준수
____데이터 품질 검증
__요구 사항 정의
____수집 요구 사항
____변환 요구 사항
____규정 준수 요구 사항
____검증 요구 사항
____비기능적 요구 사항
__구현 패턴
____배치 수집 패턴
____변경 데이터 캡처 수집 패턴
____이벤트 집계 패턴
__요약


6장. 클릭스트림 추적 서비스
__여정 지도
__클릭 시간 지표 최소화
____계측 관리
____이벤트 강화
____인사이트 쌓기
__요구 사항 정의
____계측 요구 사항 체크리스트
____보강 요구 사항 체크리스트
__구현 패턴
____계측 패턴
____규칙 기반 보강 패턴
____소비 패턴
__요약


2부. 셀프서비스 데이터 준비

7장. 데이터 레이크 관리 서비스
__여정 지도
____원시 수명주기 관리
____데이터 업데이트 관리
____배치 및 스트리밍 데이터 흐름 관리
__데이터 레이크 관리 시간 최소화
____요구 사항
__구현 패턴
____데이터 수명주기 기본 패턴
____트랜잭션 패턴
____고급 데이터 관리 패턴
__요약


8장. 데이터 랭글링 서비스
__여정 지도
__랭글링 시간 최소화
____요구 사항 정의
____데이터 큐레이팅
____운영 모니터링
__요구 사항 정의
__구현 패턴
____탐색적 데이터 분석 패턴
____분석 변환 패턴
__요약


9장. 데이터 권한 거버넌스 서비스
__여정 지도
____데이터 권한 요청 실행
____데이터 세트 발견
____모델 재학습
__규정 준수 시간 최소화
____고객 데이터 수명주기 추적
____고객 데이터 권한 요청 실행
____데이터 액세스 제한
__요구 사항 정의
____현재 고충 설문지
____상호 운용성 체크리스트
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____민감한 데이터 발견 및 분류 패턴
____데이터 레이크 삭제 패턴
____유스 케이스 기반 액세스 제어
__요약


3부. 셀프서비스 구축

10장. 데이터 가상화 서비스
__여정 지도
____데이터 소스 탐색
____처리 클러스터 선택
__쿼리 시간 최소화
____실행 환경 선택
____다중언어 쿼리 공식화
____사일로 간 데이터 결합
__요구 사항 정의
____현재 문제점 분석
____운영 요구 사항
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____자동 쿼리 라우팅 패턴
____통합 쿼리 패턴
____연합 쿼리 패턴
__요약


11장. 데이터 변환 서비스
__여정 지도
____프로덕션 대시보드 및 ML 파이프라인
____데이터 기반 스토리텔링
__변환 시간 최소화
____변환 구현
____변환 실행
____변환 작업
__요구 사항 정의
____현재 상태 설문지
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____구현 패턴
____실행 패턴
__요약


12장. 모델 학습 서비스
__여정 지도
____모델 프로토타이핑
____지속적 학습
____모델 디버깅
__학습 시간 최소화
____학습 오케스트레이션
____튜닝
____지속적 학습
__요구 사항 정의
____학습 오케스트레이션
____튜닝
____지속적 학습
____비기능 요구 사항
__구현 패턴
____분산 학습 오케스트레이터 패턴
____자동 튜닝 패턴
____데이터 인식 지속적 학습
__요약


13장. 지속적 통합 서비스
__여정 지도
____ML 파이프라인에서의 공동 작업
____ETL 변경 사항 통합
____스키마 변경 검증
__통합 시간 최소화
____실험 추적
____재현 가능한 배포
____테스트 검증
__요구 사항 정의
____실험 추적 모듈
____파이프라인 패키징 모듈
____자동화 모듈 테스트
__구현 패턴
____프로그래밍 가능한 추적 패턴
____재현 가능한 프로젝트 패턴
__요약


14장. A/B 테스트 서비스
__여정 지도
__A/B 테스트 시간 최소화
____실험 설계
____대규모 실행
____실험 최적화
__구현 패턴
____실험 명세 패턴
____지표 정의 패턴
____자동화된 실험 최적화
__요약


4부. 셀프서비스 운영화

15장. 쿼리 최적화 서비스
__여정 지도
____클러스터 막힘 방지
____런타임 쿼리 문제 해결
____애플리케이션 속도 향상
__최적화 시간 최소화
____통계 집계
____통계 분석
____작업 최적화
__요구 사항 정의
____현재 고충 설문지
____상호 운용 요구 사항
____기능 요구 사항
____비기능적 요구 사항
__구현 패턴
____회피 패턴
____운영 인사이트 패턴
____자동화된 튜닝 패턴
__요약


16장. 파이프라인 오케스트레이션 서비스
__여정 지도
____탐색 파이프라인 호출
____SLA 기반 파이프라인 실행
__오케스트레이션 시간 최소화
____작업 종속성 정의
____분산 실행
____프로덕션 모니터링
__요구 사항 정의
____현재 불만 사항 설문지
____운영 요구 사항
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____종속성 저작 패턴
____오케스트레이션 관측 가능성 패턴
____분산 실행 패턴
__요약


17장. 모델 배포 서비스
__여정 지도
____프로덕션에서 모델 배포
____모델 유지 관리 및 업그레이드
__배포 시간 최소화
____배포 오케스트레이션
____성능 확장
____드리프트 모니터링
__요구 사항 정의
____오케스트레이션
____모델 확장 및 성능
____드리프트 검증
____비기능 요구 사항
__구현 패턴
____범용 배포 패턴
____자동 확장 배포 패턴
____모델 드리프트 추적 패턴
__요약


18장. 품질 관측 가능성 서비스
__여정 지도
____일일 데이터 품질 모니터링 보고서
____품질 문제 디버깅
____저품질 데이터 레코드 처리
__인사이트 품질 시간 최소화
____데이터의 정확성 확인
____품질 이상 탐지
____데이터 품질 문제 방지
__요구 사항 정의
____데이터 품질 문제 감지 및 처리
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____정확도 모델 패턴
____프로파일링 기반 이상 탐지 패턴
____방지 패턴
__요약


19장. 비용 관리 서비스
__여정 지도
____비용 사용량 모니터링
____지속적인 비용 최적화
__비용 최적화 시간 최소화
____비용 관측 가능성
____수요 공급 매칭
____지속적 비용 최적화
__요구 사항 정의
____애로 사항 설문지
____기능 요구 사항
____비기능 요구 사항
__구현 패턴
____지속적 비용 모니터링 패턴
____자동 확장 패턴
____비용 어드바이저 패턴
__요약