★ 이 책에서 다루는 내용 ★
■ 복잡한 데이터를 다루기 위한 여러 가지 알고리즘과 기술의 구현
■ 파이썬, R, Julia과 같은 데이터 사이언스 분야의 가장 인기 있는 프로그래밍 언어
■ 데이터의 효율적인 관리와 처리를 위한 Spark, Mahout, 하둡의 연동 기법
■ 머신 러닝 기술을 실제 문제에 적용하기 위한 최적의 방안
■ 딥러닝에 대한 심화 학습과 머신 러닝의 첨단 기술에 신경망 알고리즘 활용 방법
■ 머신 러닝의 향후 전망과 폴리글롯 일관성, 시맨틱 데이터에 관한 심층 학습
★ 이 책의 대상 독...
★ 이 책에서 다루는 내용 ★
■ 복잡한 데이터를 다루기 위한 여러 가지 알고리즘과 기술의 구현
■ 파이썬, R, Julia과 같은 데이터 사이언스 분야의 가장 인기 있는 프로그래밍 언어
■ 데이터의 효율적인 관리와 처리를 위한 Spark, Mahout, 하둡의 연동 기법
■ 머신 러닝 기술을 실제 문제에 적용하기 위한 최적의 방안
■ 딥러닝에 대한 심화 학습과 머신 러닝의 첨단 기술에 신경망 알고리즘 활용 방법
■ 머신 러닝의 향후 전망과 폴리글롯 일관성, 시맨틱 데이터에 관한 심층 학습
★ 이 책의 대상 독자 ★
머신 러닝을 실제로 다루고 실제 애플리케이션도 개발하는 데이터 과학자를 위한 책이다. 머신 러닝과 예측 분석(predictive analytics)의 기본 개념부터 향후 빅데이터의 혁명을 리드할 최신 기술에 이르기까지 빅데이터 관련 분야의 모든 것을 다룬다. 따라서 빅데이터 관련 업무를 맡고 있는 모든 사람에게 이 책이 꼭 필요할 것임을 확신한다. 아울러 파이썬이나 R과 같은 프로그래밍 지식과 수학에 대한 지식이 있으면 훨씬 유리할 수 있다.
★ 이 책의 구성 ★
1장, '머신 러닝의 소개'에서는 머신 러닝의 기본 개념과 머신 러닝의 의미에 대해 전반적으로 알아본다. 머신 러닝을 알기 쉽게 정의하고, 머신 러닝 분야에서 사용되는 전문 용어를 소개한다.
2장, '머신 러닝과 대규모 데이터셋'에서는 대규모 데이터셋, 공통된 특징, 반복되는 문제,데이터 규모가 폭발적으로 증가하는 이유, 빅데이터에 대한 효과적인 접근 방법 등을 다룬다.
3장 '하둡 아키텍처와 하둡 에코시스템'에서는 핵심 프레임워크부터 하둡 에코시스템의 컴포넌트에 이르기까지 하둡에 대한 전반적인 내용을 다룬다. 3장을 끝까지 학습하고 나면 하둡을 설치하고 맵리듀스 함수를 실행시킬 수 있는 역량을 갖출 수 있다 또한 하둡 환경을 실행시키고 관리하는 기법과 커맨드라인을 기반으로 사용하는 방법도 알 수 있다.
4장, '머신 러닝 관련 툴과 라이브러리, 프레임워크'에서는 머신 러닝을 구현할 때 어떤 종류의 오픈소스를 사용할 수 있는지 설명한다. 아울러 아파치 머하웃(Apache Mahout), 파이썬(Python), R, 줄리아(Julia), 아파치 스파크(Apache Spark의 MLlib) 같은 다양한 라이브러리,툴, 프레임워크를 설치,개발,실행시킬 수 있는 방법도 알아본다. 하둡이라는 빅데이터 플랫폼에서 이런 종류의 프레임워크를 어떻게 통합하는지도 다룬다.
5장, '의사결정 트리 기반 학습'에서는 분류와 회귀 문제를 해결하는 방법으로 의사 결정 트리에 기반을 둔 지도 학습법을 알아본다. 트리를 분할하고, 가지치기 하는 방법, 어트리뷰트를 선정하는 방법을 자세히 살펴본다. 또한 CART, C4.5, 랜덤 포레스트, 최신 의사 결정 트리 기술도 알아본다.
6장, '인스턴스 기반 학습과 커널 기법 기반 학습'에서는 2가지 학습 알고리즘인 인스턴스 기반 기법과 커널 기법에 대해 알아본다. 이들은 분류와 예측 문제를 주로 다루는 데 사용된다. 인스턴스 기반 학습의 대표 알고리즘인 KNN 알고리즘에 대해 자세히 학습한다. 커널 기반 기법에서는 예제를 통해 서포트 벡터 머신 알고리즘을 자세히 알아본다.
7장, '연관 규칙 기반 학습'에서는 연관 규칙(association rule)을 기반으로 한 학습 기법과 대표 알고리즘인 Apriori와 FP-growth에 대해 자세히 알아본다. 많이 알려진 예제를 바탕으로 Apriori와 FP-growth 알고리즘을 어떻게 빈발 패턴 마이닝(Frequent pattern mining)에 적용하는지 알고리즘의 각 단계별로 자세히 알아본다.
8장, '클러스터링 기반 학습'에서는 비지도 학습 관점에서 클러스터링 기반 학습법을 다룬다. K-평균 클러스터링 알고리즘에 대해 자세히 알아보고, 이를 파이썬, R, 줄리아, 스파크, 머하웃 등을 이용해 어떻게 구현하는지 알아본다.
9장, '베이지언 학습'에서는 베이지언 머신 러닝에 대해 다룬다. 또한 통계학에 관한 핵심 개념을 주요 용어들을 바탕으로 자세히 알아본다. 베이즈 정리에 대해 깊이 있게 알아보고, 이를 실제 사례에 어떻게 적용하는지 예제를 통해 알아본다.
10장, '회귀 기반 학습'에서는 회귀 분석에 기반을 둔 머신 러닝에 대해 알아보고, 구체적으로 파이썬, R, 줄리아, 스파크 등을 이용해 선형 회귀와 로지스틱 회귀 모델을 어떻게 구현하는지도 알아본다. 또한 분산, 공분산, ANOVA 같은 통계학 관련 지식도 함께 알아본다. 실제 사례에 적용하는지 예제를 이용해 회귀 모델을 깊이 있게 다룬다.
11장, '딥러닝'에서는 신경 전달 조직인 뉴런에 대해 알아보고, 이를 이용해 어떻게 인공 뉴런을 함수와 연결 지을 수 있는지 설명한다. 신경망의 핵심 개념을 학습하고, 이를 바탕으로 다중 계층화 구조가 어떻게 동작하는지 파악한다. 행렬 곱셈 연산에 사용되는 주요 활성화 함수에 대해서도 알아본다.
12장, '강화 학습'에서는 최신 학습 기술 중 하나인 강화 학습에 대해 알아본다. 전통적인 지도 학습 및 비지도 학습과 강화 학습이 어떻게 다른지 살펴보고, 예제를 이용해 마르코프 결정 프로세스(MDP)가 어떻게 동작하는지 알아본다.
13장, '앙상블 학습'에서는 다양한 머신 러닝 기법을 대상으로 앙상블 학습을 알아본다. 실제 적용 가능한 예제를 이용해 지도 앙상블 학습법에 대해 알아본다. 끝으로 R, 파이썬(scikit-learn), 줄리아, 스파크 머신 러닝 툴을 이용한 기울기 상승 알고리즘(Gradient Boosting algorithm)과 아파치 머하웃 라이브러리를 이용한 추천 엔진에 대해서도 소스코드를 이용해 직접 실습해본다.
14장, '머신 러닝을 위한 차세대 데이터 아키텍처'에서는 머신 러닝의 개발 측면을 중점적으로 다룬다. 전통적인 분석 플랫폼은 무엇이고, 최근에 많이 증가하고 있는 데이터 요구 사항과는 왜 잘 맞지 않는지 등을 자세히 알아본다. 새로운 데이터 아키텍처 패러다임을 이끌고 있는 아키텍처 드라이버인 람다 이키텍처(Lambda architecture), 폴리글롯 일관성(polyglot persistence), 다중 모델 기반 데이터 아키텍처에 대해서도 학습한다. 매끄러운 데이터 통합이 이뤄질 수 있도록 시맨틱 아키텍처를 어떻게 활용하면 되는지도 살펴본다.

1장. 머신 러닝의 소개
__머신 러닝
__머신 러닝의 정의
____머신 러닝 관련 핵심 개념과 주요 용어
____학습이란?
______데이터
______레이블이 있는 데이터와 레이블이 없는 데이터
______태스크
______알고리즘
______모델
____머신 러닝에서 데이터와 비일관성
______과소적합
______과적합
______데이터 불안정성
____실무 관점의 머신 러닝 주요 사례
______예측 불가한 데이터 포맷
______분류
____학습 알고리즘의 유형
______클러스터링
______전망, 예측, 회귀
______시뮬레이션
______최적화
______지도 학습
______준지도 학습
______비지도 학습
______강화 학습
______딥러닝
____성능 측정 함수
______분석 결과가 적정한가?
______평균제곱 오차(MSE)
______평균 절대 오차(MAE)
______정규화 MSE와 MAE(NMSE와 NMAE)
______에러 처리: 바이어스와 분산
____머신 러닝의 주요 분야
______데이터 마이닝
______인공지능
______통계 학습
______데이터 과학
____머신 러닝 프로세스 라이프 사이클과 솔루션 아키텍처
____머신 러닝 알고리즘
______의사 결정 트리 기반 알고리즘
______베이지언 기법 기반 알고리즘
______커널 기법 기반 알고리즘
______클러스터링 기법
______인공 신경망 기법(ANN)
______디멘전 축소화
______앙상블 기법
______인스턴스 기반 학습 알고리즘
______회귀 분석 기반 알고리즘
______연관 규칙 기반 학습 알고리즘
____머신 러닝 툴과 프레임워크
____요약
2장. 머신 러닝과 대규모 데이터셋
__빅데이터 및 대규모 분석을 위한 머신 러닝
____기능적 관점과 구조적 관점 : 방법론 측면에서의 미스매치
______정보의 상품화
______RDBMS가 갖는 이론적 한계
______저장소 스케일업과 스케일아웃
______분산형, 병렬형 컴퓨팅 전략
____머신 러닝: 확장성 및 성능 관점
______매우 많은 데이터 관점이나 인스턴스
______매우 많은 어트리뷰트나 피처
______응답 시간 윈도우 단축: 실시간 응답을 위해 필요
______매우 복잡한 알고리즘
______피드 포워드, 반복 예측 사이클
____모델 선정 프로세스
____대규모 머신 러닝 작업에서 주의할 사항
__알고리즘과 동시 실행
____동시 실행 알고리즘의 개발
__스케일업 머신 러닝을 위한 기술과 구현 방법
____맵리듀스 프로그래밍 패러다임
____메시지 패싱 인터페이스(MPI)를 지닌 고성능 컴퓨팅(HPC)
____LINQ 프레임워크
____LINQ를 이용한 데이터셋 가공 작업
____GPU
____FPGA
____멀티코어 또는 멀티프로세서 시스템
__요약
3장. 하둡 아키텍처와 하둡 에코시스템
__아파치 하둡의 소개
____하둡의 진화(플랫폼의 선택)
____하둡 플랫폼과 하둡의 핵심 요소
__빅데이터를 위한 (하둡 기반) 머신 러닝 솔루션 아키텍처
____데이터 소스 계층
____유입 계층
____하둡 스토리지 계층
____하둡 (물리) 인프라스트럭처 계층: 어플라이언스 지원
____하둡 플랫폼/처리 계층
____분석 계층
____소비 계층
______시각화를 이용한 데이터 설명 및 탐색
______보안과 모니터링 계층
______하둡 핵심 구성 요소 프레임워크
______HDFS에서 데이터 읽기/쓰기 작업
______장애 처리
______HDFS 커맨드라인
______RESTFul HDFS
__맵리듀스
____맵리듀스 아키텍처
____대규모 데이터셋에 맵리듀스가 필요한가?
____맵리듀스 전체 실행 흐름과 구성 요소
____맵리듀스 구성 요소 개발
__하둡 2.x
____하둡 에코시스템 구성 요소
____하둡 설치와 환경 설정
______JDK 1.7 설치
______하둡을 위한 시스템 유저 생성
______IPv6 비활성화
______하둡 2.6.0 설치 방법
______하둡 시작
____하둡 배포판 및 주요 업체
__요약
4장. 머신 러닝 툴과 라이브러리, 프레임워크
__머신 러닝 툴: landscape
__아파치 머하웃
____머하웃 동작 원리
____아파치 머하웃 설치와 설정
______메이븐 설정 방법
______이클립스 IDE를 이용한 아파치 머하웃 설정
______이클립스 없이 아파치 머하웃 설정
____머하웃 패키지 구성
____머하웃에서 벡터 구현
__R
____R 설치와 설정
____아파치 하둡과 R 통합
______방법 1: R과 하둡의 스트리밍 API를 이용
______방법 2: R의 Rhipe 패키지를 이용
______방법 3: RHadoop을 이용
______R/하둡 통합 방법 요약
____(예제를 이용한) R 프로그래밍
______R 표현식
______R 벡터
______R 행렬
______R 팩터
______R 데이터 프레임
______R 통계 프레임워크
______줄리아
______줄리아 설치와 설정
______줄리아 커맨드라인 버전을 다운로드해 사용
______주노 IDE를 이용한 줄리아 실행
______웹 브라우저에서 줄리아 실행
____커맨드라인에서 줄리아 코드 실행
____줄리아 코드 구현(예제)
____변수와 할당문 이용
______수치 기본 요소
______데이터 구조
______문자열과 문자열 조작 작업
______패키지
______연동 기법
______그래픽과 플로팅 방법
____줄리아의 장점
____줄리아와 하둡의 통합
__파이썬
____파이썬 툴킷 옵션
____(예제를 이용한) Python 구현
______파이썬 설치와 scikit-learn 설정
__아파치 스파크
__스칼라
____RDD를 이용한 프로그래밍
__스프링 XD
__요약
5장. 의사 결정 트리 기반 학습
__의사 결정 트리
____주요 용어
____목적과 용도
____의사 결정 트리의 구성
______결측치 처리
______의사 결정 트리 생성 시의 고려 사항
______의사 결정 트리 그래픽 표현
______의사 결정 트리의 구축 의사 : 결정 트리 알고리즘
______탐욕 의사 결정 트리
______의사 결정 트리의 장점
____특화된 형태의 의사 결정 트리
______사선 트리
______랜덤 포레스트
______진화 트리
______헬링거 트리
__의사 결정 트리 구현
____머하웃 사용
____R 사용
____스파크 사용
____파이썬(scikit-learn) 사용
____줄리아 사용
__요약
6장. 인스턴스 기반 학습과 커널 기반 학습
__인스턴스 기반 학습(IBL)
____최근접 이웃 알고리즘
______KNN에서 k의 값
______KNN에서의 거리 측정법
______사례 기반 추론(CBR)
______국지 가중 회귀
____KNN 알고리즘의 구현
______머하웃 사용
______R 사용
______스파크 사용
______파이썬(scikit-learn) 사용
______줄리아 사용
__커널 기법 기반 학습
____커널 함수
____서포트 벡터 머신(SVM)
______분리할 수 없는 데이터
____SVM 구현
______머하웃 사용
______R 사용
______스파크 사용
______줄리아 사용
______파이썬(scikit-learn) 사용
__요약
7장. 연관 규칙 기반 학습
__연관 규칙 기반 학습
____연관 규칙 정의
____Apriori 알고리즘
______규칙 생성 전략
____FP-growth 알고리즘
____Apriori와 FP-growth
__Apriori와 FP-growth의 구현
______머하웃 사용
______R 사용
______스파크 사용
______파이썬(scikit-learn) 사용
_

★ 지은이의 말 ★

근래 들어 점점 복잡해지고 규모도 커지고 있는 데이터셋에서 의미 있는 무언가를 찾아내려는 시도는 계속 증가하고 있다. 머신 러닝, 예측 기술은 데이터에서 높은 가치를 지닌 정보를 찾아내는 데 있어 가장 중요한 기술이 됐다. 머신 러닝은 복잡한 알고리즘을 활용해 이전까지 축적한 패턴과 데이터셋의 유형을 바탕으로 좀 더 향상된 예측 결과를 만들어낸다. 즉, 머신 러닝 기술은 다양한 통찰력을 데이터 간의 관계, 공통 패턴, 트렌드 형태로 제공하며, 이는 비즈니스를 만들고, 향상시키는 데 있어 대단히 높은 가치를 지니고 있다.
이 책을 통해 머신 러닝의 기본 개념을 자세히 학습할 수 있기를 바란다. 또한 실제 업무에서 경험할 수 있는 문제의 복잡성을 자세히 파악한 후 정형 데이터, 비정형 데이터를 효과적으로 처리하고 관리할 수 있게 하둡이나 기타 에코시스템 등도 적용해보기 바란다.

★ 옮긴이의 말★

최근 몇 년간 빅데이터와 머신 러닝에 대한 대중의 관심과 기술 발전은 놀라울 정도입니다. 특히 클라우드 컴퓨팅이 보편화되면서 필요한 만큼의 컴퓨팅 자원을 적절하게 활용하는 방식의 접근법은 기존 데이터 분석 방식을 전면적으로 바꾸고 있다. 또한 대용량의 데이터 처리/분석이나 엄청나게 복잡도가 높은 데이터도 적절한 시간 내에 분석할 수 있게 됐다.
하지만 데이터 분석 분야에서 제한된 환경을 극복하기 위한 끊임없는 노력과 성과는 무엇보다도 중요한 부분이다. (예를 들면 근사화(Approximation) 기법, 샘플링(Sampling) 기법 등을 통해 분석 정확도와 소요 시간에 대한 트레이드오프를 적절하게 활용하는 것이다.) 이론적 배경을 갖추는 것이 중요한 이유는 이론은 컴퓨팅 자원의 활용만으로는 해결하기 어려운 사안을 극복할 수 있도록 단초를 제공하기 때문이다. 그래서 기술이 빠르고 다양하게 발전할수록 기본에 충실해야 하는 것이 더욱 중요하다.
이 책은 머신 러닝과 빅데이터에 대한 풍부한 이론과 다양한 소스코드를 제공하며, 최신 기술도 쉽고 자세하게 설명한다. 많은 분들이 이 책을 통해 실제 업무에서 머신 러닝을 잘 활용하실 수 있기를 기대한다.