이 책이 제시하는 핵심 내용
이 책은 상용으로 하둡을 운용하는 방법을 알려주는 실전 가이드다. 하둡 인프라 설계, 배포, 운영, 튜닝, 보안, 백업에 대한 전문적인 정보를 제공한다.

대상 독자
- 하둡을 설치하고 운영하려는 시스템 엔지니어
- 하둡 클러스터 관리자
- 하둡을 체계적으로 다시 공부하고 싶은 개발자

이 책의 내용
이 책은 상용으로 하둡을 실행하는 방법을 알려주는 실전 가이드다. 하둡에 익숙한 사람들은 설치를 위한 대안을 이미 알고 있거나 또는 CPU 효율을 기준으로 맵 슬롯의 개수를 적절하게 조절하는 방법에 대해 다르게 생각할 수도 있다. 하지만 예상보다 더 좋을 것이다. 가능한 모든 시나리오들을 다 나열하는 것이 목적이 아니므로, 주요 배포판에서 검증된 작업을 주로 설명한다. 장별 내용은 다음과 같다.

2장, 3장_ HDFS와 맵리듀스는 무엇이고, 왜 필요하고, 어떻게 동작하는지 심도 깊게 설명한다.
4장_ 하드웨어 선택, 기본 자원 계획, 운영체체 선택과 설정, 하둡 배포판과 버전 선택, 하둡 클러스터를 위한 네트워크 고려사항을 포함한 하둡 배포를 위한 계획의 전 과정을 다룬다.
5장_ 하둡을 직접 설치해서 테스트한다. 5장은 주제별로 구성되어 있으며 중요한 속성들의 목록을 포함한 설정과 설치 정보를 다룬다.
6장_ 강한 보안 요구사항이나 하둡의 식별, 접근, 인증에 대해 다룬다.
7장_ 다수의 그룹이 단일 대형 클러스터를 공유할 때 필요한 모든 것을 다룬다. 이 장은 서비스 수준 규약을 준수하면서 자원들을 적절하게 관리하고 할당하는 데 도움을 준다.
8장_ 모든 것이 준비되고 실행되고 나서 읽어야 할 가장 일반적인 조작과 작업을 위한 실행 설명서를 제공한다.
9장_ 하둡과 같은 복잡한 분산 시스템의 트러블슈팅 이론과 실습을 다루고 약간의 실전 사례도 포함하고 있다.
10장_ 문제를 줄이기 위해 하둡 클러스터의 효율적인 모니터링 방법을 다룬다.
11장_ 하둡의 백업과 돌이킬 수 없는 실패에 대처하는 기본 도구와 기술을 다룬다.

도서 특징
♣ 하둡 클러스터 설치에서 트러블슈팅까지!
클러스터 운영에 필요한 기술 요구사항은 엄청나게 급증하고 있으며, 하둡은 사실상 데이터 센터에서 대규모 데이터를 처리하는 표준이 되었다. 따라서 복잡한 대규모 하둡 클러스터를 관리한다면 이 책을 반드시 읽어야 한다. 클라우데라의 핵심 솔루션 아키텍트인 에릭 새머는 상용 시스템 설정에서 하둡을 운영, 기획, 설치, 관리하는 방법을 상세히 알려준다. 모든 시나리오를 다루는 대신 주요 배포판에서 증명된 작업을 위주로 설명한다.

- HDFS와 맵리듀스에 대한 고수준 개요와 발전 방향을 이해한다.
- 운영체제 및 네트워크 요구사항 등 하둡 배포 계획을 세운다.
- 중요한 속성을 목록화하고 설치와 설정의 세부 내용을 배운다.
- 다수의 그룹이 공유하는 클러스터의 자원을 관리한다.
- 일반적인 클러스터 관리 작업 방법을 익힌다.
- 클러스터를 모니터링하고 사례로부터 트러블슈팅 방법을 배운다.
- 백업과 실패를 처리하기 위한 기본 도구와 기술을 사용한다.

옮긴이의 글
몇 년 전부터 빅데이터가 IT의 주요 트랜드로 전 세계적인 핫이슈입니다. 그 핵심 기술로 하둡과 하둡 에코시스템이 주목을 받고 있는데요, 하둡은 구글이 발표한 구글 파일시스템과 맵리듀스 논문을 더그 커팅이 모방하여 개발한 오픈소스로 2005년에 처음 공개되었습니다. 현재 오픈소스를 체계적으로 개발하고 지원하는 아파치 소프트웨어 재단을 중심으로 전 세계 수많은 개발자가 하둡과 하둡 에코시스템을 개발하고 있습니다. 야후, 페이스북 등 글로벌 인터넷 회사는 하둡을 실제 적용한 서비스를 제공하고 있으며, 내부적인 필요 때문에 만들어진 피그, 하이브 등을 과감히 오픈소스로 공개했습니다.

하둡은 오픈소스이며 현재 개발 과정에 있지만 머지않아 오라클과 같은 상용시스템으로 안정화될 것입니다. 아쉽게도 하둡에 대한 기술 자료는 제대로 정리되어 있지 않고 잘못된 정보도 많아서 개인이 이를 설치하고 사용하는 것은 상당히 어렵습니다. 역자도 많은 시행착오를 거쳤으며 오랜 시간 구글링에 매달렸습니다. 하둡 프로그래밍에 관한 책은 2010년 『하둡 완벽 가이드』를 시작으로 번역서와 저서가 조금씩 출간되고 있습니다. 하지만 하둡을 설치하고 운영하는 내용에 관한 책은 전혀 찾을 수 없었습니다. 그런데 작년 10월 오라일리에서 『Hadoop Operations』가 출간되었고 그 내용을 보면서 정말 놀랄 수밖에 없었습니다. 좋은 책이 나와서 매우 기뻤고, 이 책의 번역을 맡게 되어 기쁨은 두 배가 되었습니다.

이 책은 하둡을 모르는 상태에서 처음 설치하려는 사용자에게는 전혀 도움이 안 될 수도 있습니다. 이 책은 하둡을 상용 수준으로 설치하고 운영하려는 시스템 엔지니어를 위해 만들어졌습니다. 저자인 에릭 새머는 상용 하둡 회사인 클라우데라의 핵심 엔지니어로 많은 실전 경험이 있는 인물입니다. 『실전 하둡 운용 가이드』는 기본 설치에 대해서는 간단히 넘어가지만 하둡 인프라 설계, 배포, 운영, 튜닝, 보안, 백업에 대한 전문적인 정보를 제공하고 있습니다. 저는 현재 클라우데라 매니저와 비슷한 하둡 클러스터 매니저를 개발하고 있는데 이 책에서 큰 도움을 받았습니다.

- 옮긴이 장형석

“이 책은 하둡 클러스터를 설정하고 운영하는 모든 면에 대해서 실질적이고 적절하고 이해하기 쉽고 상세한 조언을 제공한다. 이 책은 하둡 관리자의 필독서다.”
- 톰 화이트, 하둡 커미터, 『하둡 완벽 가이드』 저자

1장 소개
_1.1 하둡 에코시스템
_1.2 이 책에 대하여

2장 하둡 분산 파일시스템
_2.1 목표와 동기
_2.2 설계
_2.3 데몬
_2.4 데이터 읽기와 쓰기
_2.5 파일시스템 메타데이터 관리
_2.6 네임노드 고가용성
_2.7 네임노드 페더레이션
_2.8 접근과 통합

3장 맵리듀스
_3.1 맵리듀스 4단계 처리 과정
_3.2 하둡 맵리듀스 개요
_3.3 얀

4장 하둡 클러스터 계획 수립
_4.1 하둡 배포판과 버전 선택
_4.2 하드웨어 선택
_4.3 운영체제 선택과 준비 사항
_4.4 커널 튜닝
_4.5 디스크 설정
_4.6 네트워크 설계

5장 설치와 설정
_5.1 하둡 설치하기
_5.2 설정 : 개요
_5.3 환경 변수와 셸 스크립트
_5.4 로그 설정
_5.5 HDFS
_5.6 네임노드 고가용성
_5.7 네임노드 페더레이션
_5.8 맵리듀스
_5.9 랙 토폴로지
_5.10 보안

6장 식별, 인증, 허가
_6.1 식별
_6.2 커버로스와 하둡
_6.3 허가(권한 부여)
_6.4 종합적으로 운용하기

7장 자원 관리
_7.1 자원 관리란 무엇인가?
_7.2 HDFS 쿼터
_7.3 맵리듀스 스케줄러

8장 클러스터 관리
_8.1 하둡 프로세스 관리
_8.2 HDFS 관리 작업
_8.3 맵리듀스 관리 작업

9장 트러블슈팅
_9.1 감별 진단의 시스템 적용
_9.2 일반적인 실패와 문제
_9.3 컴퓨터 플러그인?
_9.4 처방과 보살핌
_9.5 전쟁 이야기

10장 모니터링
_10.1 개요
_10.2 하둡 메트릭
_10.3 상태 모니터링

11장 백업과 복원
_11.1 데이터 백업
_11.2 네임노드 메타데이터

부록_사라진 설정 속성

옮긴이의 글
몇 년 전부터 빅데이터가 IT의 주요 트랜드로 전 세계적인 핫이슈입니다. 그 핵심 기술로 하둡과 하둡 에코시스템이 주목을 받고 있는데요, 하둡은 구글이 발표한 구글 파일시스템과 맵리듀스 논문을 더그 커팅이 모방하여 개발한 오픈소스로 2005년에 처음 공개되었습니다. 현재 오픈소스를 체계적으로 개발하고 지원하는 아파치 소프트웨어 재단을 중심으로 전 세계 수많은 개발자가 하둡과 하둡 에코시스템을 개발하고 있습니다. 야후, 페이스북 등 글로벌 인터넷 회사는 하둡을 실제 적용한 서비스를 제공하고 있으며, 내부적인 필요 때문에 만들어진 피그, 하이브 등을 과감히 오픈소스로 공개했습니다.

하둡은 오픈소스이며 현재 개발 과정에 있지만 머지않아 오라클과 같은 상용시스템으로 안정화될 것입니다. 아쉽게도 하둡에 대한 기술 자료는 제대로 정리되어 있지 않고 잘못된 정보도 많아서 개인이 이를 설치하고 사용하는 것은 상당히 어렵습니다. 역자도 많은 시행착오를 거쳤으며 오랜 시간 구글링에 매달렸습니다. 하둡 프로그래밍에 관한 책은 2010년 『하둡 완벽 가이드』를 시작으로 번역서와 저서가 조금씩 출간되고 있습니다. 하지만 하둡을 설치하고 운영하는 내용에 관한 책은 전혀 찾을 수 없었습니다. 그런데 작년 10월 오라일리에서 『Hadoop Operations』가 출간되었고 그 내용을 보면서 정말 놀랄 수밖에 없었습니다. 좋은 책이 나와서 매우 기뻤고, 이 책의 번역을 맡게 되어 기쁨은 두 배가 되었습니다.

이 책은 하둡을 모르는 상태에서 처음 설치하려는 사용자에게는 전혀 도움이 안 될 수도 있습니다. 이 책은 하둡을 상용 수준으로 설치하고 운영하려는 시스템 엔지니어를 위해 만들어졌습니다. 저자인 에릭 새머는 상용 하둡 회사인 클라우데라의 핵심 엔지니어로 많은 실전 경험이 있는 인물입니다. 『실전 하둡 운용 가이드』는 기본 설치에 대해서는 간단히 넘어가지만 하둡 인프라 설계, 배포, 운영, 튜닝, 보안, 백업에 대한 전문적인 정보를 제공하고 있습니다. 저는 현재 클라우데라 매니저와 비슷한 하둡 클러스터 매니저를 개발하고 있는데 이 책에서 큰 도움을 받았습니다.

– 옮긴이 장형석