★ 이 책이 다루는 내용 ★
■ 파이토치를 이용한 GPU 가속 텐서 연산
■ torchvision와 torchtext를 사용해 이미지용 사용자 정의 데이터셋과 데이터 로더를 만들고 모델을 테스트하는 기법
■ 파이토치로 CNN 아키텍처를 구현해 이미지 분류기 제작
■ RNN, LSTM 및 GRU를 이용해 텍스트 분류 및 언어 모델링 시스템 구축
■ ResNet, Inception, Densenet 같은 고급 CNN 아키텍처를 소개하고, 전이 학습을 이용해 고급 아키텍처 사용
■ 여러 모델을 혼합해 강력한 앙상블 모델 구축
■ GAN을 사용해 새 이미지를 생성하고 스타일 트랜스퍼를 사용해 예술적 이미지 생성


★ 이 책의 대상 독자 ★

딥러닝에 관심이 있는 엔지니어, 데이터 분석가 및 데이터 과학자 그리고 파이토치를 사용해 고급 알고리즘을 탐색하고 구현하려는 사용자를 대상으로 한다. 이 책을 읽는 데 머신 러닝에 대한 지식은 도움이 되지만 필수는 아니다. 그러나 파이썬 프로그래밍은 다룰 줄 알아야 한다.


★ 이 책의 구성 ★

1장, '파이토치 딥러닝 첫걸음'에서는 인공지능(AI, Artificial Intellligence)과 머신 러닝의 역사를 살펴보고 최근의 딥러닝 성장에 대해 알아본다. 하드웨어와 알고리즘의 다양한 개선이 여러 애플리케이션 분야에서 딥러닝을 구현하는 데 얼마나 큰 성공을 가져왔는지에 관해서도 설명한다. 마지막으로 페이스북(Facebook)에서 토치(Torch) 위에 구축한 아름다운 파이토치 파이썬 라이브러리를 소개한다.
2장, '신경망 구성 요소'에서는 변수, 텐서 및 nn.module과 같은 파이토치의 구성 요소를 소개한다. 신경망을 개발하는 데 이 구성 요소를 어떻게 사용하는지 알아본다.
3장, '신경망 파헤치기'에서는 데이터 준비, 텐서를 배치 처리하기 위한 데이터 로더, 네트워크 아키텍처 생성을 위한 torch.nn 패키지, 파이토치 손실 함수 및 옵티마이저 사용과 같은 신경망을 학습시키는 데 필요한 여러 프로세스를 다룬다.
4장, '머신 러닝 입문'에서는 과대적합, 과소적합과 같은 여러 가지 유형의 머신 러닝 문제에 대해 알아본다. 또한 데이터 증식, 드롭아웃, 과대적합을 방지하는 배치 정규화(batch normalization)와 같은 다양한 기법을 소개한다.
5장, '컴퓨터 비전 딥러닝'에서는 1차원과 2차원 컨볼루션, 맥스 풀링, 평균 풀링, 기본 CNN 아키텍처와 같은 Convolutional Neural Network(CNN)의 구성 요소에 대해 설명한다. 사전에 학습된 모델을 이용하는 전이 학습에 대해 알아보고, 마지막으로 사전 계산된 컨볼루션 피처를 이용해 전이 학습을 더 빠르게 진행하는 기법을 소개한다.
6장, '시퀀스 데이터와 텍스트 딥러닝'에서는 IMDB 데이터셋을 텍스트 분류하는 다양한 아키텍처를 소개한다. 워드 임베딩, 사전 학습된 워드 임베딩 사용 방법, RNN, LSTM과 1차원 컨볼루션에 대해 살펴본다.
7장, '생성적 신경망'에서는 딥러닝을 이용해 예술적 이미지를 생성하는 방법을 설명한다. 또한 DCGAN을 사용해 새로운 이미지를 생성해보고, 언어 모델을 이용해 텍스트를 생성하는 방법을 알아본다.
8장, '모던 네트워크 아키텍처'에서는 최신 컴퓨터 비전 애플리케이션을 지원하는 ResNet, Inception 및 DenseNet과 같은 아키텍처에 대해 알아본다. 언어 번역 및 이미지 캡션과 같은 최신 시스템을 지원하는 인코더-디코더 아키텍처에 대해 간략하게 살펴본다.
9장, '마침표 그리고 새로운 시작'에서는 앞에서 무엇을 배웠는지 요약하고 딥러닝 분야에서 지속적으로 최신 정보와 상태를 유지하는 방법을 소개한다.

1장. 파이토치로 딥러닝 시작하기

__인공지능
____인공지능의 역사
__머신 러닝
____실생활 머신 러닝 사례
__딥러닝
____딥러닝 애플리케이션
____딥러닝의 과장된 미래
____딥러닝 역사
____왜 지금인가?
____하드웨어 가용성
____데이터와 알고리즘
____딥러닝 프레임워크
________파이토치
__요약


2장. 신경망 구성 요소

__파이토치 설치
__첫 번째 신경망
____데이터 준비
________스칼라(0차원 텐서)
________벡터(1차원 텐서)
________행렬(2차원 텐서)
________3차원 텐서
________텐서 슬라이싱(텐서 자르기)
________4차원 텐서
________5차원 텐서
________GPU 지원 Tensor
________Variable
____신경망에 사용할 데이터 생성하기
________학습 파라미터 생성
________신경망 모델
________네트워크 구현
________오차 함수
________신경망 최적화
____데이터 로딩
________데이터셋 클래스
________데이터로더 클래스
__요약


3장. 신경망 파헤치기

__신경망 구성 요소
____레이어 - 신경망 기본 블록
____비선형 활성 함수
________시그모이드
________Tanh
________ReLU
________Leakly ReLU
____파이토치 비선형 활성화 함수
________파이토치 딥러닝 알고리즘 구현하기
________다양한 머신 러닝 문제를 위한 모델 아키텍처
________손실 함수
________네트워크 아키텍처 최적화
____딥러닝을 이용한 이미지 분류
________파이토치 Tensor로 데이터 로딩
________일괄 처리 형태로 파이토치 Tensor로 로딩하기
__네트워크 아키텍처 구축
________모델 학습
__요약


4장. 머신 러닝 입문

__머신 러닝의 세 가지 유형
____지도학습
____비지도학습
____강화학습
__머신 러닝 용어
__머신 러닝 모델 평가
____학습, 검증 및 테스트 분할
__단순 홀드아웃 검증
__K-겹 검증
__데이터 혼합이 적용된 K-겹 검증
__데이터 전처리와 특성 공학
____벡터화
____수치 정규화
____누락 데이터 처리
____특성 공학
__과대적합과 과소적합
____더 많은 데이터 확보
____네트워크 크기 줄이기
____가중치 규제 적용
____드롭아웃
____과소적합
__머신 러닝 프로젝트 워크플로
____문제 정의와 데이터셋 만들기
____모델 평가 기준
____평가 프로토콜
____데이터 준비
____기준 모델
____과대적합 될 정도의 모델
____가중치 규제 적용
____학습률 선정 전략
__요약


5장. 컴퓨터 비전 딥러닝

__신경망 첫걸음
____MNIST - 데이터 가져오기
__CNN 모델 구축
CONV2D
____풀링
____비선형 활성화 레이어- RELU
____뷰
________선형 레이어
____모델 학습
____CNN을 이용1개와 고양이 분류
____전이 학습을 이용한 개와 고양이 분류
__VGG16 모델 생성과 탐색
____레이어 고정
____세부 조정: VGG16
____VGG16 모델 학습
__사전 계산된 컨볼루션 피처 사용
__CNN 학습에 대한 이해
____중간 레이어의 출력 시각화
__중간 레이어의 가중치 시각화
__요약


6장. 시퀀스 데이터와 텍스트 딥러닝

__텍스트 데이터 분석
____토큰화
________텍스트를 문자로 변환
________텍스트를 단어로 변환
________N-그램 표현
____벡터화
________원-핫 인코딩
____워드 임베딩
__감성 분류기로 워드 임베딩 학습시키기
____IMDB 다운로드와 텍스트 토큰화
________torchtext
________torchtext
____어휘 구축
____벡터 배치 생성
____임베딩으로 네트워크 모델 만들기
____모델 학습시키기
__사전 학습 워드 임베딩
____임베딩 다운로드
____모델에 임베딩 로딩하기
____임베딩 레이어 가중치 고정
__RNN
____RNN 작동 방식 이해
__LSTM
____장기 종속성
____LSTM 네트워크
________데이터 준비하기
________배치 처리기 생성하기
________네트워크 생성하기
________모델 학습시키기
__시퀀스 데이터와 CNN
____시퀀스 데이터를 위한 1차원 컨볼루션 이해
________네트워크 만들기
________모델 학습시키기
__요약


7장. 생성적 신경망

__신경망 스타일 트랜스퍼
____데이터 로딩
____VGG 모델 생성
____콘텐츠 손실
____스타일 손실
____VGG 모델 레이어의 손실 추출
____각 레이어의 손실 함수 만들기
____옵티마이저 만들기
____학습
__생산적 적대 신경망
____심층 컨볼루션 GAN
____생성기 네트워크 정의
________전치 컨볼루션
________배치 정규화
________생성기 네트워크 정의
____판별기 네트워크 정의
____오차와 옵티마이저 정의
____판별기 네트워크 학습
________실제 이미지로 판별기 학습시키기
________가짜 이미지로 판별기 학습시키기
____생성기 네트워크 학습
____전체 네트워크 학습 시키기
____생성 이미지 검토
__언어 모델
____데이터 준비
____배치 처리기 생성
________배치
________Backpropagation through time
____LSTM에 기반한 모델 정의
____학습과 평가 함수 정의
____모델 학습
__요약


8장. 모던 네트워크 아키텍처

__최신 네트워크 아키텍처
____ResNe
________파이토치 데이터셋 만들기
________학습과 검증을 위한 로더 생성
________ResNet 모델 만들기
________컨볼루션 피처 추출
________미리 계산된 컨볼루션 피처와 로더를 위한 사용자 정의 파이토치 데이터셋 클래스 만들기
________단순한 선형 모델 만들기
________모델 학습과 검증
____인셉션
________인셉션 모델 만들기
________register_forward_hood을 이용해 컨볼루션 피처 추출하기
________컨볼루션 피처를 위한 새로운 데이터셋 만들기
________전연결 모델 만들기
________모델 학습과 검증
__DenseNet: 컨볼루션 네트워크의 전연결 아키텍처
____DenseBlock
____DenseLayer
________덴스넷 모델 생성
________덴스넷 피처 추출
________데이터셋과 로더 만들기
________전연결 모델을 생성하고 학습
__앙상블 모델
____3개 모델 만들기
____Extracting the image features
____데이터 로더와 사용자 정의 데이터셋 생성
____앙상블 모델 만들기
____모델 학습시키고 검증
__인코더-디코더 아키텍처
____인코더
____디코더
__요약


9장. 마지막 그리고 새로운 시작

__다음은?
__개요
__연구 가치가 있는 흥미로운 아이디어
____객체 인식
____이미지 분할
____파이토치 OPENNMT
____ALIEN NLP
____FAST
____ONNX
__지속적인 정보 업데이트 방법
__요약

★ 지은이의 말 ★

파이토치는 융통성과 사용 편의성 때문에 데이터 과학 전문가와 딥러닝 학습자의 관심을 끌고 있다. 이 책은 딥러닝과 파이토치의 기본 구성 요소를 소개하고 실용적인 접근 방식을 사용해 실제 문제를 해결하는 방법을 보여준다. 최첨단 연구 문제를 해결하는 데 사용되는 최신 딥러닝 아키텍처 및 기술에 대해 배우게 될 것이다.
이 책은 ResNet, DenseNet, Inception 및 Seq2Seq와 같은 다양한 최첨단 딥러닝 아키텍처에 대한 직관을 제공하는 반면, 수학에 대한 부담은 최소화한다. 또한 전이 학습을 사용하는 방법, 사전 계산된 피처를 사용해 전이 학습 속도를 높이는 방법, 임베딩, 사전 학습 임베딩, LSTM 그리고 1차원 컨볼루션을 사용해 텍스트를 분류하는 방법을 소개한다.
이 책을 읽고 나면 여기서 배운 다양한 기술을 사용해 비즈니스 문제를 해결할 수 있는 능숙한 딥러닝 학습자가 될 것이다.

 

★ 옮긴이의 말 ★

2018년에 가장 뜨거웠던 키워드는 아마도 인공지능, 머신 러닝, 딥러닝이라고 생각한다. 이 키워드의 열기는 2019년에도 계속될 것이다. 이 키워드가 큰 관심을 받는 이유는 머신 러닝에 대한 사회적인 관심, 딥러닝의 엄청난 발전 속도 그리고 신기한 능력 때문일 것이다. 아마도 응용 애플리케이션 개발자들은 딥러닝이 구현한 사례를 보면서 그 매력에 끌려 누구나 딥러닝 책 한두 권쯤은 샀을 거라 생각한다.
딥러닝 수학, 통계학, 머신 러닝, 딥러닝 프레임워크 및 인프라 등 여러 분야의 기술과 학문에 걸쳐 있다. 이런 이유로 딥러닝 기술의 전반적인 흐름을 다루는 입문서를 고르기란 어렵다.
이런 의미에서 이 책은 딥러닝 입문서로 적합한 책이다. 우선 예제가 간결하고 이해하기 쉽다. 파이토치 네트워크의 구성 요소를 블록 단위로 처리하기 때문에 이해하기 쉽고 확장하기 편리하다. 또한 수식에 치중하지 않고 직관적인 개념으로 쉽게 설명하고, 딥러닝 구현에 필요한 머신 러닝 개념을 요약해 효과적으로 전달한다. 이러한 구성으로 인해 딥러닝 입문자에게 부담을 줄이고, 반복적인 예제로 파이토치 코드에 익숙해지도록 유도한다.
처음에는 단순한 선형 모델과 회귀 모델로 딥러닝 네트워크를 구성하는 예제로 시작하지만, 파이토치의 빌딩 블록 개념을 이용해 간단한 모델에서 CNN, RNN, LSTM 및 GAN 모델 등 다양한 유형의 확장된 모델을 발전시켜 나간다. 또한 전이 학습(Transfer Learning)을 이용해 CNN과 RNN을 더 빠르게 학습시키는 방법과 VGG, ResNet, Inception, DenseNet 등 최신 모던 아키텍처를 사용하고 전이 학습 및 앙상블 모델로 응용하는 방법까지도 다룬다.
한 권의 입문서에 다양한 내용을 담을 수 있는 것은 파이토치의 힘이다. 파이토치는 공개된 지 2년밖에 안 된 딥러닝 프레임워크지만, 간결성과 유연성 덕분에 딥러닝 분야에서 큰 주목을 받고 있다. 이러한 특징과 함께 복잡한 개념을 빌딩 블록으로 추상화하고, 다양한 유틸리티 기능을 제공하는 파이토치는 딥러닝 입문자에게 가장 적합한 딥러닝 프레임워크라고 생각한다.
딥러닝에 입문하는 분들에게 이 책이 조금이나마 도움이 됐으면 하는 바람으로 이 책을 번역했다.