Part 2. 오차역전파와 최적화

Part 2에서는 단순한 수치 미분을 넘어 연산 그래프 구조를 활용해 경량화된 속도로 신경망의 매개변수별 기울기를 산출해내는 오차역전파법(Backpropagation)의 작동 방식을 코드로 한 땀 한 땀 조립하고, 신경망 학습을 돕는 다양한 부가 최적화(Optimization) 기술들을 다룹니다.

📚 다루는 내용

• CHAPTER 5 오차역전파법: 곱셈과 덧셈, 춤추는 행렬곱(Affine 계층) 등 신경망을 구성하는 레이어 노드를 연산 그래프 노드로 도식화하고, 미분의 연쇄 법칙(Chain Rule)을 적용하여 국소적 미분을 순차적으로 역방향 전파해내는 과정을 클래스 구조로 설계합니다.
• CHAPTER 6 학습 관련 기술들:
  • 매개변수 갱신: 기본 SGD의 한계를 극복하는 Momentum, AdaGrad, Adam 등의 향상된 탐색 옵티마이저를 구현합니다.
  • 초기값 및 배치 정규화: 활성화 값의 고른 분포를 유도하는 Xavier 및 He 초기값을 분석하고 오버피팅을 억제하는 드롭아웃(Dropout)과 가중치 감소(Weight Decay) 기술을 심도 있게 분석합니다.

왼쪽 목차에서 본격적인 개별 챕터 학습에 들어서 보세요!