Part 4. 부록

Part 4에서는 신경망의 출력층에서 널리 활용되는 소프트맥스(Softmax) 계층과 분류 손실을 계산하는 교차 엔트로피 오차(Cross Entropy Error) 계층이 결합된 형태인 Softmax-with-Loss 계층의 수학적 미분 증명 과정을 아주 자세하게 다룹니다.

📚 다루는 내용

• 부록 A Softmax-with-Loss 계층의 계산 그래프: 순전파 수식 계산과 계산 그래프 노드 조립을 기반으로 역전파(Backpropagation)의 미분 식을 차근차근 유도하여, 왜 두 계층이 합쳐졌을 때 역전파 기울기가 아름답고 단순한 형태인 $(y_k - t_k)$로 떨어지는지 그 신비를 밝혀냅니다.

왼쪽 목차에서 부록 장으로 진입해 보세요!