05.8 정리

이번 장에서는 계산 과정을 시각적으로 보여주는 방법인 계산 그래프를 배웠습니다. 계산 그래프를 이용하여 신경망의 동작과 오차역전파법을 설명하고, 그 처리 과정을 계층이라는 단위로 구현했습니다. 예를 들어 ReLU 계층, Softmax-with-Loss 계층, Affine 계층, Softmax 계층 등입니다. 모든 계층에서 forward와 backward라는 메서드를 구현하며, 전자는 데이터를 순방향으로 후자는 역방향으로 전파함으로써 가중치 매개변수의 기울기를 효율적으로 구할 수 있습니다. 이처럼 동작을 계층으로 모듈화한 덕분에, 신경망의 계층을 자유롭게 조합할 수 있어 원하는 신경망을 쉽게 만들 수 있게 됩니다.

지니가 5장에서 정복한 연쇄법칙, 계산 그래프, 계층 모듈화, 기울기 검증의 핵심 내용들을 마법의 양철 스크롤에 담아 요약해 주고 있으며, 도로시와 토토가 귀를 기울이고 있어요.

지니의 5장 핵심 요약

• 지니: “도로시, 토토! 5장에서는 정말 엄청난 걸 해냈어! 미분의 분배 성질인 연쇄법칙(Chain Rule)을 이용해 각 노드에서만 미분 신호를 곱하고 반사하는 계산 그래프 기법을 마스터했잖아!”
• 도로시: “맞아! 이 기법을 각 활성화 함수나 Affine 연산에 매칭시켜 forward/backward 쌍을 가진 계층으로 모듈화하니까 설계가 깔끔해지고 자유롭게 조립할 수 있게 되었어!”
• 토토: “왈왈! (스크롤을 자랑스레 가리키며) 모듈화 레고 완성이다 멍!”

이번 장에서 배운 것

• 계산 그래프를 이용하면 계산 과정을 시각적으로 파악할 수 있다.
• 계산 그래프의 노드는 국소적 계산으로 구성된다. 국소적 계산을 조합해 전체 계산을 구성한다.
• 계산 그래프의 순전파는 통상의 계산을 수행한다. 한편, 계산 그래프의 역전파로는 각 노드의 미분을 구할 수.
• 신경망의 구성 요소를 계층으로 구현하여 기울기를 효율적으로 계산할 수 있다(오차역전파법).
• 수치 미분과 오차역전파법의 결과를 비교하면 오차역전파법의 구현에 잘못이 없는지 확인할 수 있다(기울기 확인).

지니와 도로시가 훈련 데이터의 학습 손실(Loss) 값이 초고속으로 급락하며 학습에 성공한 모니터 화면 앞에서 하이파이브를 하고 있고, 토토가 춤을 추고 있어요.

학습 완료 축하 파티

• 도로시: “지니! 수치 미분보다 수천 배나 빠른 속도로 학습이 완료됐어! 정확도도 쭉쭉 오르고 손실 함수 값도 예쁘게 떨어졌네!”
• 지니: “그게 바로 역전파 마법의 진짜 진가란다! 이제 대량의 데이터셋으로도 순식간에 인공지능을 훈련시킬 수 있게 된 거야!”
• 토토: “왈왈! (지니와 도로시 발밑을 돌며) 고속 성공 하이파이브다 멍!”

---

삼총사가 6장을 향해 길게 뻗은 은하수 언덕길을 보며 신나게 발걸음을 떼고 있어요.

다음 목적지를 향해

• 지니: “자, 오차역전파 학습 엔진이 완성되었으니 다음 6장 학습 관련 기술들에서는 훈련의 효율성과 수렴 정확도를 더욱 끌어올려 줄 기술들을 배울 거야. 최적의 보폭을 짚는 가속 최적화기(Optimizer), 적절한 초기 가중치 설정법, 그리고 과적합을 막는 규제 기법들을 만날 시간이야!”
• 도로시: “오! 더 정교하고 강력한 딥러닝 훈련 부스터들이 기대된다! 토토야, 얼른 가보자!”
• 토토: “왈왈! (앞장서서 뛰어가며) 6장 마법성으로 고고싱이다 멍!”