04.6 정리

이번 장에서는 신경망 학습에 대해서 설명했습니다. 가장 먼저 신경망이 학습을 수행할 수 있도록 손실 함수라는 ‘지표’를 도입했습니다. 이 손실 함수를 기준으로 그 값이 가장 작아지는 가중치 매개변수 값을 찾아내는 것이 신경망 학습의 목표입니다. 또, 가능한 한 작은 손실 함수의 값을 찾는 수법으로 경사법을 소개했습니다. 경사법은 함수의 기울기를 이용하는 방법입니다.

이번 장에서 배운 것

• 기계학습에서 사용하는 데이터셋은 훈련 데이터와 시험 데이터로 나눠 사용한다.
• 훈련 데이터에서 학습한 모델의 범용 능력을 시험 데이터로 평가한다.
• 신경망 학습은 손실 함수를 지표로, 손실 함수의 값이 작아지는 방향으로 가중치 매개변수를 갱신한다.
• 가중치 매개변수를 갱신할 때는 가중치 매개변수의 기울기를 이용하고, 기울어진 방향으로 가중치의 값을 갱신하는 작업을 반복한다.
• 아주 작은 값을 주었을 때의 차분으로 미분을 구하는 것을 수치 미분이라고 한다.
• 수치 미분을 이용해 가중치 매개변수의 기울기를 구할 수 있다.
• 수치 미분을 이용한 계산에는 시간이 걸리지만, 그 구현은 간단하다. 한편, 다음 장에서 구현하는 다소 복잡한 오차역전파법은 기울기를 고속으로 구할 수 있다.

---

🧭 4장의 모험 정리 상자

지니가 4장의 핵심 학습 원리들을 넓게 펼쳐 도로시에게 읽어주며 복습을 돕고 있어요.

지니의 모험 소회

• 지니: “도로시, 토토! 4장에서는 신경망이 스스로 최적의 매개변수를 찾아나가는 신경망 학습(Learning)의 기초를 마스터했어! 수작업 특징 설계에서 탈피해 데이터 중심 패러다임으로 넘어온 기념비적인 발걸음이지.”
• 도로시: “맞아! 손실 함수의 기울기를 수치 미분 나침반으로 구하고, 적절한 보폭(학습률)으로 골짜기 아래까지 차근차근 매개변수를 이동시켜 보니 신기했어. 미니배치 쳇바퀴 루프로 대량의 MNIST 손글씨도 뚝딱 해치웠는걸!”
• 토토: “왈왈! (꼬리를 힘차게 흔들며) 우리도 이제 스스로 공부하는 지능을 갖췄다 멍!”

성공적으로 손실 함수의 최저점에 도달하여 ‘학습 성공’ 깃발을 꽂은 도로시와 지니가 웃으며 힘차게 하이파이브를 하고 있어요.

지니: “좋아, 다음 코스는 5장 오차역전파법(Backpropagation)이야. 수치 미분은 간단하지만 가중치가 수억 개일 땐 연산이 하루 종일 걸리는 치명적인 병목이 있어. 5장에서는 수식을 역방향으로 전달해 순식간에 고속으로 기울기를 구하는 진정한 번개 마법을 배우게 될 거야!”

• 도로시/토토: “(constellation 별빛 밤하늘을 보며) 오차역전파법의 세계로 출발하자! 멍멍!”

4장의 성을 뒤로하고, 아름다운 은하수 밤하늘 아래에서 삼총사가 기쁘게 어깨동무를 하며 더 강력한 5장의 역전파 학습 모험을 향해 나아가고 있어요.