06.6 정리

이번 장에서는 신경망 학습에 중요한 기술 몇 가지를 소개했습니다. 매개변수 갱신 방법과 가중치의 초깃값을 설정하는 방법, 또 배치 정규화와 드롭아웃 등 현대적인 신경망에서 빼놓을 수 없는 기술들입니다. 여기서 배운 기술들은 최첨단의 딥러닝에서도 자주 이용하고 있습니다.

지니가 마법 양장 스크롤을 펼쳐서 6장에서 정복한 매개변수 최적화, 초깃값 선택, 배치 정규화 및 오버피팅 규제 핵심 원리를 깔끔하게 요약해 보여주고 있어요.

지니의 6장 요약 브리핑

• 지니: “도로시, 수고 많았어! 이번 6장에서 우리는 매개변수를 갱신하는 4대 최적화 기법(SGD, 모멘텀, AdaGrad, Adam)부터 가중치 초깃값(Xavier, He), 배치 정규화, 오버피팅을 억제하는 가중치 감소와 드롭아웃까지 딥러닝 실전에 쓰이는 핵심 학습 기술들을 모조리 정복했단다!”
• 도로시: “와! 한 장의 스크롤 안에 딥러닝의 효율을 극대화해 주는 꿀팁 기술들이 가득 차 있으니까 정말 든든하다!”

이번 장에서 배운 것

• 매개변수 갱신 방법에는 확률적 경사 하강법(SGD) 외에도 모멘텀, AdaGrad, Adam 등이 있다.
• 가중치 초깃값을 정하는 방법은 올바른 학습을 하는 데 매우 중요하다.
• 가중치의 초깃값으로는 ‘Xavier 초깃값’과 ‘He 초깃값’이 효과적이다.
• 배치 정규화를 이용하면 학습을 빠르게 진행할 수 있으며, 초깃값에 영향을 덜 받게 된다.
• 오버피팅을 억제하는 정규화 기술로는 가중치 감소와 드롭아웃이 있다.
• 하이퍼파라미터 값 탐색은 최적 값이 존재할 법한 범위를 점차 좁히면서 하는 것이 효과적이다.

도로시와 지니가 오버피팅 없이 아름답게 수렴하는 MNIST 학습 곡선을 바라보며 기뻐서 서로 손바닥을 부딪히며 하이파이브를 나누고 있어요.

도로시와 지니의 성공 축하

• 도로시: “최적 학습 기법들을 다 적용해 봤더니 정확도가 솟구치고 오버피팅도 완전히 억제되었어! 정말 기뻐, 지니!”
• 지니: “축하해! 드디어 딥러닝 학습을 내 마음대로 요리할 수 있는 튼튼한 무기들을 얻은 거야!”

모험 완수의 기쁨을 만끽한 삼총사가 밤하늘의 은하수가 비추는 아름다운 오솔길을 따라, 7장의 목적지인 ‘합성곱 신경망 (CNN)’ 등대 성을 향해 씩씩하게 걸어가고 있어요.

도로시와 지니의 다음 장 예고

• 도로시: “지니! 저 멀리 보이는 등대가 다음 모험지인 7장 CNN 기지구나! 이미지 픽셀 공간 정보를 보존해서 인식률을 극한으로 끌어올린대!”
• 지니: “맞아! 그 웅장하고 신비로운 이미지 분석 기지로 어서 가보자!”
• 토토: “왈왈! (신나서 깡충깡충 뛰며) 7장으로 질주하자 멍!”