07.3 풀링 계층

풀링은 세로·가로 방향의 공간을 줄이는 연산입니다.

도로시가 집게도구를 사용해 $2 \times 2$ 영역 안의 네 숫자 중 가장 큰 최댓값(12, 25 등)만을 쏙쏙 골라 새로운 특징 맵에 고이 배치하고 있어요.

도로시의 최댓값 채집 (Max Pooling)

• 도로시: “와! 대상 영역 안에서 가장 강한 자극 신호(최댓값)만 남기고 나머지는 걸러서 압축하니까, 가로·세로 크기가 깔끔하게 절반으로 축소되면서도 중요한 시각 특징은 손상 없이 그대로 요약되네!”
• 지니: “정확해! 그렇게 함으로써 계산량도 아끼고, 이미지 안의 세밀한 위치 편차에 민감해지지 않는 안정성이 생기는 거란다.”

예를 들어 [그림 7-14]와 같이 $2 \times 2$ 영역을 원소 하나로 집약하여 공간 크기를 줄입니다.

그림 7-14 최대 풀링의 처리 순서

[그림 7-14]는 $2 \times 2$ 최대 풀링${}^{\text{max pooling, 맥스 풀링}}$을 스트라이드 2로 처리하는 순서입니다. 최대 풀링은 최댓값${}^{\text{max}}$을 구하는 연산으로, ‘2 $\times$ 2’는 대상 영역의 크기를 뜻합니다. 즉 $2 \times 2$ 최대 풀링은 그림과 같이 $2 \times 2$ 크기의 영역에서 가장 큰 원소 하나를 꺼냅니다. 또, 스트라이드는 이 예에서는 2로 설정했으므로 $2 \times 2$ 윈도우가 원소 2칸 간격으로 이동합니다. 참고로, 풀링의 윈도우 크기와 스트라이드는 같은 값으로 설정하는 것이 보통입니다. 예를 들어 윈도우가 $3 \times 3$이면 스트라이드는 3으로, 윈도우가 $4 \times 4$이면 스트라이드를 4로 설정합니다.

WARNING_ 풀링은 최대 풀링 외에도 평균 풀링${}^{\text{average pooling}}$ 등이 있습니다. 최대 풀링은 대상 영역에서 최댓값을 취하는 연산인 반면, 평균 풀링은 대상 영역의 평균을 계산합니다. 이미지 인식 분야에서는 주로 최대 풀링을 사용합니다. 그래서 이 책에서 풀링 계층이라고 하면 최대 풀링을 말하는 것입니다.

지니가 블렌더 믹서기에 영역 안의 숫자 블록들을 다 넣고 갈아서 부드러운 하나의 평균값(5 등)으로 가공해 출력하는 모습을 보이고 있어요.

지니의 부드러운 요약 (Average Pooling)

• 지니: “도로시, 최댓값을 취하는 대신 대상 영역의 수치들을 고르게 섞어 평균을 내는 평균 풀링(Average Pooling)도 존재해. 보통 이미지 분류의 마지막 단에서 전반적인 활성화 신호를 골고루 뭉개 줄 때 애용된단다.”
• 도로시: “최대 풀링은 가장 도드라진 윤곽선을 살릴 때 좋고, 평균 풀링은 차분하게 전반적인 요약 정보를 전달할 때 유리하겠구나!”

7.3.1 풀링 계층의 특징

풀링 계층의 특징은 무엇일까요?

• 학습해야 할 매개변수가 없다 풀링 계층은 합성곱 계층과 달리 학습해야 할 매개변수가 없습니다. 풀링은 대상 영역에서 최댓값이나 평균을 취하는 명확한 처리이므로 특별히 학습할 것이 없습니다.

• 채널 수가 변하지 않는다 풀링 연산은 입력 데이터의 채널 수 그대로 출력 데이터로 내보냅니다. [그림 7-15]처럼 채널마다 독립적으로 계산하기 때문입니다.

그림 7-15 풀링은 채널 수를 바꾸지 않는다.

• 입력의 변화에 영향을 적게 받는다(강건하다) 입력 데이터가 조금 변해도 풀링의 결과는 잘 변하지 않습니다.

도로시가 노트에 그려진 집 모양 물체를 오른쪽으로 살짝 어긋나게 밀어 이동(shifted)시켰지만, 최대 풀링의 출력 맵 결과는 그대로 완전히 일치하는 놀라운 평화(Translation Invariance)를 보여주고 있어요.

도로시의 미세 편차 극복 발견

• 도로시: “지니! 입력 이미지가 한두 픽셀 옆으로 삐뚤어지거나 회전해도, 최대 풀링을 거치고 나니까 최종 출력 맵에 나오는 특징의 위치나 형태는 거의 똑같이 유지돼!”
• 지니: “그게 풀링 계층의 가장 강력한 무기인 평행 이동 불변성(Translation Invariance)이란다. 이미지가 약간 뒤틀려도 강인하고 똑똑하게 대상을 분류해 낼 수 있는 비결이지!”
• 토토: “왈왈! (지침서를 보며) 위치가 엇갈려도 다 알아본다 멍!”

예를 들어 [그림 7-16]은 입력 데이터의 차이(데이터가 오른쪽으로 1칸씩 이동)를 풀링이 흡수해 사라지게 하는 모습을 보여줍니다.

그림 7-16 입력 데이터가 가로로 1원소만큼 어긋나도 출력은 같다(데이터에 따라서는 다를 수도 있다).