05.2 연쇄법칙

그동안 해온 계산 그래프의 순전파는 계산 결과를 왼쪽에서 오른쪽으로 전달했습니다. 이 순서는 평소 하는 방식이니 자연스럽게 느껴졌을 것입니다. 한편 역전파는 ‘국소적인 미분’을 순방향과는 반대인 오른쪽에서 왼쪽으로 전달합니다(처음 보면 당황할지도 모릅니다). 또한, 이 ‘국소적 미분’을 전달하는 원리는 연쇄법칙 chain rule에 따른 것입니다. 이번 절에서는 연쇄법칙을 설명하고 그것이 계산 그래프 상의 역전파와 같다는 사실을 밝히겠습니다.

5.2.1 계산 그래프의 역전파

서둘러 계산 그래프를 사용한 역전파의 예를 하나 살펴봅시다. $y = f(x)$라는 계산의 역전파를 [그림 5-6]로 그려봤습니다.

그림 5-6 계산 그래프의 역전파 : 순방향과는 반대 방향으로 국소적 미분을 곱한다.

[그림 5-6]과 같이 역전파의 계산 절차는 신호 $E$에 노드의 국소적 미분($\frac{\partial y}{\partial x}$)을 곱한 후 다음 노드로 전달하는 것입니다. 여기에서 말하는 국소적 미분은 순전파 때의 $y = f(x)$ 계산의 미분을 구한다는 것이며, 이는 $x$에 대한 $y$의 미분($\frac{\partial y}{\partial x}$)을 구한다는 뜻입니다. 가령 $y = f(x) = x^2$ 이라면 $\frac{\partial y}{\partial x} = 2x$ 가 됩니다. 그리고 이 국소적인 미분을 상류에서 전달된 값(이 예에서는 $E$)에 곱해 앞쪽 노드로 전달하는 것입니다.

이것이 역전파의 계산 순서인데, 이러한 방식을 따르면 목표로 하는 미분 값을 효율적으로 구할 수 있다는 것이 이 전파의 핵심입니다. 왜 그런 일이 가능한가는 연쇄법칙의 원리로 설명할 수 있습니다. 그럼 이쯤에서 연쇄법칙을 설명해야겠지요?

지니의 연쇄법칙 톱니바퀴 (합성함수의 미분)

• 지니: “도로시, 여러 함수가 복잡하게 얽혀 있는 합성함수를 미분할 때는 마치 서로 연동해서 돌아가는 톱니바퀴들(Gears)을 떠올리면 돼. 첫 번째 톱니바퀴가 1도 돌 때 두 번째가 2도 돌고, 세 번째가 3도 돈다면, 첫 번째가 1도 돌 때 마지막 톱니바퀴는 결국 $2 imes 3 = 6$도 돌게 되지? 각 톱니바퀴가 연결되어 국소적인 회전 비율(미분)을 차례로 곱해나가는 것, 이것이 바로 연쇄법칙(Chain Rule)의 마법이란다!”
• 도로시: “아! 아무리 멀리 떨어져 있는 입력변수와 출력변수라도, 중간에 연결된 국소적 미분 값들을 체인처럼 곱해나가기만 하면 끝에서 처음까지 미분의 영향력이 고스란히 전달되는 거구나! 정말 신기해!”
• 토토: “왈왈! (톱니바퀴를 발로 굴리며) 곱셈 체인이 연결되어 미분이 전달된다 멍!”

지니가 크고 작은 톱니바퀴들이 체인으로 엮인 마법 기계(연쇄법칙)를 작동시켜 국소적 미분들이 결합하는 방식을 시각화해 보여주고 있고, 도로시가 신기해하며 책상에 이를 필기하고 있어요.

5.2.2 연쇄법칙이란?

연쇄법칙을 설명하려면 우선 합성 함수 이야기부터 시작해야 합니다. 합성 함수란 여러 함수로 구성된 함수입니다. 예를 들어 $z = (x + y)^2$이라는 식은 [식 5.1]처럼 두 개의 식으로 구성됩니다.

합성함수란 하나의 함수 안에 다른 함수가 둥지를 튼 마트료시카(인형 안에 인형이 있는 구조) 구조임을 도로시가 들여다보며 신기해하고 있고, 지니가 친절히 알려주고 있어요.

도로시의 마트료시카 비유 (합성 함수)

• 도로시: “아! 합성함수라는 건 겉에서 보면 하나의 큰 인형 같지만, 속을 열어보면 또 다른 작은 인형이 들어있는 마트료시카 상자 같은 거네! $z = t^2$이라는 큰 인형 안에 $t = x + y$라는 작은 인형이 들어가 있는 거잖아!”
• 지니: “완벽한 비유야! 수학에서는 이렇게 하나의 함수 안에 또 다른 함수가 포함되어 있는 것을 합성 함수(Composite Function)라고 한단다.”

\(z = t^2\) \(t = x + y \hfill \text{[식 5.1]}\)

연쇄법칙은 합성 함수의 미분에 대한 성질이며, 다음과 같이 정의됩니다.

합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

이것이 연쇄법칙의 원리입니다. 언뜻 어렵게 보일지도 모르지만 간단한 성질입니다. [식 5.1]을 예로 설명하면, $\frac{\partial z}{\partial x}$ ($x$에 대한 $z$의 미분)은 $\frac{\partial z}{\partial t}$ ($t$에 대한 $z$의 미분)과 $\frac{\partial t}{\partial x}$ ($x$에 대한 $t$의 미분)의 곱으로 나타낼 수 있다는 것이죠. 수식으로는 [식 5.2]처럼 쓸 수 있습니다.

\[\frac{\partial z}{\partial x} = \frac{\partial z}{\partial t} \frac{\partial t}{\partial x} \hfill \text{[식 5.2]}\]

[식 5.2]는 마침 다음과 같이 $\partial t$를 서로 지울 수 있습니다.

\[\frac{\partial z}{\partial x} = \frac{\partial z}{\cancel{\partial t}} \frac{\cancel{\partial t}}{\partial x} = \frac{\partial z}{\partial x}\]

지니가 칠판에 분수 표기법의 약분 원리를 이용해 연쇄법칙 미분 공식이 성립함을 설명하고 있고, 도로시가 톱니바퀴 모형을 들고 경청하고 있어요.

지니의 분수 약분 비법 (연쇄법칙 수식)

• 지니: “도로시, 미분 기호인 $\frac{dz}{dx}$는 분수와 아주 비슷한 성질을 가지고 있어. 그래서 중간 매개체인 $dt$를 분모와 분자에 번갈아 써서 곱해주면, 마치 약분하듯이 지워져서 원래 구하려던 미분 값이 유도된단다!”
• 도로시: “와! $\frac{dz}{dt} \times \frac{dt}{dx}$에서 $dt$가 서로 약분되어 $\frac{dz}{dx}$만 남는 거구나! 복잡한 미분도 분수 곱셈처럼 생각하니까 정말 머리에 쏙쏙 들어와!”
• 토토: “왈왈! (지니를 가리키며) 약분의 마법사다 멍!”

그럼 연쇄법칙을 써서 [식 5.2]의 미분 $\frac{\partial z}{\partial x}$를 구해봅시다. 가장 먼저 [식 5.1]의 국소적 미분(편미분)을 구합니다.

\[\begin{aligned} \frac{\partial z}{\partial t} &= 2t \\ \frac{\partial t}{\partial x} &= 1 \end{aligned} \hfill \text{[식 5.3]}\]

[식 5.3]과 같이 $\frac{\partial z}{\partial t}$는 $2t$이고, $\frac{\partial t}{\partial x}$는 1입니다. 이는 미분 공식에서 해석적으로 구한 결과입니다. 그리고 최종적으로 구하고 싶은 $\frac{\partial z}{\partial x}$는 [식 5.3]에서 구한 두 미분을 곱해 계산합니다.

\[\frac{\partial z}{\partial x} = \frac{\partial z}{\partial t} \frac{\partial t}{\partial x} = 2t \cdot 1 = 2(x + y) \hfill \text{[식 5.4]}\]

5.2.3 연쇄법칙과 계산 그래프

그럼 [식 5.4]의 연쇄법칙 계산을 계산 그래프로 나타내봅시다. 2제곱 계산을 ‘$**2$’ 노드로 나타내면 [그림 5-7]처럼 그릴 수 있습니다.

그림 5-7 [식 5.4]의 계산 그래프 : 순전파와는 반대 방향으로 국소적 미분을 곱하여 전달한다.

[그림 5-7]과 같이 계산 그래프의 역전파는 오른쪽에서 왼쪽으로 신호를 전파합니다. 역전파의 계산 절차에서는 노드로 들어온 입력 신호에 그 노드의 국소적 미분(편미분)을 곱한 후 다음 노드로 전달합니다. 예를 들어 ‘$**2$’ 노드에서의 역전파를 보죠. 입력은 $\frac{\partial z}{\partial z}$ 이며, 이에 국소적 미분인 $\frac{\partial z}{\partial t}$ (순전파 시에는 입력이 $t$이고 출력이 $z$이므로 이 노드에서 (국소적) 미분은 $\frac{\partial z}{\partial t}$ 입니다)를 곱하고 다음 노드로 넘깁니다. 한 가지, [그림 5-7]에서 역전파의 첫 신호인 $\frac{\partial z}{\partial z}$의 값은 결국 1이라서 앞의 수식에서는 언급하지 않았습니다.

그런데 [그림 5-7]에서 주목할 것은 맨 왼쪽 역전파인데요, 이 계산은 연쇄법칙에 따르면 $\frac{\partial z}{\partial z} \frac{\partial z}{\partial t} \frac{\partial t}{\partial x} = \frac{\partial z}{\partial t} \frac{\partial t}{\partial x} = \frac{\partial z}{\partial x}$ 가 성립되어 ‘$x$에 대한 $z$의 미분’이 됩니다. 즉, 역전파가 하는 일은 연쇄법칙의 원리와 같다는 것이죠.

[그림 5-7]에 [식 5.3]의 결과를 대입하면 [그림 5-8]이 되며, $\frac{\partial z}{\partial x}$는 $2(x + y)$임을 구할 수 있습니다.

그림 5-8 계산 그래프의 역전파 결과에 따르면 $\frac{\partial z}{\partial x}$는 $2(x + y)$가 된다.