CSW3L06 Why Does Batch Norm Work?

배치 정규화는 왜 효과가 있는 것일까? 입력값 $x_1, x_2, x_3$을 받아 레이어를 통과 시켜 추정치 $\hat y$을 얻습니다. 여기서 큰 데이터일 경우, 배치 사이즈를 정해 mini-batch만큼 학습을 시키게 되는데, 이렇게 들어오는 입력값에 따라 데이터의 분포가 바뀔 가능성이 있습니다. 이를 covariate shift라 합니다. 따라서 미니 배치 사이즈 단위로 정규화를 해주면, 입력값이 바뀌어서 발생하는 문제를 안정화 시키고, 분포가 바뀌더라도 평균과 분산이 0과 1로 맞춰지니 조금씩 바뀌게 됩니다. 즉, 앞쪽 레이어에서 계속 학습하며 값이 바뀌더라도 뒤쪽 레이어에서 겪는 부담이 줄어듭니다. 중요한 것은 결국 좋은 추정치를 얻기 위한 매개변수를 학습하여 얻는 것인데, 앞과 뒤에서 발생하는..
AI/Deep Learning 2022. 11. 6. 20:38
1