배치 정규화(Batch Normalization)와 학습 속도 향상 기법1. 서론딥러닝 모델을 학습할 때, 신경망이 깊어질수록 학습이 어려워지는 현상이 발생합니다. 특히, 입력 데이터의 분포가 각 층을 거치면서 변화하는 현상을 내부 공변량 변화(Internal Covariate Shift) 라고 합니다. 이러한 현상은 학습을 불안정하게 만들고, 최적의 가중치를 찾는 과정을 어렵게 합니다.이를 해결하기 위해 Ioffe와 Szegedy(2015)는 배치 정규화(Batch Normalization, BN) 기법을 제안했습니다. 이 기법은 신경망의 각 층에서 미니배치 단위로 입력 데이터를 정규화하여 학습을 원활하게 진행할 수 있도록 도와줍니다. 이번 포스팅에서는 배치 정규화의 원리와 적용 방법을 살펴보고, 학습..
