Algorithm/Neural Network
-
Batch normalizationAlgorithm/Neural Network 2025. 1. 15. 22:53
Batch Normalization배치 정규화(Batch Normalization)는 딥러닝 모델의 학습을 가속화하고 안정성을 높이기 위해 사용된다. 신경망의 각 층에서 입력 데이터를 정규화하여 내부 공변량 변화(Internal Covariate Shift)를 줄이고, 학습 과정을 더욱 효율적으로 만든다. 배치 정규화의 필요성 Internal Covariate Shift 딥러닝 모델의 각 층에서 입력 데이터 분포가 학습 중에 변화하는 현상을 의미한다. Back propagation 시에 이전 레이어의 출력값은 해당 층의 가중치와 함께 업데이트 된다. 이때, 매번 이전 층의 출력값(다음 층의 입력값)이 계속해서 변화하게 되어 입력 데이터의 분포가 안정적으로 유지되지 않는다.그 결과, 학습 모델이 불안정해..