딥러닝에서 흔히 쓰이는 기법들입니다. 하지만 조금만 시간이 지나도 잊고 누가 그 개념이라도 물어보면 어버버하는 통에 제가 두고두고 보기 위해 작성했습니다. 아마 이 페이지는 드문드문이겠지만 지속적으로 계속 업데이트할 거 같습니다. 그럼 시작하겠습니다. Batch Normalization Batch Normalization은 2015년 Sergey Ioffe와 Christian Szegedy에 의해 처음 소개되었습니다. (https://arxiv.org/pdf/1502.03167.pdf) 핵심 아이디어는 네트워크의 각 층에서 입력 데이터의 분포를 정규화하는 것입니다. 그렇다면 각 층에서 입력 데이터의 분포를 정규화를 왜 해야할까요? - 내부 공변량 변화 감소 (Internal Covariate Shift)..