[6장] 배치 정규화, 오버피팅, 가중치 감소, 드롭아웃

■ 배치 정규화 알고리즘

• 학습을 빨리 진행할 수 있다.(학습 속도 개선)
• 초기값에 크게 의존하지 않는다. 골치아픈 초기값 선택 장애 해결)
• 오버피팅을 억제한다. (드롭아웃 등의 필요성 감소)

배치 정규화의 기본 아이디어는 각 층에서의 활성화 값이 적당히 분포되도록 조정하는 것이다.

 

---

■ 오버피팅

신경망이 훈련 데이터만 지나치게 적응되어 그 외의 데이터에는 제대로 대응하지 못하는 상태

 

오버피팅이 일어나는 경우

• 매개변수가 많고 표현력이 높은 모델
• 훈련 데이터가 적음

---

■ 가중치 감소

• 오버피팅 억제용으로 예로부터 많이 이용해온 방법이다.
• 학습 과정에서 큰 가중치에 대해서는 그에 상응하는 큰 패널티를 부과하여 오버피팅을 억제하는 방법이다.
• 손실함수에 가중치의 L2노름을 더한 가중치 감소 방법

---

■ 드롭아웃

• 신경망 모델이 복잡해지면 가중치 감소만으로 대응하기 어려워진다.
• 드롭아웃은 뉴런을 임의로 삭제하면서 학습하는 방법이다.
• 이는 '앙상블 학습'과 비슷한 효과를 얻을 수 있다.