꿈라CBT다음 <보기>의 실험 결과에 대한 설명으로 가장 적절한 것은?
보기
비선형 관계가 뚜렷한 데이터에 신경망을 적용하며 은닉층 수만 늘려 실험하였다.
| 실험 | 은닉층 수 | 은닉층 활성화 함수 | 학습 오차 |
|---|---|---|---|
| ㉠ | 1개 | 항등함수 | 0.412 |
| ㉡ | 5개 | 항등함수 | 0.410 |
| ㉢ | 20개 | 항등함수 | 0.411 |
| ㉣ | 5개 | ReLU | 0.087 |
- 1㉠~㉢의 오차가 거의 같은 것은 학습이 충분히 이루어지지 않았기 때문이므로, 학습 횟수를 크게 늘리면 층이 깊어질수록 오차가 줄어든다.
- 2항등함수는 계산이 단순해 오차가 크게 나오는 것이므로, 층을 더 늘려 100개 이상으로 쌓으면 ㉣과 같은 수준에 도달할 수 있다.
- 3선형 변환을 여러 번 합성해도 선형이므로 항등 활성화로는 층을 아무리 쌓아도 표현력이 같으며, 비선형이 있어야 깊이가 의미를 갖는다.
- 4㉣의 오차가 낮은 것은 ReLU가 음수를 0으로 만들어 데이터를 단순화했기 때문이므로, 정보 손실을 감수한 결과이며 일반화 성능은 오히려 나빠진다.