꿈라CBT다음 <보기>의 문제와 그 해결 방향에 대한 설명으로 가장 적절한 것은?
보기
긴 문장을 처리하는 RNN 기반 번역 모델에서, 문장 앞부분의 정보가 뒤로 갈수록 점점 희석되어 마지막 단어를 예측할 때 거의 반영되지 않는 문제가 발생하였다.
또한 시퀀스를 앞에서부터 차례대로 처리해야 해서 학습 시간이 길다는 문제도 함께 지적되었다.
- 1어텐션은 순차 처리를 더욱 강화하는 방식이므로 장기 의존성 문제를 근본적으로 해결한다.
- 2LSTM은 게이트 구조가 없어 기본 RNN보다 장기 의존성 문제가 더 심각하다.
- 3셀프 어텐션은 입력 길이와 무관하게 계산량이 일정하므로 긴 문장일수록 유리하다.
- 4순차 처리로 정보가 희석되며, 셀프 어텐션은 직접 참조와 병렬 처리가 가능하다.