꿈라CBT다음 <보기>의 관찰에 대한 설명으로 가장 적절한 것은?
보기
트랜스포머 기반 모델을 학습하며 다음을 관찰하였다.
- 입력 길이를 512에서 1,024 토큰으로 두 배 늘렸더니, 셀프 어텐션 부분의 연산량과 메모리 사용량이 약 4배로 증가했다.
- 어텐션 가중치만 사용하고 위치 인코딩을 제거했더니, "철수가 영희를 이겼다"와 "영희가 철수를 이겼다"를 구분하지 못했다.
- 1연산량이 4배로 늘어난 것은 구현 오류이며, 셀프 어텐션의 계산량은 입력 길이에 비례하므로 정상이라면 2배여야 한다.
- 2셀프 어텐션은 모든 토큰 쌍을 계산해 연산량이 길이의 제곱에 비례하며, 순서 정보를 자체로 갖지 않아 위치 인코딩이 필요하다.
- 3위치 인코딩은 학습 속도를 높이기 위한 보조 장치일 뿐이므로 제거해도 의미 해석에는 영향이 없으며, 관찰된 혼동은 학습 데이터 부족 때문이다.
- 4셀프 어텐션은 순환 구조를 그대로 사용하므로 입력이 길어질수록 앞쪽 토큰의 정보가 소실되며, 두 문장을 구분하지 못한 것은 장기 의존성 문제 때문이다.