꿈라CBT다음 <보기>의 상황에 대한 진단과 대응으로 가장 적절한 것은?
보기
웹 로그를 사용자 ID별로 집계하는 맵리듀스 작업을 실행하였다.
- 리듀서 100개 중 99개는 2분 만에 끝났다.
- 나머지 1개가 3시간 넘게 실행되어 전체 작업이 지연되었다.
- 확인 결과 비로그인 사용자가 모두 동일한 ID인 ‘guest’로 기록되어 전체 로그의 절반을 차지하고 있었다.
- 1리듀서 수를 100개에서 1,000개로 늘리면 guest 키가 여러 리듀서로 분산되므로 문제가 해결된다.
- 2특정 키에 몰린 데이터 스큐이므로, 편중 키에 임의 접미사를 붙이거나 별도 처리해야 한다.
- 3리듀서 하나가 느린 것은 하드웨어 고장이 원인이므로 해당 노드를 교체하면 해결된다.
- 4맵 태스크 수를 늘리면 리듀서의 부하도 비례하여 나뉘므로 입력 스플릿 크기를 줄이면 된다.