꿈라CBT다음 <보기>의 요구사항을 모두 충족하는 수집·전달 아키텍처로 가장 적절한 것은?
보기
어느 포털은 초당 약 30만 건의 클릭 이벤트를 처리해야 한다.
- 같은 이벤트 스트림을 실시간 이상탐지 · HDFS 적재 · 추천 모델 학습 세 곳이 각자의 속도로 소비한다.
- 장애 복구 시 며칠 전 데이터부터 다시 읽어(replay) 재처리할 수 있어야 한다.
- 소비자가 추가되더라도 이벤트를 보내는 쪽(생산자)은 수정하지 않아야 한다.
- 1Sqoop으로 원본 DB에서 주기적 배치 전송을 구성한다.
- 2Chukwa 에이전트가 세 소비자에게 각각 직접 파일을 전달하도록 구성한다.
- 3소비자마다 Flume 에이전트를 두고 각자 원본 웹 서버에서 다시 수집하게 한다.
- 4Kafka 토픽에 이벤트를 발행하고, 소비자 그룹별로 오프셋을 관리하며 구독하게 한다.