빅데이터분석기사 필기 · 12회 변형(엑셀) · 보통 난이도 · 4번

한 연구팀은 국내 뉴스 포털의 기사 본문을 대량으로 확보하려 한다.

연구팀이 개발한 프로그램은 먼저 지정된 시작 주소(seed URL)에 접속한 뒤, 그 페이지에 걸려 있는 링크를 자동으로 따라 이동하면서 새로 발견한 주소를 목록에 추가하고, 방문한 페이지의 HTML 문서를 통째로 내려받아 저장하는 일을 반복한다. 이때 각 사이트의 robots.txt에 명시된 수집 허용 범위를 확인하고 요청 간격을 지킨다.

문서에서 제목·본문·기자명을 뽑아내는 작업은 이 단계가 끝난 뒤 별도로 수행한다.