검색엔진에서 자동으로 사이트를 수집 및 등록하기 위해서는 사용하는 크롤러(Crawler)로부터 사이트를 제어하기 위해서 사용하는 파일은?
나만의 풀이, 암기법을 나눠 보세요. 정답이 포함될 수 있어요.