문서의 선택한 두 판 사이의 차이를 보여줍니다.
| |
| 수집_로봇_관련_설정 [2020/12/13 06:16] – 만듦 koov | 수집_로봇_관련_설정 [2020/12/13 06:17] (현재) – koov |
|---|
| ===== robots.txt ===== | ===== robots.txt ===== |
| |
| ''robots.txt'' 파일을 사용하면 크롤러가 사이트에 요청할 수 있는 페이지/파일과 요청할 수 없는 페이지/파일을 검색엔진 크롤러에 알려 줄 수 있습니다. 이 파일은 주로 요청으로 인해 사이트가 오버로드되는 것을 방지하기 위해 사용하며, 로봇으로부터 웹페이지를 숨기기 위한 메커니즘이 아닙니다. 웹페이지가 표시되지 않도록 하려면 ''NOINDEX 명령어''를 사용하거나 비밀번호로 페이지를 보호해야 합니다. | ''robots.txt'' 파일을 사용하면 크롤러가 사이트에 요청할 수 있는 페이지/파일과 요청할 수 없는 페이지/파일을 검색엔진 크롤러에 알려 줄 수 있습니다. 이 파일은 주로 요청으로 인해 사이트가 오버로드되는 것을 방지하기 위해 사용하며, 로봇으로부터 웹페이지를 숨기기 위한 메커니즘이 아닙니다. 웹페이지가 표시되지 않도록 하려면 밑에 설명한 ''이미 수집된 항목의 삭제'' 방법을 사용하거나 비밀번호로 페이지를 보호해야 합니다. |
| |
| 예제 | 예제 |