네이버 서치 어드바이저에 robots.txt가 존재하지 않습니다. 해결방법

robots.txt 는 간단히 말해 각 검색사이트의 수집 로봇이 내 블로그를 방문할때, 포스팅 한 글을 수집할지 안할지에 대한 규칙을 정해주는것이라 생각하면 된다.(자세히 설명하면 조금 복잡하지만 대략적인 개념만) 

티스토리 블로그를 새로 만들고 네이버서치 어드바이저에서 체크를 해 보면 robots.txt가 존재하지 않는다고 나온다. 이 로봇파일을 생성하여 업로드 시켜주면 되는데, 네이버 서치 어드바이저에서 생성하여 티스토리 스킨에서 업로드 할 수 있다.

 

1. 네이버 서치 어드바이저에 접속하여 로그인 -> 웹마스터 도구 클릭

 

2. 웹마스터 도구 -> 간단체크로 내 블로그 상태 확인

 

3. robots.txt 상태 확인

4. 사이트 등록으로 들어가 등록된 내 블로그 클릭하여 검증 -> robots.txt 클릭.

   아래와 같이 수집요청 팝업이 뜬다.

5. 하단에 robots.txt 간단생성 항목에 모든검색로봇으로 번경 후 다운로드 버튼을 클릭한다. 

6. 내 티스토리 블로그의 관리자 -> 스킨편집 -> html편집으로 들어가 파일업로드로 방금 받은 robots.txt 파일을 업로드 한 후 적용을 클릭한다.

7. 네이버 서치어드바이저로 돌아와 robots.txt 검증에 내 블로그주소 뒤에 /robots.txt 를 적고 확인을 누르면 수집이 가능하다는 팝업창을 볼 수 있을 것이다.

8. 수집요청을 누르면 정상적으로 수집되는것을 확인 할 수 있다.

 

네이버서치 어드바이저에서 robot.txt 정보에 보면 생성된 로봇 파일 내용 외에 Disallow: /owner 등의 내용이 더 있는것을 보면 티스토리 블로그 만들 때 robot.txt 파일이 생성되는 듯 하다. 하지만 사이트 체크 시 업로드를 안해주면 서치어드바이저에 없다고 나오는지는 나도 이유를 잘 모르겠다.

그래도 일단 등록시켜줘서 뭔가 불안함을 지우고, 깔끔하게 하는게 더 나으니 네이버에서 검색되는 과정이라 생각하고 꼭 등록시키자