티스토리 - robots.txt 수정하기

이 게시글은 아래 블로그에서 가져온 글입니다.

https://tip-blog.tistory.com/entry/%ED%8B%B0%EC%8A%A4%ED%86%A0%EB%A6%AC-robotstxt-%EC%88%98%EC%A0%95

티스토리 - robots.txt 수정

 

이 게시글을 보고 계시는 분들이라면 네이버 웹마스터도구 등록을 마치고 robots.txt 관련 오류를 발견하여 수정을 원하시는 분들이겠죠?

 

제가 사용하고 있는 스킨의 경우 네이버 웹마스터 도구에서 'robots.txt 가 존재하지 않습니다.' 라는 오류가 발견되었어요. 스킨에 robot.txt 관련 태그가 없으면 발생하는 오류로 확인되었고 어떻게 수정할 수 있을지 알아봅시다.

 

▲ 티스토리 블로그 스킨에 robots.txt 없으면 위와 같이 'robots.txt 가 존재하지 않습니다.' 라는 경고가 뜹니다. 저와 같은 오류를 겪고 계신 분들은 이 게시글을 통해 해결할 수 있을거라 생각합니다.

 

---

네이버 웹마스터 도구 - robots.txt 오류 수정

▲ 먼저 robots.txt 오류는 내 블로그에 네이버 로봇 혹은 구글, 빙 검색 로봇에 대한 안내가 없다는 것입니다. 검색 로봇들에게 내 블로그에 대한 안내를 만드는 것이 위와 같은 작업입니다.

1. '모든 검색로봇'으로 설정합니다. 구글, 빙에 티스토리 블로그 노출을 원하지 않으면, 네이버 검색로봇만 선택하시면 됩니다.
2. '모두 방문, 수집하도록 허용합니다.' 부분에 체크해주세요.
3. 다운로드 버튼 클릭

 

---

 

▲ 티스토리 블로그 관리 메뉴에서 스킨편집으로 들어갑니다. 스킨 편집창에서 [파일업로드] 창에서 [추가] 버튼을 클릭하여 위에서 간단 생성한 robots.txt 파일을 첨부합니다.

 

---

 

▲ 다음으로 robots.txt 관련 태그를 입력해줘야 하는데요. 티스토리에 새로 생긴 플러그인을 이용하려고 합니다.

1. 티스토리 블로그 관리 메뉴에서 플러그인 클릭
2. '메타 태그 등록' 플러그인 실행

 

---

 

▲ 메타 태그 등록 플러그인에서 위와 같이 설정해주세요. 이름 부분은 기억하기 쉽도록 등록해주세요. 넣어야 할 코드는 아래와 같습니다.

<meta name = "Robots" content="index,follow">
<meta name = "Yeti" content="index,follow">

robots.txt 태그 중 Yeti는 네이버검색 로봇의 이름입니다. 이렇게 내 블로그에 robot.txt를 입력하는 작업은 끝났습니다.

 

---

 

네이버 웹마스터 도구 - robot.txt 적용 확인

▲ 네이버 웹마스터 도구 좌측 메뉴 중 [검증] > [robots.txt]로 들어갑니다. 여기서 로봇룰 검증에 위치한 수집 요청을 클릭하면 위와 같이 내 블로그에 적용된 robots.txt 명령어들을 확인할 수 있습니다.

 

User-agent: *

Disallow: /owner

Disallow: /manage

Disallow: /admin

Disallow: /oldadmin

Disallow: /search

Disallow: /m/search

Disallow: /m/admin

Disallow: /like

Allow: /

 

User-agent: Mediapartners-Google

Allow: /

 

User-agent: bingbot

Crawl-delay: 30

▲ 위와 같은 코드가 입력되어 있을 텐데요. 간단하게 해석해보자면,

 

Disallow는 특정 페이지 수집을 하지 말라는 robots.txt 입니다.

Allow는 특정 페이지 수집을 허용 한다는 robot.txt 이구요.

 

/owner, /manage, /search, /like, /admin 등등은 티스토리 접속시 블로그 운영자가 관리하는 페이지로 웹 사이트에 검색 등록이 되면 안되겠죠? 물론 검색이 되도 로그인이 필요한 부분이고요.

 

티스토리 블로그의 경우 게시글을 작성하게 되면 블로그주소.com/1 , 블로그주소.com/2

 

위와 같은 방식으로 / 뒤에 숫자가 변하면서 페이지를 늘려나갑니다. 그렇기 때문에 / 뒤에 오는 것은 모두 수집해라 라고 검색 로봇에게 알려주는 것 입니다.

 

---

 

네이버 검색 로봇 robots.txt 작동 확인

네이버 웹마스터 도구 [검증] > [robots.txt]에서 네이버의 검색 로봇 Yeti가 제대로 작동하는지 확인하는 방법입니다.

• 로봇룰 검증 페이지에서 하단에 티스토리 블로그 게시글 페이지의 url을 입력해보세요.
• 첫번째 게시글의 URL의 경우 수집이 가능합니다.

 

---

 

▲ URL 중 admin에는 접근할 수 없습니다. admin 페이지는 운영자인 저만 볼 수 있는 공간입니다.

 

---

 

▲ 네이버 웹마스터 도구 [검증] > [웹 페이지 최적화]에서 또한 robots.txt 및 로봇 메타 태그가 제대로 작동하고 있는지 확인할 수 있습니다.

 

 

#robots.txt, #네이버robots검증, #티스토리robot등록