블로그스팟 Robots.txt 설정 방법

구글에서 제공하는 블로그 스팟은 심플한 기능에도 불구하고 네이버 등 우리나라 포털의 검색 로봇에 의하여 외면당하는 경우가 많기  때문에 국내 유저들에게는 많은 사랑을 받지 못하고 있습니다.

저도 처음에는 인터페이스도 어색하고 이게 뭔가 싶었는데..기능은 역시 몇번 써보니..점차 익숙해 지는 듯 합니다. 아직도 템플릿 등을 수정하는건 코드가 완전히 티스토리 등과 달라서 스킨을 바꿀 엄두는 내고 있지 못하지만..일단 일차적인 목표는 네이버 검색이 되는 것이고 두번째 목표는 네이버 블로그 섹션의 상위에 노출되는 것이 목표라 열심히 이것저것 만져보면서 테스트하고 있습니다.

블로스스팟은 1사람당 100개의 블로그를 만들수 있도록 허용하고 있습니다. 이 정책을 잘 활용하면 자신의 다양한 블로그를 개설할 수 있고, 또 여러 테스트도 진행해 볼 수 있어 좋은 듯 싶습니다. 티스토리처럼 무분별하게 계정을 차단당하는 일 없이 말이죠.

그래서 오늘은 티스토리 등 다른 블로그의 글을 백업해 놓을 수 있는 블로그 1개를 추가로 개설해 보았습니다. 도메인을 통한 호스팅을 하고 있는 블로그라면 사실...로봇을 강제로 막을 방법이 없지만 구글 블로그에서는 로봇 설정을 자신의 마음대로 할 수 있더군요. 

찬찬히 살펴보면 티스토리보다 다양한 부분에서 자유로운 활용도를 구사할 수 있어 유익한 듯 싶습니다. 

구글 블로그를 다른 블로그의 내용을 그대로 복사해서 모아놓을 예정이기 때문에 모든 검색 로봇을 차단해 줘서 이 글이 웹상이 존재한다는 것을 나타내지 말아야 하는데요.  이때, 로봇을 차단해 주는 방법은 아래와 같습니다.

내 블로그 설정>검색 환경설정의 하단에 보면 맞춤 robots.txt를 클릭합니다. 여기에서 맞춘 로봇 콘텐츠를 사용하겠다고 설정 후 아래 창에 모든 로봇을 거부한다는 소스를 입력해 주면 됩니다.

User-agent: *
Disallow: /

이렇게 하고 아래에 변경내용을 저장하면 이 블로그의 글을 검색되지 않죠.



추가적인 소스를 기록해 놓으면 아래와 같습니다.

[모든 검색 로봇을 허락]
User-agent: *
Disallow:


[구글 로봇은 허용함, 나머지 로봇은 모두 거부함]
User-agent: Googlebot
Disallow:

User-agent: *
Disallow: /


>>참고로 네이버는 yeti 로봇을 사용하는 것으로 알고 있습니다. 다음 등 나머지 검색 로봇의 이름은 찾아봐야 할 듯 싶네요.