Skip to content →

잘못된 올블로그 robots.txt 파일

올블로그 개편 전의 robots.txt도 약간 잘못 되어있었지만, 개편 후에도 뭔가 이상하다. 스크린샷을 보면 알겠지만, 처음 3 바이트가 이상한 문자다. 모든 웹 로봇들이 제대로 처리하리라고 보장하긴 힘들 듯 하다. 올블로그 관계자 분이 이 글을 보시면 제발 고쳐주시길.

allblog robots.txt

Published in Uncategorized

4 Comments

  1. 앗.. robots.txt에 이상한 문자가 들어가있네요.. 문서 저장이 잘못된듯 합니다. 피드백 너무 감사합니다. (^^) (_ _); 항상 부족한 올블로그지만 블로거님들이 계시기에 항상 발전하는 올블로그가 되겠습니다. 새해 복 많이 받으세요.. ^^;

  2. U+FEFF이니까 UTF-8 BOM이군요. 윈도우에서 저장했나봐요 🙂

  3. 박군/감사합니다. ^^;
    nohmad/그런거군요. XML 같은 경우에는 첫부분에 BOM 같은 문자를 허용안할 것 같은데(대신 encoding을 명시하는 processing instruction이 있어야하므로), 어떨까요?

  4. 찾아보니, XML의 경우에는, processing instruction이 없는 경우, BOM에 따라 encoding을 detection하기까지 하는군요! robots.txt도 적당히 처리해줘야하는걸까요. 흐흐.

답글 남기기

이메일 주소를 발행하지 않을 것입니다. 필수 항목은 *(으)로 표시합니다

이 사이트는 스팸을 줄이는 아키스밋을 사용합니다. 댓글이 어떻게 처리되는지 알아보십시오.