올블로그 개편 전의 robots.txt도 약간 잘못 되어있었지만, 개편 후에도 뭔가 이상하다. 스크린샷을 보면 알겠지만, 처음 3 바이트가 이상한 문자다. 모든 웹 로봇들이 제대로 처리하리라고 보장하긴 힘들 듯 하다. 올블로그 관계자 분이 이 글을 보시면 제발 고쳐주시길.
올블로그 개편 전의 robots.txt도 약간 잘못 되어있었지만, 개편 후에도 뭔가 이상하다. 스크린샷을 보면 알겠지만, 처음 3 바이트가 이상한 문자다. 모든 웹 로봇들이 제대로 처리하리라고 보장하긴 힘들 듯 하다. 올블로그 관계자 분이 이 글을 보시면 제발 고쳐주시길.
앗.. robots.txt에 이상한 문자가 들어가있네요.. 문서 저장이 잘못된듯 합니다. 피드백 너무 감사합니다. (^^) (_ _); 항상 부족한 올블로그지만 블로거님들이 계시기에 항상 발전하는 올블로그가 되겠습니다. 새해 복 많이 받으세요.. ^^;
U+FEFF이니까 UTF-8 BOM이군요. 윈도우에서 저장했나봐요 :)
박군/감사합니다. ^^;
nohmad/그런거군요. XML 같은 경우에는 첫부분에 BOM 같은 문자를 허용안할 것 같은데(대신 encoding을 명시하는 processing instruction이 있어야하므로), 어떨까요?
찾아보니, XML의 경우에는, processing instruction이 없는 경우, BOM에 따라 encoding을 detection하기까지 하는군요! robots.txt도 적당히 처리해줘야하는걸까요. 흐흐.