アクセスログ

robots.txtはロボット型の検索エンジンに対し、ホームページ内のデータを収集するルールを指示したい場合に使用するファイルです。 一定の書式に従って記述したrobots.txtというファイル名のテキストファイルをサーバーに置いておくと、 robots.txtに対応している検索エンジンはそこに書かれているルールに従ってデータを収集します。

ただし、すべての検索エンジンがrobots.txtに対応しているわけではありません。 各検索エンジンがrobots.txtに対応しているかは、検索エンジンのお問い合わせ窓口にご確認下さい。

エラーが記録される事自体は異常ではありませんので、通常は無視して差し支えありません。