昨日書いた「クローラーが来てくれてませんでしたorz」の続きです。
今日、改めてGoogleサイトマップを見てみたところ、昨日は「クローラーが来てくれない」と思っていたのですが、実はクローラーはちゃんとやって来てたということが判明しました＾＾；
では、どうしてクローラーは来ているのにインデックスされないのか。Googleサイトマップでは、Googleのクローラー（Googlebot）が巡回できなかった理由が分かったりするのですが、そこに書かれていたエラーメッセージがコレ。
robots.txt にアクセスできません
ナンデスト（゜д゜；）
昨日、Googleサイトマップを利用し始めた際、「robots.txt」というテキストファイルはちゃんとサーバにアップしてあって、Googleサイトマップも「200 (成功しました)」なんて言ってくれてるのに！クローラーは来てくれてるのに上記理由で巡回してくれてないようなんですが、robots.txtをアップしてないサイトはちゃんとクロールされてたり...もう分からん.....orz
それと、Googleのロボットが最後に来てくれたのが10月11日。この翌日にサーバを移転（ロリポップからXREAに）してるんですよ。でも、同じタイミングで移転したこのアフィリエイト インテリジェンスにはちゃーんとクローラーが巡回してくれてて、インデックスもされてるんです。
オイラ、なんかしたのかな...。もしかしてサブドメインはダメとか？
もしこの辺の事情にお詳しい方がいらっしゃいましたら、ぜひ教えてくださいませm(_ _)m
【追記：2006/1/9 10:30】
この後、robots.txtを削除して、もう一回サイトマップを再送信してみました。で、今朝何気にGoogleサイトマップをチェックしたところ、トップページのURLがエラーリストから消えてました。おや？と思ってブログの名前で検索してみたところ、
uka.ssstyle.net/ - 39k - 2007年1月7日
フレッシュクロールキタ━(ﾟ∀ﾟ)━!日付が入ってるってことはちゃんと巡回してくれたってことですよね！？あとはGoogleサイトマップの「Googlebot が最後にお客様のホームページにアクセスした日」が1月7日になってくれればいいのですが.....。
【関連記事】
クローラーが来てくれてませんでしたorz
クローラーは来ていたけれど...
Googlebotの巡回、復活しました
"クローラーは来ていたけれど..."へのコメント