Bot（Crawler）についてのアレやコレ

ちょっとした事情から、そこそこ有名なBot（Crawler）のUser-Agentを調べる必要に迫られたので、実際のアクセスログを見ながら各社の公式情報を探してみたのですが、意外と苦労したのでおまいらも苦労すれ。
・・・じゃなくて、せっかくなのでまとめてみようと思います。

まずみんな大好きGoogleさん。
代表的なUAは
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
こんな感じですね。
公式情報としては https://support.google.com/webmasters/answer/1061943?hl=ja にまとまっています。
そのBotの役割からUAまですっきりとまとまっていて好感が持てます。

続いてBing/MSNはこんな感じのUAで
msnbot/2.0b v1433127923.3444
msnbot-media/1.1 (+http://search.msn.com/msnbot.htm)
公式情報は http://www.bing.com/webmaster/help/which-crawlers-does-bing-use-8c184ec0 になります。
残念ながら日本語は見つけられませんでしたが必要な情報はひと通り揃ってる感じです。
ただ実際にログに残っていたUAと公開情報のUAい食い違いがあるのが残念ですね。
※ 時期的な問題かもしれませんが・・・

さて今回の目玉、Yahoo!系列ですが、UAはこんな感じ
Y!J-BRW/1.0 crawler (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)
"Y!J-BRO/YFSJ crawler"
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
です。
2番目のUAが酷くて笑えます。
公式情報は http://www.yahoo-help.jp/app/answers/detail/p/595/a_id/42716 ですが、情報少なすぎな上にクローラー多すぎです。
もうちょっと具体的な役割とか書いてくれませんかね・・・
Slurpの情報は https://help.yahoo.com/kb/search/SLN22600.html?impressions=true だと思うんですがやっぱり情報少なすぎです。

そしておまけとして百度（バイドゥ）ですが
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html）
こんなUAで、公式情報は http://help.baidu.com/question?prod_en=master&class=498&id=1000550 です。
嫌われ者っぽい百度ですが情報についてはしっかりまとまっていて好感が持てますね。

Y!がちょっとひどすぎるのでなんとかしていただきたいところです。
※ 「このヘルプは役に立ちましたか？」で「いいえ」をクリックしながら