このサーバは自前で管理しているサーバですので、アクセスログも生のものが見られます。で、たまたまロボット関係のアクセス数を集計してみたら、以下のような結果になりました。
747 Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp) 301 msnbot/1.1 (+http://search.msn.com/msnbot.htm) 157 Baiduspider+(+http://help.baidu.jp/system/05.html) 152 Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 115 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) 92 Yeti/1.0 (+http://help.naver.com/robots/) 84 WWWC/1.04 51 msnbot-media/1.0 (+http://search.msn.com/msnbot.htm) 39 Baiduspider+(+http://www.baidu.com/search/spider_jp.html) 37 Y!J-BSC/1.0 (http://help.yahoo.co.jp/help/jp/blog-search/) 35 livedoor FeedFetcher/0.01 (http://reader.livedoor.com/; 1 subscriber) 31 R6_FeedFetcher(www.radian6.com/crawler) 30 Technoratibot/0.7 28 Googlebot-Image/1.0 24 IEFav172Free 24 Hatena Antenna/0.5 (http://a.hatena.ne.jp/help) 22 Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com) 12 YahooCacheSystem 12 R6_CommentReader(www.radian6.com/crawler) 9 Moreoverbot/5.00 (+http://www.moreover.com) 9 MaSagool/1.0 (MaSagool; http://sagool.jp/) 6 Mozilla/5.0 (Windows; U; Windows NT 5.1; fr; rv:1.8.1) VoilaBot BETA 1.2 (support.voilabot@orange-ftgroup.com) 4 Mozilla/5.0 (Windows; U; Windows NT 5.1; ja; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7/Mozilla/5.0 (MaSagool; http://sagool.jp/) 4 Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html) 4 Mediapartners-Google 4 Incutio XML-RPC 4 Hatena RSS/0.3 (http://r.hatena.ne.jp; 1 subscribers) 3 HatenaScreenshot/1.0 (checker) 3 HatenaScreenshot (compatible; MSIE 6.0; Windows NT 5.1; SV1) 1 MSR-ISRCCrawler 1 KDDI-CA33 UP.Browser/6.2.0.10.4 (compatible; Y!J-SRD/1.0; http://help.yahoo.co.jp/help/jp/search/indexing/indexing-27.html) 1 Google-Sitemaps/1.0 1 DoCoMo/2.0 SH905i(c100;TB;W24H16) (compatible; Mediapartners-Google/2.1; +http://www.google.com/bot.html)
一頃ネットでBaiduのアクセスが多すぎるなどと嫌われていたときがありましたが、今やぶっちぎりでYahoo!がトップです。