今天鬼使神差地看了一下腾讯微博的robots.txt，我也想看一下大型网站robots.txt是如何做的。

腾讯微博的robots.txt

robots.txt文件分成三部分。

第一部分是屏蔽了Googlebot抓取两个目录，意思也就是屏蔽google的爬虫抓取这两个目录，我看了第一个，是用户不存在的页面。

第二部分是屏蔽所有爬虫抓取5个目录。

第三部分就是sitemap文件地址，这很有利于搜索引擎蜘蛛抓取这两个sitemap文件的目录。我看了一下vip_index_sitemap.xml，这个sitemap文件里面的Url都是用户的微博地址，主要是两类人，一类是名人，一类是新成立的微博地址。

那么，新浪微博的robots.txt呢？打开的是一个404页面。

充分说明新浪微博的霸主地位，根本不把搜索引擎放在眼里。当然，现在许多企业首页都放在新浪微博的入口，也许新浪微博不愁没入口吧。

不过，新浪微博把个人和企业微博分开是非常好的，这很有利于后期进行微博营销用，说不定未来的微博版百度就是新浪微博呢！