400-969-9980400-969-9980
400-969-9980
x
SEO文章

由微博平台robots.txt设置看对SEO的态度

时间:2018-03-16 07:59:18    阅读量:1316

 今天鬼使神差地看了一下腾讯微博的robots.txt,我也想看一下大型网站robots.txt是如何做的。

腾讯微博的robots.txt

腾讯微博的robots.txt

robots.txt文件分成三部分。

第一部分是屏蔽了Googlebot抓取两个目录,意思也就是屏蔽google的爬虫抓取这两个目录,我看了第一个,是用户不存在的页面。

第二部分是屏蔽所有爬虫抓取5个目录。

第三部分就是sitemap文件地址,这很有利于搜索引擎蜘蛛抓取这两个sitemap文件的目录。我看了一下vip_index_sitemap.xml,这个sitemap文件里面的Url都是用户的微博地址,主要是两类人,一类是名人,一类是新成立的微博地址。

那么,新浪微博的robots.txt呢?打开的是一个404页面。

新浪微博的robots.txt

充分说明新浪微博的霸主地位,根本不把搜索引擎放在眼里。当然,现在许多企业首页都放在新浪微博的入口,也许新浪微博不愁没入口吧。

不过,新浪微博把个人和企业微博分开是非常好的,这很有利于后期进行微博营销用,说不定未来的微博版百度就是新浪微博呢!

2012年母亲节各大搜索引擎logo大比拼 更多动态
请填写您的项目信息
以便我们了解您的需求
专人在线沟通

* 请认真填写需求信息,我们会在24小时内与您取得联系

400-969-9980