由微博平台robots.txt设置看对SEO的态度
2018-03-16 浏览:2287

 今天鬼使神差地看了一下腾讯微博的robots.txt,我也想看一下大型网站robots.txt是如何做的。

腾讯微博的robots.txt

腾讯微博的robots.txt

robots.txt文件分成三部分。

第一部分是屏蔽了Googlebot抓取两个目录,意思也就是屏蔽google的爬虫抓取这两个目录,我看了第一个,是用户不存在的页面。

第二部分是屏蔽所有爬虫抓取5个目录。

第三部分就是sitemap文件地址,这很有利于搜索引擎蜘蛛抓取这两个sitemap文件的目录。我看了一下vip_index_sitemap.xml,这个sitemap文件里面的Url都是用户的微博地址,主要是两类人,一类是名人,一类是新成立的微博地址。

那么,新浪微博的robots.txt呢?打开的是一个404页面。

新浪微博的robots.txt

充分说明新浪微博的霸主地位,根本不把搜索引擎放在眼里。当然,现在许多企业首页都放在新浪微博的入口,也许新浪微博不愁没入口吧。

不过,新浪微博把个人和企业微博分开是非常好的,这很有利于后期进行微博营销用,说不定未来的微博版百度就是新浪微博呢!

华科互动是一家融合 “ 品牌策略 + 视觉设计 + 网络技术 ” 三位一体的综合型互联网形象塑造与传播机构。我们矢志成为受人尊敬的系统性策略型网站服务商。
关于我们 精选案例 联系我们
商务合作
025-82077198
Copyright © 2023 Huake All Rights Reserved. 版权所有. 南京网站制作