浅析“Twitter技术题目” 解密网站动荡***

尽人皆知，twitter在前段时间，PR值由9降到了0，并且众多页面不被谷歌Robot抓取，众人哗然！固然现在已恢复。但是这是怎样回事呢？独孤依风援用谷奥的内容为大家解密下twitter网站动荡***！

首先，Twitter PR及众多页面不被抓取是由本身技术引发的，跟谷歌的搜索机制没有关系。

导致twitter此次动荡的有5大技术题目：

（1）robots设置题目

twitter在设置Robots时，针对带WWW和不带WWW设置了两个Robots标准。以下所示：（A为不带www的Robots设置，B为带WWW的Robots设置）

A：The file at twitter.com/robots.txt looks as follows：

#Google Search Engine Robot

User-agent:Googlebot

# Crawl-delay: 10 -- Googlebot ignores crawl-delay ftl

Allow: /*？*_escaped_fragment_

Disallow: /*？

Disallow: /*/with_friends

#Yahoo! Search Engine Robot

User-Agent: Slurp

Crawl-delay:1

Disallow: /*?

Disallow: /*/with_friends

#Microsoft Search Engine Robot

User-Agent:msnbot

Disallow:/*?

Disallow:/*/with_friends

# Every bot that might possibly read and respect this file.

User-agent:*

Disallow:/*?

Disallow:/*/with_friends

Disallow:/oauth

Disallow:/1/oauth

B：the file at www.twitter.com/robots.txt file looks as follows：

User-agent:*

Disallow:/

twitter针对带www和不带www设置了两个不同的Robots标准，这样便可以够看出：

1、针对带WWW和不带WWW的网站，搜索引擎依照Robots标准，返回的搜索结果不相同，同时也不规范。

2、twitter在禁止搜索引擎抓取带WWW的网址。

3、通过封闭带www的网站，即使将其301重定向到不带www的网站，那也是徒劳无功！

4、由于带www和不带www的都有外部链接，但是带www的禁止搜索引擎抓取，那末对提升twitter网站整体权重来讲，该外部链接的价值并没有得到有效利用！

（2）302重定向题目

twitter.com / vanessafox使用了302重定向到twitter.com /＃!/ vanessafox。尽人皆知，302重定向为暂时性转移，会抓取新内容而保存旧网址，并且原来的链接不会全部转移！

（3）没有遵照谷歌AJAX抓取标准

Twitter的网址是AJAX和使用＃!，告知谷歌从服务器获得_escaped_fragment_版本的URL。由于没有使用301重定向，导致失往了很多相干URL页面，未将AJAX和重定向很好地结合起来。

（4）速率限制

在HTTP标头可以看见速率限制。

HTTP/1.1 200 OKDate:Mon,18 Jul 2011 20:48:44 GMTServer:hiStatus:200 OKX-Transaction:1311022124⑶2783⑷5463X-RateLimit-Limit:1000

（5）网址不规范

twitter.com / VanessaFox显示搜索结果，是twitter.com / vanessafox。这两个URL导致了同1个地方。这是造成又1次的PageRank稀释，重复，和规范化题目。这里最好的办法是正常化的网址1个变化（最简单的方法是选择全部小写），然后301重定向所有变化。另外，Twitter的可以简单地添加的rel =规范属性指定规范版本的所有网页 。

从以上可以看出，Twitter是有麻烦的robots.txt，HTTP状态代码和URL规范化。这是很多大型网站面临的题目。至于谷歌PR工具栏是否是刷新，那是谷歌的题目。

从Twitter技术漏洞可以告诫各位站长：

（1）设置Robots1定要同1，集中权重，以防走失。（2）302重定向没有301重定向好（3）必须遵照谷歌AJAX抓取标准（4）不要在HTTP标头限制速率（5）网址要规范，同1，不能搀杂在1起随便乱用！

来文首发于独孤依风seo中心（www.seo0359.com） 站长独孤依风原创！如若转载，请保存原文链接地址！互联网精英第1群：76933546，诚邀广大着名站长加进！

感谢 独孤依风 的投稿

TAG:网站,题目,标准,网址,速率

评论加载中... 内容： 评论者： 验证码：