当前位置: 首页 > 网站开发 > 正文

网站robots.txt修改

关键字:
1 星2 星3 星4 星5 星 (暂无评分)
Loading ... Loading ...
baidu_share

最近发现百度,360的收录的过程中,出现了http://www.chepoo.com/tag/elasticsearch/feed等记录。于是在robots.txt记录中,增加以下命令:

Disallow: /feed
Disallow: /*.html/feed
Disallow: /tag/*/feed
Disallow: /category/*/feed
Disallow: /category/*/*/feed
Disallow: /category/*/*/*/feed

防止搜索引擎收录tag,category,单个网页的feed。

接下来观察看看是否有效果。

今天在用google的网站站长工具查看,出现了警告。

问题名称:Url blocked by robots.txt.

说明:Sitemap contains urls which are blocked by robots.txt.

示例:http://www.chepoo.com/feed-architecture-design-analysis.html

http://www.chepoo.com/feed-design.html

经过检查发现,是由于Disallow: /feed造成的。

原因:
Disallow: /feed和最后加了反斜杠的Disallow: /feed/ 是完全不一样的。

Disallow: /feed可以禁止的url包括:example.com/feed,example.com/feed.html,example.com/feed/abc这三种形式,而Disallow: /feed/只能禁止搜索引擎访问example.com/feed/abc这种目录形式。

我们的网址http://www.chepoo.com/feed-design.html是单个网页,需要被搜索引擎收录。所以应该为:Disallow: /feed/,禁止搜索引擎收录RSS订阅页面。

本文固定链接: http://www.chepoo.com/website-robots-txt-update.html | IT技术精华网

网站robots.txt修改:等您坐沙发呢!

发表评论