SEO网站优化之robots的标准写法_SEO技术精粹

SEO网站优化之robots的标准写法

发布时间: 2010-07-18 | 分类: SEO技术精粹 | 发表评论

搜索引擎蜘蛛访问您的网站的时候，第一个访问的文件就是robots.txt,当搜索引擎找不到robots.txt这个文件时，它会在索引服务器上记录下一条404信息。如果这样的404信息过多，那么搜索引擎蜘蛛就会认定您的网站有价值的内容不多，从而降低对该网站的“印象分”，这就是我们经常所说的权重降低。

权重是影响一个网站在搜索引擎中的排名非常重要的因素，如果网站的权重高，那么搜索引擎蜘蛛也会频繁地光顾该网站，而且排名也好。404信息是影响网站权重很重要的一个因素。

设置robots.txt文件时的注意事项:

1.必须要放置在网站的根目录下

2.User-agent:设置搜索引擎的名字,如果该项的值设为*，则表示允许任何搜索引擎访问该网站。

3.Disallow:禁止搜索引擎访问的目录，例如“Disallow:/qdseo” 表示禁止搜索引擎访问qdseo目录下的所有页面。

4.Allow:允许搜索引擎访问的目录。

5. “$” 匹配行结束符。 “*” 匹配0或多个任意字符。
robots.txt文件的几种写法：

1.完全开放的写法，没有任何限制。
User-agent: *

Disallow:

2.wordpress中的通用写法。
User-agent: *
Disallow: /wp-*
Allow: /wp-content/uploads/
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Disallow: /?s=

3.青岛易酷网(http://www.likeseo.net/)中robots.txt文件的写法
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?
Disallow: /feed
Disallow: /*/feed
Disallow: /trackback
Disallow: /*/trackback
Disallow: /*.php$
Disallow: /*.inc$
Disallow: /*.js$
Disallow: /*.css$
Sitemap: http://www.likeseo.net/sitemap.xml
采用这种写法允许所有搜索引擎抓取，并逐一列举需要限制的目录，同时限制抓取网站的搜索结果，最后一行代码是网站的Sitemap 路径，大多数搜索引擎都能识别它。

如果您对于robots.txt的写法不放心，建议您使用 Google管理员工具中的“工具 -> 测试 robots.txt”来对您的robots.txt文件进行测试，这样可以确保正确性。

上一篇: 提高关键词排名的28个SEO技巧

下一篇: 手工SEO打造自己的高质量小站

您可能会感兴趣的文章