- 八月20日
-
经常做优化的朋友应该对于这个文件并不陌生,在我们日常的优化工作中,robots的制作也是至关重要的一个步骤!所以,今天笔者和大家一起来交流一下如何正确的设置robots!
robots.txt是一个纯文本文件,这一点大家看后缀名称就知道,当搜索引擎蜘蛛访问一个网站时,它首先会检查网站根目录下是否存在Robots.txt文件。如果有这个文件,蜘蛛就会按照该文件中的内容来确定访问的范围;如果该内容不存在,那么蜘蛛就是顺着链接来索引!值得一提的是robots.txt必须放在一个网站的根目录下,并且文件名称要全部小写。那么如果你有些网页或者文件不想让蜘蛛访问,那该如何设置呢?说到这里,大家应该都知道,08年淘宝和百度决裂事件,之后不少人都发现在淘宝目录下出现了阻止百度搜索引擎抓取的命令。这样类似的指令是如何实现的呢?首先要创建一个纯文本文件并命名为:robots.txt,在文件中声明网站中禁止蜘蛛访问的部分。把robots.txt文件放在网站根目录下。文件中可以使用“#”进行注释,文件中记录通常以一行或者多行user-agent开始,后面加上一些disallow行,详细情况如下:A、user-agent该项的值用于描述搜索引擎蜘蛛的名字。robots文件中,如果有多条user-agent记录的话,就表示有多个robots会受到该协议的限制。对于robots.txt至少要有一条user-agent记录。如果该项的值设为“*”,则该协议对任何robots都有效,在robots.txt文件中,user-agent:*这样的记录只能有一条。B、disallow该项的值用来描述不希望被访问到的一个URL,这个地址可以是一条完整的路径,也可以是一部分。任何以disallow开头的URL都不会被robots访问到。例如:disallow:/admin 对admin.html和admin/index.html都不允许搜索引擎访问,而disallow:/admin/ 则会允许访问admin.html 而不能访问admin文件下所有的文件、任何一条disallow记录为空时,说明该网站的所有内容都允许被访问。在robots.txt文件中,至少要有一条disallow记录。如果robots.txt是一个空文件,则对于所有的搜索引擎蜘蛛,该网站都是开放的!下面列出一些robots.txt的用法:Ps1:禁止所有搜索引擎访问网站的任何部分。user-agent:*disallow:/Ps2:禁止百度搜索引擎的访问。User-agent:BaiduspiderDisallow:/Ps3:允许百度搜索引擎的访问。User-agent:BaiduspiderDisallow:User-agent:*Disallow:/Ps4:禁止访问特定的3个目录。目录文件里面的文件不允许访问User-agent:*Disallow:/admin/Disallow:/js/Disallow:/img/值得注意的是对每一个目录都必须分开声明,而不能罗列在一起。User-agent:后面的 * ,具有特殊的意义,它代表any robot,因此在该文件中不能有“disallow:/js/*“这样的记录出现,至于为什么?刚才谈user-agent的时候讲过了!大家可以思考下原因!原文地址:http://www.heyaoqian.com/post/96.html 转载请保留!网络推广/SEO优化交流④群:125398710 欢迎加入交流!原创文章请注明转载自 网络推广方案,网站推广方法,本文地址:http://www.heyaoqian.com/post/96.html
何耀倩于2011-8-20 16:27:19留。
52楼 haosf
Post:2012-3-20 16:39:36
51楼 7
Post:2012-3-13 15:02:43
50楼 学校网
Post:2012-3-12 15:12:41
49楼 婚庆用品
Post:2012-2-9 18:26:46
48楼 网站优化
Post:2012-1-4 15:31:53
47楼 软文优化
Post:2012-1-4 15:30:57
46楼 网站建设
Post:2012-1-4 15:29:01
45楼 网站运营
Post:2012-1-4 15:26:44
44楼 返利网可信吗
Post:2011-12-16 14:23:04
43楼 宝宝早教
Post:2011-9-27 15:32:46
轻轻的来,就如我轻轻的走,我挥一挥衣袖,留下一条留言。
42楼 郑州seo人才网
Post:2011-9-26 21:04:36
41楼 洗地机
Post:2011-9-26 20:50:01
40楼 服装面料
Post:2011-9-23 16:10:27
39楼 油水分离器
Post:2011-9-23 15:41:31
38楼 污泥脱水机
Post:2011-9-22 22:17:02
37楼 山石
Post:2011-9-20 4:46:52
36楼 广州婚纱摄影
Post:2011-9-18 9:43:07
35楼 仙OL
Post:2011-9-16 18:00:01
34楼 激光刻字机
Post:2011-9-15 16:09:21
33楼 水性玻璃烤漆
Post:2011-9-15 14:58:05
32楼 悠悠众生
Post:2011-9-9 0:26:45
31楼 会议系统
Post:2011-9-8 16:40:59
30楼 识字
Post:2011-9-5 15:57:50
29楼 淘宝特卖网
Post:2011-9-5 15:10:11
28楼 补肾壮阳的食物
Post:2011-9-2 14:51:11
27楼 丰胸的最快方法
Post:2011-9-1 20:32:25
26楼 短笑话
Post:2011-9-1 20:30:17
25楼 49天剧场
Post:2011-8-31 23:55:30
24楼 鸿星尔克板鞋
Post:2011-8-31 17:04:55
23楼 隔离霜排行榜
Post:2011-8-31 16:08:48
22楼 阿修罗
Post:2011-8-31 15:42:58
21楼 xxp1680
Post:2011-8-29 16:05:53
20楼 曾宇华博客
Post:2011-8-28 11:53:17
19楼 南宁科士威
Post:2011-8-26 19:12:40
18楼 北仑太阳能热水
Post:2011-8-26 17:11:54
17楼 宝利通视频会议
Post:2011-8-26 14:36:09
当然了,有很多的代码是不能让百度爬行的,例如admin等
所以做SEO 一定要认真详细的了解到这个
16楼 自动门
Post:2011-8-26 11:44:40
15楼 平板电脑
Post:2011-8-25 11:39:51
14楼 随风飘荡
Post:2011-8-24 22:47:24
13楼 真空包装袋
Post:2011-8-24 15:10:52
12楼 宁波商业摄影
Post:2011-8-23 14:43:54
11楼 FTP之家
Post:2011-8-23 10:48:47
10楼 putty中文
Post:2011-8-23 10:47:55
9楼 ixwebhosting中文
Post:2011-8-23 10:47:07
8楼 WordPress啦
Post:2011-8-23 10:45:52
7楼 洗地机
Post:2011-8-22 21:22:02
6楼 云计算云服务
Post:2011-8-22 15:15:33
5楼 广州SEO
Post:2011-8-21 22:08:13
4楼 北京婚纱摄影
Post:2011-8-21 19:23:53
3楼 北京网站优化
Post:2011-8-21 19:23:17
2楼 苏州SEO
Post:2011-8-21 0:21:59
1楼 第五代
Post:2011-8-20 18:23:49