robot爬虫协议是什么（爬虫协议是什么意思）

原标题：robot爬虫协议是什么（爬虫协议是什么意思）

　　想要网站健康收录，那一定离不开Robots协议的设置以及robots正确写法，如何设置robots协议，首先从了解robots协议开始。

robot爬虫协议是什么

　　

　　第一：认识Robots

　　Robots简单来说就是搜索引擎和我们网站之间的一个协议，用于定义搜索引擎抓取和禁止的协议。robots基本语法符号：/ 、* 、$

　　/ 在允许和禁止的文件和文件夹前写； * 通配符，能够匹配所有的英文字符包括数字0； $ 表示结束符，用于屏蔽图片时候用。

爬虫协议是什么意思

　　第二：Robots.txt正确写法注意事项

　　①要顶格写。不要前面空几格。

　　爬虫

　　②要在英文输入法下写语句。因为中文下的冒号和英文冒号不一样。

　　

　　③开头要大些。如：User-agent，Baiduspider④冒号后要空一格。User-agent: /Baiduspider

　　

　　第三：实操Robots写法

　　在写robots协议时，首先先要定义协议什么样的蜘蛛，如：User-agent: Baiduspider 指的就是定义百度蜘蛛，除了百度蜘蛛外还包括谷歌机器人、搜狗蜘蛛等等。

　　其次在下一行写上允许和禁止的语句，如：

　　如何屏蔽整站：Disallow: / 指的就是屏蔽整个网站(/单个符号搜索引擎认为是根目录)；

　　如何屏蔽具体路径：Disallow: /toutiao.com/forum-53-1.html 指的是屏蔽具体某一个路径；

　　如何屏蔽文件和文件夹：Disallow: /uploads 指的是屏蔽uploads开头的文件和文件夹；

意思

　　如何屏蔽文件夹：Disallow: /uploads/ 指的是只屏蔽uploads文件夹；

　　如何屏蔽动态路径：例如：toutiao.com/speedtest.aspx?host=bbs.moonseo.cn为动态路径，问号robot前toutiao.com/speedtest.aspx可以用通配符*代替，接着一个问号，然后问号后host=toutiao.com也可以用一个通配符*代替，所以其语句可以这样写：Disallow: /*?*

　　如何屏蔽图片：Disallow: /*.jpg$ 如果单纯的写Disallow: /*.jpg是屏蔽不了图片的，所以要在图片后面写上结束符$，指的是屏蔽所以jpg格式的图片；

　　那么相应的Allow语句写法也是如上所说。

　　?