robots是什么？robots.txt协议怎么写？

robots是什么？

robots是一个文本文件，用来指引搜索引擎蜘蛛抓取网站页面，在robots里面你可以写入规则，告诉搜索引擎蜘蛛哪些内容是可以抓取的，哪些内容是不能抓取的。

1.robots协议含义

我们以猎者营网站的robots内容来举例，如下：
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://www.liezhe.com/wp-sitemap.xml

这里面主要两个单词有作用，分别是allow和disallow，前面代表的是允许抓取什么网站页面，后面代表的是不允许抓取的网站页面。

猎者营网站的robots里面是不允许抓取网站后台目录的，其他默认的都是允许的。

2.robots.txt协议怎么写？

robots正常来说如果你的网站不写也没有什么太大的问题，不写的话就默认搜索引擎可以抓取网站里面所有页面的。

一般在写robots协议的时候，只要在里面加上哪些网站url或者目录是不允许搜索引擎蜘蛛抓取的就OK了，还是非常简单的。

3.关于WordPress程序的robots

这里猎者营要着重说一下，有的WordPress的seo插件会在robots里面禁止搜索引擎抓取动态页面。

在这里，我建议大家最好不要这样去写，因为WordPress的伪静态功能并不像dedecms这种url直接就是静态化生成在网站目录下的，而是伪静态的url，也是从数据库里面调用的。

而百度在抓取WordPress的时候经常性的会把动态页和静态页同时进行抓取。

所以你如果用site命令去查询一下你的网站你就会发现，百度搜索引擎其实是抓取了大量的动态页的，并且这些动态页会参与排名，如果你在robots里面屏蔽了动态页的抓取，很有可能会影响网站的收录，从而导致网站seo优化的效果严重下降，因为可能会导致大量的内容页不收录，从而无法能够在搜索引擎里面获得更好的排名。