对于大部分做seo优化的兄弟来说，肯定都知道robots文件。今天南京SEO就跟大家聊一聊网站的robots文件的写法：

　　robots文件是归于网站的一个协议文件，对网站跟搜索引擎之间的一份协议，大部分搜索引擎都会遵守这份robot文件的内容，它就好比是咱们去一个旅游景点，在每个景点的入口处，都会有一份游客须知的公告，跟咱们说清楚，景区内哪些地方能够去，哪些地方制止去。

　　这份网站协议也同样具有这么的效果，它告诉来到咱们网站的蜘蛛，哪些页面能够抓取，哪些页面是制止抓取的。这么对咱们做seo优化来说对错常有协助的，能够让咱们不需要参与排行的页面不让蜘蛛去抓取，要点去抓取那些咱们需要用来做排行的页面。

　　robots文件的写法非常简单，可是要使用好它，却不是一件容易的事情。

　　一、它包含三个指令值

　　1、user-agent： 这个代表用户署理(定义搜索引擎)，例如针对baidu搜索引擎的规矩，能够写成：user-agent： baiduspider

　　2、Disallow：制止(填写制止蜘蛛抓取的途径地址)

　　3、Allow：答应(填写答应蜘蛛抓取的途径地址)

　　二、两个通配符

　　1、* 匹配数字0-9以及字母a-z多个任意字符

　　2、$ 匹配行结束符(针对带各种后缀的文件) 例如：jpg$、png$

　　三、一个简单的robots文件写法的比如

　　user-agent： baiduspider

　　Disallow：

　　sitemap： http://www.jxdseo.com/sitemap.xml

　　这个就是答应蜘蛛抓取网站的一切内容，一般建议刚做网站的菜鸟兄弟写一个这么的robots文件上传到根目录即可。等熟悉网站的构造之后，再根据自己的需要进行修改。

　　最后一句sitemap是放置网站地图的连接地址，如果不会制造网站地图的兄弟能够参考：网站地图的制造。

　　以上就是对于网站的robots文件的写法，尽管它写法简单，可是要把它彻底用好，还需要好好琢磨。