天津网站建设/天津网站优化/网站robots文件改怎么写

阅读  ·  发布日期 2019-03-17 16:41  ·  admin

天津网站建设/天津网站优化/网站robots文件改怎么写

 

  对于大部分做seo优化的兄弟来说,肯定都知道robots文件。今天天津SEO就跟大家聊一聊网站的robots文件的写法:
  robots文件是归于网站的一个协议文件,对网站跟搜索引擎之间的一份协议,大部分搜索引擎都会遵守这份robot文件的内容,它就好比是咱们去一个旅游景点,在每个景点的入口处,都会有一份游客须知的公告,跟咱们说清楚,景区内哪些地方能够去,哪些地方制止去。
  这份网站协议也同样具有这么的效果,它告诉来到咱们网站的蜘蛛,哪些页面能够抓取,哪些页面是制止抓取的。这么对咱们做seo优化来说对错常有协助的,能够让咱们不需要参与排行的页面不让蜘蛛去抓取,要点去抓取那些咱们需要用来做排行的页面。
  robots文件的写法非常简单,可是要使用好它,却不是一件容易的事情。
  一、它包含三个指令值
  1、user-agent: 这个代表用户署理(定义搜索引擎),例如针对baidu搜索引擎的规矩,能够写成:user-agent: baiduspider
  2、Disallow:制止(填写制止蜘蛛抓取的途径地址)
  3、Allow:答应(填写答应蜘蛛抓取的途径地址)
  二、两个通配符
  1、* 匹配数字0-9以及字母a-z多个任意字符
  2、$ 匹配行结束符(针对带各种后缀的文件) 例如:jpg$、png$
  三、一个简单的robots文件写法的比如
  user-agent: baiduspider
  Disallow:
  sitemap: http://www.jxdseo.com/sitemap.xml
  这个就是答应蜘蛛抓取网站的一切内容,一般建议刚做网站的菜鸟兄弟写一个这么的robots文件上传到根目录即可。等熟悉网站的构造之后,再根据自己的需要进行修改。
  最后一句sitemap是放置网站地图的连接地址,如果不会制造网站地图的兄弟能够参考:网站地图的制造。
  以上就是对于网站的robots文件的写法,尽管它写法简单,可是要把它彻底用好,还需要好好琢磨。