蜘蛛爬虫在爬取URL路径的时候优先级别：

　　1、目录层级比较深的URL是次要抓取的;

　　所以大家争取把目录层次控制在三层之内，但是也不要把所有的内容全部放在一个文件夹下面，这个原因以后洛阳seo会详细的道出!

　　2、在模板部分的或重复率非常高的URL是被次要抓取的;重复率高的话蜘蛛会以为你的文章是采集别人的或者伪原创，就会考虑是否收录你的文章!
 
　　3、动态参数多的URL是次要抓取的。
 
　　动态路径会使得你的一篇文章有多个路径，事项每一个路径都爬一下，多个路径的内容还一样，要你的话会看题目不一样，内容一模一样的文章吗?蜘蛛也没那么多的时间一直在你的网页爬!