搜索引擎蜘蛛不抓取网站的原因有哪些?

  一个网页要获得自然排名,首先需要的就是搜索引擎蜘蛛来到这个页面,并抓取相关内容,然后建立索引、收录,根据搜索引擎相关算法,在搜索结果页相应的位置得到展现。如果页面没有被搜索引擎蜘蛛爬过,那自然排名也就无从说起。

搜索引擎蜘蛛不抓取网站的原因有哪些?

  废话不多说,对于网站收录很久没更新或者网站完全没有收录,或者说没有搜索引擎蜘蛛不过来抓取,我们应该如何分析呢?具体是什么原因呢?

  一般来说,对于网站没有收录或者没有搜索引擎蜘蛛抓取的情况,主要有以下这些原因:

  1、网站上线时间,一般刚上线的网站,都会进入沙盒期(这部分内容,具体可以参考java&seo博客《什么是沙盒效应?》相关介绍),这段时间内没有蜘蛛抓取、没有收录是正常的,只要持续更新优质内容,很快就会有收录的;

  2Robots文件,查看robots文件是否禁止了蜘蛛抓取,如果禁止了的话,根据robots文件协议,是不可能有蜘蛛访问的痕迹的(robots文件的具体写法客查看java&seo博客《robots文件怎么写?》相关介绍);

  3、网站访问速度,检查页面是否正常访问和打开,是否有延迟等,如果不能正常打开或者响应时间太慢,也会影响搜索引擎蜘蛛的到访;

  4、网站是否被搜索引擎惩罚过,如果之前作弊或者某些操作触犯了相关算法,被惩罚了,没有搜索引擎蜘蛛访问,这种情况,建议赶紧整改,整改好了通过站长平台反馈入口进行反馈,请求重新收录;

  5、网站是否有蜘蛛入口,对于新站,如果不做一些外链的话,要想让搜索引擎蜘蛛自己发现,收录起来相对还是会比较慢。这种情况下,建议做一些高质量的外链,然后在配合url提交;

  6、网站内容是否有更新,如果网站内容长久不更新,那搜索引擎蜘蛛来了也没有新的内容,久而久之,就会造成搜索引擎蜘蛛不来抓取的情况;

  7、网站所用的技术问题,比如网站大量使用iframe框架、jsajax等搜索引擎无法识别其中内容的技术搭建的,就很有可能完全不被抓取,这种情况,建议调整优化网站相关代码的使用(这部分内容,可以参考java&seo博客《搜索引擎优化之代码优化》相关介绍);

  8、网站域名是否被黑客挟持,域名被做跳转,搜索引擎蜘蛛进入不了网站;

  如果对比以上问题,还是没有发现具体原因,建议可以调出网站日志进行分析,同时配合站长平台的抓取诊断工具进行原因排查。

 


赞.. 浏览 ..
...条评论

加载更多评论