网站使用cdn后影响蜘蛛抓取怎么办?网站使用cdn后开启搜索引擎自动回源
有网友跟我说,担心使用了和我同款的95盾cdn之后会影响百度蜘蛛抓取,其实你完全不毕担心这个的,如果你就是很担心的话,那么我推荐你可以看看网站使用cdn后开启搜索引擎自动回源,这样当蜘蛛抓取你的网站的时候,就直接绕过cdn抓你的源站,就不会出现什么cdn影响蜘蛛抓取了。
理论上来讲,使用了cdn并不会影响百度蜘蛛抓取,根据百度官方说的,百度的蜘蛛抓取的时候就很正常的用户访问一样,用户访问是什么样子他抓取的时候就是什么样子,并且目前95盾使用的cdnfly系统已经默认把蜘蛛ip段设置成白名单,就是说他不会拦截蜘蛛IP,但是依旧是有很多网友有这种顾虑,那么咱们就设置上蜘蛛自动回源,消除这种顾虑。
这里那我比较建议使用国内服务器的用户开启蜘蛛自动回源,如果是使用国外服务器的话,还是别开启了,使用国外服务器配合cdn的话速度可以大大提升,但是如果你直接设置回源,速度可能就会很慢,网站的速度对于蜘蛛抓取影响还是很大的。
开启蜘蛛自动回源方法,如果你是腾讯云,百度智能云cdn,那么在你的cdn上面都会有网站使用开启搜索引擎自动回源功能,你可以找一下,直接开启就行了,但是像现在我在用的这个95盾的cdnfly系统,没有这个功能,那么我们就通过dns处单独设置一个解析,将百度线路解析到源站ip,这样百度抓取的时候就会直接抓取源站。
进入dns解析设置的地方,我这里用的是阿里云dns,我就阿里云dns来示范
主机记录填和你网站前缀一样的,比如我的网站是xxkblog.cn,那么我就直接填@,如果我的网站是www.xxkblog.cn,那么我就直接填www,然后这个解析线路这边选择百度线路。
然后下面这个解析IP直接填源站ip,这里一定要填源站ip,然后点击确定,等待一段时间,一般等待个一两个小时,等到完全解析成功,然后就设置好蜘蛛ip自动回源了。
最后一步去百度站长平台里面更新你的ip
点击抓取诊断,然后诊断一下,然后点进去
然后这里显示的IP可能还是你的cdn的ip,这个很正常,点击一下报错,一般咱们刚解析上的时候百度站长平台更新不来,然后你就点击报错,过一段时间再次诊断,如果依旧不是源站ip就继续点击报错,这个百度站长平台更新的有点慢,我上次换服务器这个IP更新了两天才成功更新。
网站使用cdn后开启搜索引擎自动回源方法就结束了,其实关于使用cdn会不会影响百度蜘蛛抓取很有争议,有的人说影响,还有的人说不影响,如果大家有顾虑的话,建议还是直接设置抓取回源。
还没有评论,来说两句吧...