百度蜘蛛抓取异常,同一页面抓取返回不同状态码;
baiduspider抓取同一个页面返回不同的状态码,第一次是返回302状态码,第二次是返回200状态码;网站有PC端和移动端,URL地址写的是相对地址,默认返回PC的源码。请教各位大神可能的原因是什么?在线等。。。
这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!!
日志如上!除了伪造为百度蜘蛛,还伪造为iPad 客户端进行爬取~,如下图 抓取没问题,但是伪装为百度蜘蛛,对我的日志分析造成了极大困扰,我根本没办法去细分对日志进行详细分析! 不知道这服务器群是阿里云自己的还是阿里云客户的,如果是客户的,建议阿里云对客户进行处理,如果是阿里云自己的,那我只能鄙视之了...
本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。