百度蜘蛛抓取异常,同一页面抓取返回不同状态码;

baiduspider抓取同一个页面返回不同的状态码,第一次是返回302状态码,第二次是返回200状态码;网站有PC端和移动端,URL地址写的是相对地址,默认返回PC的源码。请教各位大神可能的原因是什么?在线等。。。

这是阿里云的服务器么?为何模仿百度蜘蛛抓取我的页面!!!

日志如上!除了伪造为百度蜘蛛,还伪造为iPad 客户端进行爬取~,如下图 抓取没问题,但是伪装为百度蜘蛛,对我的日志分析造成了极大困扰,我根本没办法去细分对日志进行详细分析! 不知道这服务器群是阿里云自己的还是阿里云客户的,如果是客户的,建议阿里云对客户进行处理,如果是阿里云自己的,那我只能鄙视之了...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

智能引擎技术
智能引擎技术
AI Online Serving,阿里巴巴集团搜推广算法与工程技术的大本营,大数据深度学习时代的创新主场。
4027+人已加入
加入
相关电子书
更多
百度大规模时序指标自动异常检测实战
从百度文件系统看大型分布式系统设计
百度万人研发团队 Git 工具链建设的挑战与思考
立即下载 立即下载 立即下载