网站管理常见问题
Robots协议（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。避免出现网站被爬虫访问，导致耗费大量流量和宽带的问题。关于...
通过Robots协议屏蔽搜索引擎抓取网站内容
概述 Robots协议（也称为爬虫协议、机器人协议等）的全称是网络爬虫排除标准（Robots Exclusion Protocol），网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。若有些页面访问消耗性能比较高，不希望被搜索引擎抓取，...
政务舆情分析系统的数据库解决方案
并结合计算、搜索、大数据类产品，为您推荐以下政务场景下的舆情监测系统架构：架构说明：云服务器ECS：爬虫引擎可部署于阿里云ECS，可以根据爬取量决定使用ECS的机器资源数，在每天波峰的时候可临时扩容资源进行网页爬取。原始网页爬取...
WAF安全报表
关于Bot管理的设置方法，请参见以下文档：配置浏览器访问网页的防爬场景化规则 设置合法爬虫规则 设置爬虫威胁情报规则 设置App防护 访问控制/限流报表说明 访问控制/限流 报表展示触发了 CC安全防护、扫描防护 和 访问控制 规则的Web请求...
DCDN企业版为政企提供加速和安全一站式服务
阿里云DCDN企业版依托阿里云全球分布的加速网络，承载全面的安全防护能力，为政府、金融、传媒、零售和交通等企业，提供边缘安全和加速一站式服务。DCDN企业版商务模式 DCDN企业版产品与官网标准CDN或者DCDN产品不同，由于提供了额外的企业...
ListSpider-列举网站导入任务
fail：运行失败 importCount Int 爬取网页数量 如果请求网页的http响应code不是200，则视为网页错误，网页内容不会入库。因此这里的数量和实际入库数量可能会不一致。message String 运行失败时的失败原因 响应体示例 {"status":"OK",...
申请免费试用WAF
如果您的Web业务（例如网站、App等）面临Web通用攻击、应用资源消耗型攻击、爬虫攻击等威胁，推荐您参照本文介绍试用WAF，体验WAF提供的一站式应用安全解决方案。本文介绍如何申请免费试用WAF。使用须知 WAF试用服务面向 未开通WAF 的用户...
ModifyProtectionModuleStatus
bot_intelligence：表示爬虫威胁情报。antifraud：表示数据风控。bot_algorithm：表示智能算法。bot_wxbb：表示App防护。bot_wxbb_pkg：表示App防护中的版本防护。ac_cc：表示CC安全防护。ac_blacklist：表示IP黑名单。ac_highfreq：表示...
API概览
ModifyProtectionRuleStatus 为域名配置开启或关闭WAF防护功能模块（包括网站防篡改、合法爬虫、爬虫威胁情报、自定义防护策略、网站白名单等模块）中已创建的规则。DescribeDomainRuleGroup 查询域名配置当前使用的规则防护引擎的防护规则...
DescribeProtectionModuleStatus
bot_intelligence：表示爬虫威胁情报。antifraud：表示数据风控。bot_algorithm：表示智能算法。bot_wxbb：表示App防护。bot_wxbb_pkg：表示App防护中的版本防护。ac_cc：表示CC安全防护。ac_blacklist：表示IP黑名单。ac_highfreq：表示...
错误码
爬虫风险管理的防护功能未关闭。AntibotServerError Anti-bot service is unavailable.爬虫风险管理不可用。TaskNotFound The specified task does not exist.任务未找到。TaskIsRejected The task has been rejected.任务被拒绝。...
什么是Web应用防火墙
帮助您防御网络爬虫，避免网络资源消耗。检测和阻挡恶意请求，帮助您减少带宽消耗，防止数据库、SMS、API资源亏空，减少响应延时，避免宕机等。针对多样业务场景支持自定义防护规则。集成大数据能力 每天约抵御数亿次网络攻击。拥有丰富的...
设置CC安全防护
拦截爬虫 如果在某段时间内，您发现网站的访问流量中有大量爬虫请求，若不排除是攻击傀儡机模拟爬虫进行CC攻击，则可以对爬虫的请求执行拦截操作。规则配置示例如下。防盗链 当浏览器访问某个网页时，会带上Referer字段，告诉服务器该请求...
DescribeDcdnUserConfigs-查询安全功能相关配置
bot_Advance：机器流量管理高级版（合法爬虫，威胁情报，AI 智能防护）。domain_business_control 返回参数 名称 类型 描述 示例值 object RequestId string 请求 ID。06D29681-B7CD-4034-A8CC-28AFFA213539 Configs object[]用户对应的...
WAF日志字段
false algorithm_action 客户端请求命中的典型爬虫行为识别规则对应的防护动作。取值：block：表示拦截。captcha：表示普通滑块验证。js：表示JS验证。captcha_pass：表示客户端通过了普通滑块验证，WAF放行客户端请求。js_pass：表示客户...
为Android应用集成SDK
参考以下SDK集成说明为您的Android应用集成爬虫防护SDK。Android SDK文件 联系阿里云技术支持人员获取对应的SDK包后，将其解压至本地。下表描述了解压获得的 sdk-Android 文件夹中包含的文件。文件名 说明 SecurityGuardSDK-xxx.aar 主框架...
DescribeInstanceSpecInfo
173：表示是否支持典型爬虫行为识别功能。176：表示是否支持合法爬虫功能。177：表示是否支持爬虫威胁情报功能。181：表示透明接入支持添加的引流配置（对应一个具体的实例IP+端口）的数量。190：表示是否支持CC防护能力。191：表示是否...
申请流量统计报告
单击 查看报告，您可以查看详细的报告信息，快速了解网站访问的具体信息，例如网站的参观者信息、主机信息以及搜索引擎网站的机器人等。具体操作，请参见 查看流量统计报告。单击 关闭报告，关闭报告后不支持查看流量统计报告了，如果需要...
查看流量统计报告
背景信息 流量统计报告通常包括参观者的国家或地区、最近参观日期、搜索引擎网站的机器人、获取网页链接的方式、参观的网页数与参观次数、操作系统以及浏览器版本等信息。操作步骤 重要 只有在网站可正常访问状态下，流量统计报告才会有...
服务等级协议
新零售智能助理服务等级协议 智能双录质检服务等级协议 智能外呼机器人服务等级协议 智能对话分析服务等级协议 媒体服务 视频服务 云视频会议服务等级协议 视频点播服务的服务等级协议 视频直播服务等级协议 音视频通信服务等级协议 媒体...
配置App防爬场景化规则
您可以基于实际业务场景定制防爬规则，更有针对性地对业务进行爬虫风险防护。本文指导您针对App的场景配置防爬场景化规则。背景信息 防爬场景化配置功能支持基于不同业务场景定制防爬规则，结合智能算法，精准识别爬虫流量，并对命中规则的...
探测目标站点或API的连通性和时延
当您访问某个网站需要了解其连通性和时延时，可以通过站点监控的探测点模拟最终用户所处的网络环境和所在的地域进行访问，从而获得各地域探测点到目标地址的访问数据。本文以通过终端用户访问淘宝页面为例，为您介绍通过探测目标站点的具体...
日志字段详情
algorithm_rule_id 客户端请求命中的典型爬虫行为识别规则的ID。antiscan_action 客户端请求命中的扫描防护规则对应的防护动作。取值仅有 block，表示拦截。更多信息，请参见 WAF防护动作（action）说明。antiscan_rule_id 客户端请求命中...
图形认证服务端集成
本文介绍如何通过调用接口使用图形认证功能。使用须知 请根据需要先下载以下Demo包，然后阅读 README.md 文件，运行Demo并启动项目。captcha-python-demo captcha-java-demo captcha-golang-demo 接入流程示例代码 当用户在客户端界面通过...
Web应用防火墙
algorithm_rule_id 客户端请求命中的典型爬虫行为识别规则的ID。antiscan_action 客户端请求命中的扫描防护规则对应的防护动作。取值仅有 block，表示拦截。更多信息，请参见 WAF防护动作（action）说明。antiscan_rule_id 客户端请求命中...
应用场景
物联网 对系统的运维监控以及对物联网（Internet of Things，简称IoT）场景中环境与人的监控均有助于进行事实理解与决策，因此需要支持众多设备与系统的高并发写入与数据存储以及决策分析。监控&IoT场景的核心需求如下：数据高并发写入：...
为什么选择DCDN
就近访问，加快动静态内容分发速度 随着在线业务发展，全球用户越来越多，但更长的传输距离、不同地区的网络质量差异和网络拥塞等问题，都可能导致网站或应用程序加载变慢甚至停止响应，影响用户的访问体验。DCDN 提供更快速的访问，实现更...
金融行业最佳实践
背景信息 随着银行、证券、保险等传统金融业务的数字化水平不断提升，和互联网金融的崛起，推动了网上银行、电子支付、网络证券交易等在线金融业务的高速发展。在线金融具有用户覆盖面广、交易频繁、访问量大、安全性要求高等特点，如何...
设置数据风控
数据风控支持防护的场景包括但不限于以下内容：垃圾注册、短信验证码滥刷、撞库、暴力破解、恶意抢购、秒杀、薅羊毛、抢红包、机器人抢票、刷票、恶意投票、垃圾消息。下图描述了数据风控的工作流程。关于接入数据风控的应用场景示例和实际...
为什么选择DCDN
就近访问，加快动静态内容分发速度 随着在线业务发展，全球用户越来越多，但更长的传输距离、不同地区的网络质量差异和网络拥塞等问题，都可能导致网站或应用程序加载变慢甚至停止响应，影响用户的访问体验。DCDN提供更快速的访问，实现更...
零售行业最佳实践
背景信息 随着电商零售市场的成熟，消费者越来越关注购物体验。电商零售平台的响应速度、稳定性和安全性，均可能直接影响用户购买欲和用户转化率。如何进一步提升用户体验成为电商零售企业在市场决胜的关键。阿里云全站加速DCDN全球覆盖...
安全报表
相关文档 基础防护规则和规则组 设置IP黑名单规则拦截特定请求 自定义规则 扫描防护规则 设置CC防护规则防御CC攻击 设置区域封禁规则封禁特定区域请求 设置网页防爬场景化规则防御网页爬虫 设置App防爬场景化规则防御App爬虫 设置信息泄露...
启用Nofollow介绍
一、功能介绍 什么是nofollow Nofollow是网站中A链接的属性，对链接设置nofollow的意思是告诉搜索引擎爬虫不要追踪设置了nofollow属性的链接。Nofollow对SEO有什么作用 ① 合理分配蜘蛛抓取量。对不想被抓取或已经收录的链接设置nofollow，...
功能发布记录
设置网页防爬场景化规则防御网页爬虫 设置App防爬场景化规则防御App爬虫 2022-05-30 WAF 3.0重保场景防护功能发布 提供重保防护规则组、海量IP封禁、协同防御和COOKIE安全相关能力，为客户提供强攻防对抗场景下的高等级防护能力。...
按量计费常见问题
由于互联网中存在各种爬虫脚本，当WAF检测到对应请求（可能是爬虫脚本对WAF所生成的CNAME地址的请求），就会产生费用。因此，如果您想要确保WAF不产生任何费用，请删除WAF网站配置页面中的所有域名配置记录。WAF的按量计费模式和包年包月...
EdgeScript概述
边缘脚本（EdgeScript，简称ES）是一个可供您快速实现 CDN 定制配置的工具箱，当视频点播控制台上的标准配置无法满足您的业务需求时，可以尝试使用边缘脚本简单编程实现。...同时，还可以针对防爬策略的实现，防止爬虫爬取资源。
什么是抢占式实例
典型场景如下：实时分析业务 大数据业务 地理空间勘测分析业务 图像和媒体编码业务 科学计算业务 可弹性伸缩的业务站点、网络爬虫业务 测试业务 不适用场景 对于需要长时间作业或稳定性要求极高的服务，请勿选择抢占式实例。使用限制 抢占...
EdgeScript概述
边缘脚本（EdgeScript，简称ES）是一个可供您快速实现 CDN 定制配置的工具箱，当 CDN 控制台上的标准配置无法满足您的业务需求时，可以尝试使用边缘脚本简单编程实现。...同时，还可以针对防爬策略的实现，防止爬虫爬取资源。
什么是DDoS攻击
分布式拒绝服务（Distributed Denial of Service，简称DDoS）是指将多台计算机联合起来作为攻击平台，通过远程连接，利用恶意程序对一个或多个目标发起DDoS攻击，消耗目标服务器性能或网络带宽，从而造成服务器无法正常地提供服务。...
EdgeScript概述
边缘脚本（EdgeScript，简称ES）是一个可供您快速实现 DCDN 定制配置的工具箱，当 DCDN 控制台上的标准配置无法满足您的业务需求时，可以尝试使用边缘脚本简单编程实现。...同时，还可以针对防爬策略的实现，防止爬虫爬取资源。
- 产品推荐
- 这些文档可能帮助您