EMR Studio概述
能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等开源大数据开发使用体验。覆盖了大数据处理ETL、交互式数据分析、机器学习和实时计算等多种应用场景。EMR Studio核心优势 ...
DataWorks On CDP/CDH使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
DataWorks On Hologres使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
产品优势
完善的监控体系和服务体系，7*24小时全网监控，基于服务质量智能监控和调度。安全可靠 支持频次控制功能，保底防护6万QPS，最高100万QPS。提供防刷策略，智能识别请求频繁的陌生IP并限制其访问资源，达到防刷的目的。智能调度 自动识别日常...
DataWorks On MaxCompute使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
One Time
One Time即一次性任务调度，配置完成后任务将在设置的时间点执行一次，执行完成后调度平台会自动清理任务，您无需在客户端执行删除任务的操作。一次性任务调度适用于订单超时未支付、自动关闭定时日历提醒等场景。本文介绍如何通过API创建...
监控大盘
目标 云客服的监控大盘、报表和监控预警平台功能，主要为帮助您实现以下目标：发现、定位问题，推动创新或解决方案出现。数据驱动决策，为决策提供支撑，减少盲目性和不确定性。提供决策的执行效果反馈。以往鉴来，未卜先知。发现历史的...
如何使单应用支持十万以上的定时任务
将SchedulerX作为底座 当将SchedulerX作为底座，封装一层任务调度平台（通过POP API新建任务）提供给自己的公司使用时，任务量也有可能达到万、甚至十万级别。操作步骤 使单应用能够支持十万以上的定时任务，需要完成以下两个步骤：联系...
XxlJob任务
阿里巴巴商业化任务调度平台SchedulerX 2.0兼容XXL-JOB任务接口，您不需要修改一行代码，即可将XXL-JOB任务在SchedulerX 2.0平台上托管。采用托管的XXL-JOB有以下优势：免运维、低成本 自建XXL-JOB最少需要2个服务器和1个数据库支撑，而...
操作指南
您可以在 云工作流 控制台创建和执行工作流、创建工作流调度、将 云工作流 与其他云服务进行集成以及查看工作流相关指标监控等。云工作流 新版 工作流定义 创建工作流 工作流执行 工作流调度 工作流集成 监控指标 Serverless 工作流旧版 ...
智能监控概述
任务运行状态监控 监控对象 您可以通过配置相应的监控规则（自定义规则、智能基线），对周期调度任务状态、周期任务自动调度产生的周期实例运行状态、实时计算任务运行状态、资源使用情况进行监控。周期任务状态监控 DataWorks每晚根据 ...
在Kubernetes集群中部署SchedulerX
已在 分布式任务调度平台 创建一个应用类型为K8s的应用。具体操作，请参见 创建应用。步骤一：配置ServiceAccount SchedulerX K8s任务依赖于ServiceAccount进行验证与授权，且默认使用Namespace的SchedulerX ServiceAccount运行K8s任务。在...
时间属性配置说明
调度日历 用于定义任务的调度日期与调度方式，DataWorks支持如下两种日历：默认日历：平台提供，适用于通用场景。自定义调度日历：用户自定义，适用于有灵活调度日期需求的行业及场景（例如，金融行业）。可根据需要配置日历所应用的工作...
数据开发与运维中心：数据加工
DataWorks的 数据开发（DataStudio）是数据加工的开发平台，运维中心 是智能运维平台，基于这两个功能模块，您可以在DataWorks上规范、高效地构建和运维数据开发工作流。功能概述 DataWorks的数据开发的亮点功能如下。DataStudio支持...
概述
面向企业数据消费者，数据大屏通过自由画布、信息图类组件、动效等能力，将可视化和场景叙事技术结合，运行在非接触式连接的酷炫大屏上，满足CXO业务大屏、业务监控数字屏、项目会议演示屏，以及对外PR媒体大屏等场景。数据大屏仅适用于...
资源监控
资源监控可设置调度资源大盘的开启和关闭。针对调度资源大盘，Dataphin管理中心提供实例级别的控制。本文为您介绍如何开启或关闭调度资源大盘。功能限制 资源监控仅支持监控Dataphin集群的资源。前提条件 请联系Dataphin部署团队部署...
配置项目监控报警规则
Dataphin支持项目级的监控报警，支持监控项目内全部任务或通过任务类型（任务类型+调度类型）批量配置，便于您及时发现并处理任务告警，同时提高任务监控报警配置的效率。本文为您介绍如何配置项目监控报警规则。使用限制 仅支持针对Basic...
配置项目监控报警规则
Dataphin支持项目级的监控报警，支持监控项目内全部任务或通过任务类型（任务类型+调度类型）批量配置，便于您及时发现并处理任务告警，同时提高任务监控报警配置的效率。本文为您介绍如何配置项目监控报警规则。使用限制 仅支持针对Basic...
配置任务监控报警规则
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
配置任务监控报警规则
Dataphin支持批量配置任务级和字段级的监控报警，任务级支持物理任务、逻辑表任务，字段级支持逻辑表字段，便于您及时发现并处理任务报警，同时提高任务监控报警配置的效率。本文为您介绍如何为任务和逻辑表字段配置监控报警规则。前提条件...
附录1 云产品监控指标
企业云监控的监控指标名称在基础云监控的监控指标名称的基础上进行了相应变更，请参见 企业云监控的监控指标名称的构成规则。云监控在中国内地设立了管控平台，以提供云产品的监控服务。云监控使用管控平台对各阿里云产品的监控指标进行...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
K8s任务
SchedulerX支持定时调度程序、多语言脚本和HTTP接口，也支持调度原生的K8s Job或者Pod。本文介绍如何在Kubernetes环境中部署...SchedulerX平台支持Java和Kubernetes任务类型，能够实现离线与在线定时任务的混布调度，灵活满足不同需求。
健康巡检
指标监控任务调度情况 异常：连续失败5次 提醒：连续失败3次 正常：连续失败3次以下 当状态为 异常 或 提醒 时，请及时调整失败任务。Quick引擎抽取任务调度情况 异常：自动暂停调度 正常：正常调度 当状态为 异常 时，请及时调整失败任务...
添加订阅配置
定期巡检报告：对选择的业务分组内的所有监控任务在设置的调度周期、生效日期和生效时段内报警的监控任务的汇总信息（查看模板）。调度周期 订阅报告选择 定期巡检报告 时，需设置告警任务的调度周期：分钟、小时、天。生效日期 订阅监控的...
配置数据质量监控
配置表行数波动监控（弱规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。本案例中，对加工后的ads_user_...
设置离线节点的调度信息
如果需要在开发环境场景上线后定时调度该场景中离线计算节点，则需要在开发环境场景上线前配置场景中离线节点的调度信息，调度配置在生产环境中生效。本文介绍如何设置开发环境场景中离线节点的调度信息。前提条件 开发环境场景画布流程中...
功能特性
分布式云容器平台ACK One 分布式云容器平台ACK One（Distributed Cloud Container Platform for Kubernetes）是阿里云面向混合云、多集群、分布式计算、容灾等场景推出的企业级云原生平台。ACK One可以连接并管理您任何地域、任何基础设施...
查看周期实例
周期实例是周期任务达到启用调度所配置的周期性运行时间时，被自动调度的实例快照。您可以通过列表及DAG图的方式，快速查看实例的详细信息并执行相关操作。相关概念 正常任务：即真实执行代码逻辑的任务，不包括空跑（调度属性为空跑的任务...
添加订阅配置
定期巡检报告：对选择的业务分组内的所有监控任务在设置的调度周期、生效日期和生效时段内报警的监控任务的汇总信息（查看模板）。调度周期 订阅报告选择 定期巡检报告 时，需设置告警任务的调度周期：分钟、小时、天。生效日期 订阅监控的...
场景：节点孤立
孤立节点监控报警 DataWorks每晚根据 周期任务 生成第二天待自动调度运行的 周期实例，所以为保障周期任务可以正常产生周期实例并且自动调度运行，DataWorks内置了报警规则来对周期任务进行定期监控扫描，如有异常便会自动报警。...
配置数据质量监控
配置表行数波动监控（弱规则）主键唯一性校验（强规则）3、规则关联调度节点 数据质量通过关联调度的方式及时感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，即通过关联调度节点触发数据质量校验规则执行。...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
数据集成
同步任务调度配置 节点依赖关系 离线同步任务 离线同步任务的上游任务：由于同步任务可依赖平台侧血缘，因此，您可根据工作空间业务复杂性，选择挂载依赖至 工作空间根节点或 虚拟节点，即由工作空间根节点调度当前节点执行，还是由虚拟...
节点组
节点组用于对依赖计算资源的算法节点进行组合，组合的算法节点在部署和运行时会被打包在一起进行调度。本文介绍节点组的配置参数说明。节点属性 节点属性 关键参数说明如下：配置项 说明 节点组名称 节点组的名称。节点组标识 节点组的唯一...
支持的云产品及其系统事件
说明 云监控在中国内地设立了管控平台，以提供云产品的监控服务。云监控使用管控平台对各阿里云产品的系统事件进行处理。系统事件使用说明 当您需要调用云监控API接口时，可以通过下表链接获取云产品相关系统事件的 事件类型、事件名称、...
数据质量风险监控
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
2023年
无 告警规则 优化 Prometheus自监控类产品告警规则优化，支持在ARMS告警管理平台统一查询和展示，并支持快速跳转至云产品控制台规则列表页面进行管理。无 告警规则 优化【邀测中】应用告警规则新增支持区间检测模式，满足周期稳定类型的...
查看运维大屏
运维大屏为您展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的整体概况，及时发现并处理异常任务，提升运维效率。使用说明 运维...
快速入门
创建任务Job 创建定时任务CronJob 创建Spark任务 创建TensorFlow任务 监控管理 多集群全局监控基于单集群Prometheus的监控指标，聚合汇总多个集群的监控指标，并提供多集群全局的监控大盘，让您可以在一个监控大盘上获取多个关联集群的监控...
- 产品推荐
- 这些文档可能帮助您