HTTP触发器节点
背景信息 外部调度系统触发任务运行有以下两种典型场景：HTTP触发器节点无其他上游任务节点 此种场景下，您需要创建HTTP触发节点后，在其他调度系统配置好调度触发，并在DataWorks上配置好各节点的调度和上下游依赖关系，详情可参见 创建...
最佳实践：集成第三方调度系统
三方系统配置：开发触发三方任务运行的逻辑 完成订阅需要依赖的DataWorks节点后，您需要配置三方调度系统，根据DataWorks实例状态触发运行任务，当订阅到依赖的DataWorks节点已运行成功，即开始运行三方系统的任务。配置的示例代码如下。...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
离线模式调度配置
暂停调度 暂停调度 选择 是 后，即可暂停该任务的调度，会按照下面的调度周期时间配置调度，但是一旦调度到该任务会直接返回失败，不会执行。通常用于某个任务暂时不用执行，但后面还会继续使用的场景。调度周期 调度周期即在生产环境调度...
数据开发常见问题
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系...
周期任务通用运维概述
空跑调度 按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度的任务生成的实例均为暂停调度状态，可通过 恢复 操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时...
周期任务通用运维概述
空跑调度 按照调度周期的时间配置调度，但都是空跑执行，即一调度到该任务便直接返回成功，没有真正的执行任务。暂停调度 暂停调度的任务生成的实例均为暂停调度状态，可通过 恢复 操作使实例恢复运行。暂停适用于有些任务及其下游任务暂时...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
查看并管理周期任务
周期任务是指调度系统按照调度配置自动定时运行的任务。您可以在 运维中心>周期任务 页面查看当前工作空间下的定时调度的任务列表及生产环境调度任务配置详情，并管理周期任务。背景信息 周期任务的创建、发布、运行、暂停调度、下线等任务...
创建数据源质量规则
权限说明 超级管理员、质量管理员和资源负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要额外具备数据源的同步读取权限，如需申请数据源权限，详情请参见 申请数据源权限。质量规则试跑和运行区别 试跑和运行的区别在于...
创建数据源质量规则
权限说明 超级管理员、质量管理员和资源负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要额外具备数据源的同步读取权限，如需申请数据源权限，详情请参见 申请数据源权限。质量规则试跑和运行区别 试跑和运行的区别在于...
创建实时元表规则
权限说明 超级管理员、质量管理员和实时元表负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要额外具备实时元表的同步读取权限，如需申请实时元表权限，详情请参见 申请、续期和交还表权限。质量规则试跑和运行区别 试跑和...
创建实时元表规则
权限说明 超级管理员、质量管理员和实时元表负责人支持为质量规则配置调度、告警等。质量负责人、普通用户需要额外具备实时元表的同步读取权限，如需申请实时元表权限，详情请参见 申请、续期和交还表权限。质量规则试跑和运行区别 试跑和...
共享GPU调度概述
关于如何安装和使用共享GPU调度，请参考：安装共享GPU调度组件 运行共享GPU调度示例 除此以外，还有一些进阶能力，您可以根据业务需求选择：通过共享GPU调度实现多卡共享 通过共享GPU调度实现算力分配 配置共享GPU调度节点选卡策略 配置...
实现任务调度
在 application.properties 文件中配置调度任务。除了 简单Job单机版，您还可以配置其它类型的调度任务。相关内容，请参见 什么是分布式任务调度SchedulerX。在 application.properties 文件中添加您阿里云账号的AccessKey ID和AccessKey ...
基本概念
完成提交后，相应的代码、调度配置全部合并至调度系统中，调度系统根据相关配置进行调度操作。说明 未提交的节点任务、业务流程不会进入调度系统。脚本开发（Script）脚本开发是提供给数据分析使用的一个代码存储空间。脚本开发的代码无法...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
调度参数配置最佳实践
本文为您介绍配置调度参数的最佳实践，您可参考本文进行参数配置。背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点...
GetIDEEventDetail
该参数与 DataWorks控制台 中，数据开发任务的“调度配置>调度依赖”配置为“上一周期”后，依赖项选择”其他节点“时配置的内容对应。ResourceGroupId Long 375827434852437 文件发布成任务后，任务执行时使用的资源组。您可以调用 ...
什么是故障演练
验证容器编排配置是否合理 通过模拟杀服务Pod、杀节点、增大Pod资源负载，观察系统服务可用性，验证副本配置、资源限制配置以及Pod下部署的容器是否合理。测试PaaS层是否健壮 通过模拟上层资源负载，验证调度系统的有效性；模拟依赖的分布...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
管理系统配置
系统配置用于管控组件域名是否使用移动调度中心获取解析结果，您可通过开关配置开启。进入 移动开发平台 mPaaS 控制台，选择目标应用，完成以下步骤管理系统配置。在左侧导航栏点击 后台服务>移动调度，进入 移动调度 页面。在 系统配置 ...
离线同步任务运维
自动调度：任务发布后，调度系统将会根据您配置的 实例生成方式 生成 周期实例 并自动调度，您可以进入 运维中心>周期实例 界面查看实例的执行情况。说明 任务提交发布生产环境时，是否当天执行任务与您配置的实例生效时间有关，详情请参见...
XxlJob任务
背景信息 XXL-JOB是一个开箱即用的轻量级分布式任务调度系统，其核心设计目标是开发迅速、学习简单、轻量级、易扩展，在开源社区广泛流行，已在多家公司投入使用。XXL-JOB开源协议采用的是GPL，因此云厂商无法直接商业化托管该产品，各大中...
API概览
系统配置与日志 API 标题 API概述 DescribeStsGrantStatus 查询是否授权访问其他云产品 查询是否授权DDoS高防服务访问其他云产品。DescribeAsyncTasks 查询异步导出任务详细信息 例如任务ID、任务开始和结束时间、任务状态、任务参数、任务...
数据同步概述
说明 系统仅支持周期性节点的同步任务进行调度配置。编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标...
数据同步概述
说明 系统仅支持周期性节点的同步任务进行调度配置。编写代码的方式构建代码任务，以实现数据同步的流程：可选：上传应用函数资源，详情请参见 上传资源及引用。可选：新建脚本中使用到函数，详情请参见 新建用户自定义函数。新建同步目标...
创建同步任务
调度系统会根据配置的属性，从第二天开始自动定时执行。后续步骤 现在，您已经学习了如何创建同步任务，将数据导出至不同类型的数据源中，您可以继续下一个教程。在该教程中，您将学习如何设置同步任务的调度属性和依赖关系。详情请参见 ...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
离线任务调度属性配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
离线任务调度属性配置
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
产品简介
移动调度中心（Mobile Dispatch Center，MDC）是基于客户端...灵活管理系统配置开关 系统配置开关用于管控组件域名是否使用移动调度中心获取解析结果，默认开启，开启后组件域名直接使用移动调度中心获取，无需 Local DNS 解析，高效防劫持。
配置离线管道调度
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
配置离线管道调度
空跑调度：按照调度周期的时间配置调度，但都是空跑执行（即不会真实跑数据），即当调度到该任务时便直接返回成功，没有真正的执行任务。通常用于当某一个节点在一定时间内不需要执行，并且不阻塞他的下游节点执行时，可选择此类型调度。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
弹性伸缩配置中设置系统磁盘加密
弹性伸缩配置中系统磁盘设置为加密，视为“合规”。应用场景 为弹性伸缩配置中的系统磁盘设置加密可以提高数据的安全性和可靠性，同时满足合规性要求，是一种有效的数据保护措施。风险等级 默认风险等级：中风险。当您使用该规则时，可以...
- 产品推荐
- 这些文档可能帮助您