使用Azkaban调度MaxCompute
背景信息 Azkaban是一套作业调度系统，可以调度Command、Hadoop MapReduce、Hive、Spark、Pig等类型作业，而且支持自定义Plugin，其中最简单而且最常用的是Command类型。更多Azkaban信息，请参见 Azkaban。您需要将待调度作业依赖的源数据...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
OSS数据离线同步至MaxCompute
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置字段映射 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系。您可以选择同名映射、同行映射、取消映射或自动...
MaxCompute数据离线同步至ClickHouse
取值可以是调度系统参数，如 ds=${bizdate}，当任务运行时，会自动替换调度系统参数。其他参数保持默认即可。配置数据去向：ClickHouse侧参数 本实践将数据同步至ClickHouse，数据去向是ClickHouse。配置要点如下。配置项 配置要点 数据源 ...
阿里云CDN的五大竞争力
基于内容调度，提高访问命中率：在大文件下载和视频点播这两个应用场景上经常使用302调度这种基于内容的调度技术，302调度是一种中心调度方案，用户在请求某一个资源的时候，在完成域名DNS解析之后，用户请求将会先访问到中心调度系统上，...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
使用负载热点打散重调度
ack-koordinator组件提供负载热点打散重调度能力，可以感知集群内节点负载的变化，自动地优化超过负载水位安全阈值的节点，防止出现负载极端不均衡的情况。本文介绍如何使用负载热点打散重调度及其高级配置参数。使用限制 仅支持ACK Pro版...
任务冻结与解冻
为什么做了冻结操作，任务还是执行？如何查看哪些用户对任务做过哪些操作？冻结周期任务和周期实例的影响 冻结与解冻周期任务 系统每晚会根据周期任务生成第二天要运行的周期实例，冻结周期任务会导致之后生成的周期实例处于冻结状态，并...
时间属性配置说明
实例生成方式 节点提交发布生产环境调度系统时，调度节点会根据您配置的 实例生成方式 生成自动调度的 周期实例，无论哪种方式发布调度任务至生产环境，都可在运维中心的 周期任务 界面看到任务的最新依赖情况。但自动调度的 周期实例 何时...
创建有状态工作负载StatefulSet
您可以通过容器服务控制台创建StatefulSet类型的应用，满足您快速创建有状态应用的需求。本文介绍如何创建一个Nginx的有状态应用并验证该有状态应用的数据持久化特性。前提条件 使用镜像创建有状态的StatefulSet应用前，请确保您已经进行...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
常见问题
使用Slurm调度器的集群默认有8个DummyNode，假设当前集群拥有5个计算节点，那么您提交的单个Slurm作业最多可以使用13个节点。如果希望使用更多节点运行单个作业，需要手动扩容计算节点，或增加DummyNode的数量。增加DummyNode数量的步骤...
常见问题
而在创建ECI实例时，系统需要申请资源，如果指定了多可用区，还需要在库存不足时逐个尝试各个可用区是否有库存，因此时间相对会慢一些。如果您指定了多可用区创建ECI实例，建议您把库存比较多的可用区ID放在第一个，这样可以避免由重试导致...
任务管理
当系统发生调度时，高优先级任务可以抢占低优先级任务的处理器资源得到调度执行。系统在无任务可调度时，就运行空闲任务，其优先级最低。任务被创建时，需要为任务指定执行体入口地址、栈大小、优先级等信息，创建过程中内核为任务分配任务...
EMR Hive数据整库离线同步至MaxCompute
分区信息 如果要写入的表为分区表，则您可以填入分区列的取值，取值可以是固定值如 ds=20220101，也可以是调度系统参数如 ds=${bizdate}。当任务运行时，会自动根据调度配置做参数替换。说明 分区信息会根据MaxCompute表的实际结构定义确定...
EMR Hive数据整库离线同步至MaxCompute
分区信息 如果要写入的表为分区表，则您可以填入分区列的取值，取值可以是固定值如 ds=20220101，也可以是调度系统参数如 ds=${bizdate}。当任务运行时，会自动根据调度配置做参数替换。说明 分区信息会根据MaxCompute表的实际结构定义确定...
工作流编辑
配置工作流调度 您可以打开工作流调度配置面板，配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍如何配置工作流的基本属性、调度属性和告警设置。进入数据开发的项目列表页面。通过...
FTP Check节点
说明 其他调度系统可以自行指定生成标记文件的文件系统。本文以生成的标记文件为.done 示例，在实际使用中，您可以自定义标记文件的格式、名称等信息。具体如下：其他调度系统检测到外部数据库的数据已就绪（即数据写入已完成，可以被访问...
调度周期：年调度
年调度是指调度任务在每年的特定几天，在特定的时间点自动运行一次。例如，调度任务设置为每年一月的最后一天执行。注意事项 在非指定的调度时间内，为保证下游实例正常运行，年调度节点会生成空跑的周期实例。重要 空跑现象：系统直接返回...
调度周期：小时调度
小时调度即每天指定的时间段内，调度任务按 N*1小时 的时间间隔运行一次。例如，每天00:00~03:00的时间段内，每1小时运行一次。注意事项 时间周期根据左闭右闭原则计算。例如，配置调度任务在0点~3点的时间段内，每隔1个小时运行一次。表示...
调度周期：周调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖的 Zeppelin 作业，然后创建工作流，按照依赖次序定义执行顺序...单击运行，可以调度Zeppelin作业 说明 你可以设置工作流配置，配置调度属性。详情请参考 工作流使用案例
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
调度中心字段说明
调度状态 标识当前调度组的状态 开启：开启状态的调度组可以调度组内的任务。关闭：关闭状态的调度组，当前正在执行的任务会继续执行，但组内剩余任务不再调度。操作 删除调度组 关闭状态的调度组允许删除。删除时正在运行的任务会继续执行...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
什么是阿里云CDN
链路质量系统 链路质量探测系统会实时监测缓存系统中的所有节点和链路的实时负载以及健康状况，并将结果反馈给调度系统，调度系统根据用户请求中携带的IP地址解析用户的运营商和区域归属，然后综合链路质量信息为用户分配一个最佳接入节点...
功能相关问题
可以理解成不同的系统有不同的任务调度。如何使用简单任务的任务分步？一个简单任务可以拆分成多个执行步骤（step），由不同的执行器（handler）按顺序执行。前置步骤成功完成后，才开始执行下一个步骤。详细的操作步骤，参见 新建任务。...
调度周期：日调度
日调度即调度节点每天在指定的定时时间运行一次。新建周期任务时，默认调度时间是在 00:00~00:30 时间段随机生成。您可根据需要自行指定运行时间点。例如，指定每天13点运行一次。配置示例 配置路径 您需要进入数据开发节点的编辑页面，...
HTTP触发器节点
其他调度系统的触发配置 在外部调度系统中进行触发配置时，您可以通过以下三种方式：Java方式、Python方式或API调用方式。Java方式 安装Java SDK，详情可参见 开始使用。其中，DataWorks的SDK请用下面的pom配置。groupId>...
最佳实践：集成第三方调度系统
DataWorks的开放平台为您提供OpenEvent、OpenAPI等开放能力，您可通过开放平台将第三方调度系统集成到DataWorks的调度系列中，将三方调度系统的任务嵌入DataWorks的业务流程中。本文以一个示例为您介绍集成第三方调度系统时需要进行的配置...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
离线同步任务运维
自动调度：任务发布后，调度系统将会根据您配置的 实例生成方式 生成 周期实例 并自动调度，您可以进入 运维中心>周期实例 界面查看实例的执行情况。说明 任务提交发布生产环境时，是否当天执行任务与您配置的实例生效时间有关，详情请参见...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
- 产品推荐
- 这些文档可能帮助您