工作原理
巡检任务会持续累计200个观测点后再发出巡检事件，并随着观测点的累计提升异常检测的准确度。从某个历史时间点开始执行巡检任务 在当前时间点创建巡检任务后，按照任务规则对历史数据进行处理，算法模型会快速消费历史数据，进行模型训练，...
如何设置数据时间
} } 在控制台创建任务，详情请参见 创建调度任务。并在 定时配置 中设置 时间偏移-3600（单位：秒），即向前偏移3600 秒（一小时）。任务执行时间不变，执行的时候通过 context.getDataTime()获取的是前一天23:30的数据。结果验证 在包含...
功能特性
托管ArgoCD(GitOps)ACK One舰队的Fleet实例托管了ArgoCD，同时集成ACK One多集群能力，实现多集群的GitOps持续交付，满足应用的高可用部署、系统组件多集群分发等需求。GitOps使用快速入门 多集群网关 ACK One通过托管MSE Ingress ...
如何管理应用级别的资源和任务优先级
对于业务规模较大的应用而言，调度的稳定性和核心任务的时效性是至关重要的。本文介绍如何管理应用级别的资源和任务优先级。背景信息 一些第三方的资源管理系统（例如Mesos和Yarn），能够实现CPU和内存级别的资源管控，而您使用自己的...
流程管理
创建工作流 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 流程管理。在 流程管理 页面选择目标命名空间，然后单击 创建工作流。在 创建工作流 面板，设置工作流的 名称、描述、应用ID 和 时间类型 等配置项，然后...
ACK One概述
智能调度 利用容器服务ACK调度器，实现Gang Scheduling、CPU拓扑感知、ECI弹性调度等高阶调度能力。利用分布式缓存ACK Fluid应对存算分离场景，提升访问效率和减少带宽占用。注册集群相关文档，请参见 注册集群概述。多集群舰队 当您同时...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
注册集群概述
持续容灾备份到云端，提高勒索防护的防范能力。业务容灾：提供跨地域和数据中心的应用和数据异地备份容灾和定时备份能力。异地多活：提供兼容Kubernetes，快速构建两地三中心容灾系统，帮助您搭建高可用系统。场景4：注册集群，协同调度器...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
脚本任务
名称 参数 调度时间#{schedule.timestamp} 数据时间#{data.timestamp} 自定义参数的Shell任务示例 通过任务参数配置自定义参数，多个自定义参数需使用空格分隔。第一个参数通过$0 渲染，第二个参数通过$1 渲染，以此类推。Python Go
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
Spring Boot应用接入SchedulerX
本文介绍如何使用Spring Boot应用快速接入SchedulerX。视频演示 前提条件（可选）已创建命名空间。具体操作，请参见 创建命名...后续步骤 应用接入SchedulerX完成后，即可在分布式任务调度平台创建调度任务。更多信息，请参见 创建调度任务。
通知联系人和通知联系人组
创建通知联系人或通知联系人组 创建通知联系人 登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，单击 通知管理>通知联系人。在 通知联系人 页面，单击 新建联系人。在 新建联系人 页面，配置联系人基础信息。配置项 说明 ...
Spring Boot应用接入SchedulerX
本文介绍如何使用Spring Boot应用快速接入SchedulerX。视频演示 前提条件（可选）已创建命名空间。具体操作，请参见 创建命名...后续步骤 应用接入SchedulerX完成后，即可在分布式任务调度平台创建调度任务。更多信息，请参见 创建调度任务。
JobContext参数说明
DateTime scheduleTime 实例的计划调度时间 DateTime dataTime 实例的数据时间 String jobType 任务类型 String taskName 子任务名称 Object task 子任务body String jobParameters 控制台配置的静态任务参数。jobParameters有大小限制，不...
逻辑表调度配置概述
对于逻辑表任务，您需定义任务的调度相关属性，包括调度属性、上游依赖、调度参数等。本文为您介绍逻辑表任务调度的相关内容。逻辑表调度配置入口 在Dataphin首页，单击顶部菜单栏的 研发，默认进入数据 开发 页面。按照下图操作指引，进入...
如何使用定时任务的灰度
您也可以使用Jenkins等持续集成软件，将手动运行一次实现自动化，如下图所示：用户侧节点如何配置label 程序启动时设置 应用程序启动时，可以通过Properties设置Label，以Springboot工程为例。spring.schedulerx2.label=${label} 容器服务...
如何接入日志服务
阿里巴巴分布式任务调度系统SchedulerX 2.0提供日志服务，您无需修改代码，只需增加一个Log4j或Logback的配置，即可在控制台看到每次任务调度（包括分布式任务）的业务日志。本文介绍如何通过SchedulerX接入并查看日志服务。前提条件（可选...
Stream模型
Produce接口按指定频率持续运行生成一批次子任务信息进入队列，基于缓冲队列框架持续分发子任务给当前业务集群处理。处理分发过程不会等待上一批次执行结束，只要集群有可用机器，资源就会持续分发处理。该模型主要解决以下问题场景：现有...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
在Kubernetes集群中部署SchedulerX
使用场景 使用SchedulerX调度K8s Job有如下优势。可在线编辑脚本Pod K8s Job常用于数据处理和运维场景，一般以脚本实现居多。原生的使用方式需要将脚本打包到镜像里，在YAML文件中配置脚本命令。如果要修改脚本，需要重新构建镜像和发布。...
调度中心字段说明
创建调度组填写字段详解 名称 含义 说明 调度组名称 调度组的名称，标识不同的调度组 同一账号的调度组名称 不允许重复。并发数 标识该调度组最多可以同时执行多少任务 取值范围：1～100。建议按照实际业务的带宽，估算 最大 支持多少实例...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
2023年
无 问题修复 修复 修复1.7.X广播任务线程持续增长的问题。修复共享线程池模式下存在的内存资源泄露问题。修复动态代理对象无法执行Reduce问题。修复秒级别任务执行应答合并丢失问题。无 服务端发布记录 2023-02-01 功能名称 变更类型 功能...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
执行列表
登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏单击 执行列表。在 执行列表 页面的 所属命名空间 列表选择具体的命名空间，然后单击 任务实例列表 或 流程实例列表 页签。默认显示 全部 执行记录。可以对执行记录进行筛选和...
离线集成任务属性配置概述
对于离线集成任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。...
如何在SchedulerX 2.0平台上托管ElasticJob任务
分布式任务调度SchedulerX 2.0兼容开源ElasticJob任务接口，您无需修改代码，即可将ElasticJob任务在SchedulerX 2.0平台上进行托管。本文介绍如何在SchedulerX 2.0平台上托管ElasticJob任务。背景信息 ElasticJob基于Quartz开发并且依赖...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
API概览
本产品（分布式任务调度/2019-04-30）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求，...
SchedulerxWorker配置参数说明
True setShareContainerPool(boolean shareConatinerPool)客户端所有任务执行是否共享线程池，推荐大量任务高并发调度的场景开启。False setSharePoolSize(intsharePoolSize)如果开启共享线程池，可以自定义线程池大小。64 setLabel(String...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
- 产品推荐
- 这些文档可能帮助您