场景：配置增量数据离线同步任务
同时，过滤条件可以结合调度参数使用，实现过滤条件随任务调度时间的动态变化，进而实现增量数据的同步。该内容将向您介绍如何配置增量数据同步任务。使用说明 部分数据源暂无增量同步方案，例如HBase、OTSStream数据源等。具体数据源是否...
kube-scheduler
v1.26.3-aliyun-5.9-cd4f2cc3 2023年11月16日 优化由于云盘类型不满足调度失败的原因展示。v1.26.3-aliyun-5.8-a1482f93 2023年10月16日 新增支持Windows节点调度。优化Coscheduling处理多任务同时调度时的调度速度，减少任务阻塞的情况。v...
设置Pod故障处理策略
此时，Pod status.reason不会显示ContainerInstanceScheduleFailed，您也可以查看Pod status condition，通过ContainerInstanceCreated的reason和message确定当前调度周期内调度失败的原因。{"conditions":[{"lastProbeTime":"2023-03-30T...
Dataphin补数据任务空跑调度了是什么原因
问题描述 Dataphin补数据任务空跑调度了是什么原因？问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度...
文档修订记录
本文为您介绍DataWorks文档更新的最新动态，基于此您可以及时了解DataWorks的新增特性及功能变更。2024年2月更新记录 时间 特性 类别 描述 产品文档 2024.2.22 新增功能 账单订阅及查询分析 用户中心支持订阅不同类型的账单数据，例如，...
数据集成侧同步任务配置
周期设置：由于需要进行周期性调度，所以需要定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见 时间属性配置说明。设置任务运行资源 在此步骤...
智能监控概述
智能监控功能支持您...通过报警信息页面查看 您也可以通过报警信息页面查看智能监控模块产生的所有报警信息，并通过报警详情查看报警的完整触发流程，包括触发该报警的监控规则、报警触发条件、您收到报警的原因等。详情请参见：报警信息。
任务常见问题
jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因？开启专业版，使用链路追踪。具体操作，请参见 如何接入链路追踪。任务运行实例达到上限怎么办？问题现象：在任务管理页面，单击 运行一次，收到 任务运行实例达到上限，请稍后重试...
任务常见问题
jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因？开启专业版，使用链路追踪。具体操作，请参见 如何接入链路追踪。任务运行实例达到上限怎么办？问题现象：在任务管理页面，单击 运行一次，收到 任务运行实例达到上限，请稍后重试...
任务常见问题
jstack|grep<任务实例id>-A 20 如何排查任务运行慢的原因？开启专业版，使用链路追踪。具体操作，请参见 如何接入链路追踪。任务运行实例达到上限怎么办？问题现象：在任务管理页面，单击 运行一次，收到 任务运行实例达到上限，请稍后重试...
历史记录
本文介绍了SchedulerX产品在2022年以前发布涉及的新增功能、功能优化、重要问题修复及对应的文档，帮助您了解SchedulerX的历史发布动态。服务端 2021-12-01 新特性 新增API：指定机器。新增API：查询工作流。2021-06-02 新特性 支持应用...
Java SDK
本文介绍SchedulerX产品的Java SDK发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的Java SDK发布动态。发布记录 1.11.4，2024-03-20 功能名称 变更类型 功能描述 相关文档 工作流 新增 JobContext可以获取...
PAI-TF概述
PAI-TF的作业都是基于底层的分布式调度系统动态调度至不同机器。当您提交PAI-TF作业时，无需担心是否需要提前申请GPU物理主机，PAI-TF所需要的GPU资源随作业的提交动态分配，随作业的结束动态释放。全局计算调度 当您在使用MaxCompute计算...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
XxlJob任务
高可用 SchedulerX 2.0采用高可用架构，任务多备份机制，经历过阿里集团多年双十一、容灾演练等场景的考验，可以做到整个集群挂掉任意2个节点或者任意一个机房断电，任务调度都不会受到影响。商业化报警运维 SchedulerX 2.0除了兼容XXL-JOB...
调度依赖配置指引
说明 调度参数会根据任务调度的业务日期、定时时间及参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换，进而实现任务查询与产出的表分区变更。基于表血缘选择调度依赖方式的步骤如下：确认表的血缘关系 为保障任务...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
控制台总览
您可以在任务调度产品控制台总览页面查看所有任务的动态和统计信息。任务统计 显示当前环境中已存在的各类任务数量统计：任务总数：当前环境中已配置的任务总数，包括简单任务、集群任务。将鼠标悬浮在图标上方以查看每个任务类型的数量...
负载均衡调度算法介绍
负载均衡会根据配置的调度算法，将来自客户端的请求按照对应的算法规则转发至相应的后端服务器。负载均衡支持轮询、加权轮询、加权最小连接数、一致性哈希等多种调度算法，用于支持不同的业务场景。本文列出所有负载均衡系列产品支持的调度...
数据开发：开发者
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
配置并使用调度参数
调度参数是根据任务调度的业务时间及调度参数的取值格式自动替换为具体的值，实现在任务调度时间内参数的动态替换。本文为您介绍如何配置及使用调度参数，并以ODPS SQL节点为例，讲解调度参数配置完成后使用冒烟测试功能测试调度参数的替换...
数据开发概述
DataWorks数据开发（DataStudio）模块用于定义周期调度任务的开发及调度属性，与运维中心配合使用，面向各引擎（MaxCompute、Hologres、EMR等）提供可视化开发主界面，支持智能代码开发、多引擎混编工作流、规范化任务发布等能力，帮助您...
数据开发功能索引
批量操作（）：用于快速对表、资源、函数进行批量修改（包括修改责任人、引擎实例、调度资源组、调度重跑属性、调度类型、调度周期、调度超时时间等操作）。导入（）：用于快速将本地数据上传至目标表中。目前仅支持上传数据至MaxCompute表...
使用Gang scheduling
原因：当集群中同时存在多个PodGroup调度时，由于调度器存在BackOff队列，可能存在一个PodGroup的所有Pod的调度没有完全聚合在一起的情况。此时已经预占资源的Pod可能会影响后续PodGroup的Pod调度，因此在后续PodGroup的Pod调度时，会拒绝...
使用Gang scheduling
原因：当集群中同时存在多个PodGroup调度时，由于调度器存在BackOff队列，可能存在一个PodGroup的所有Pod的调度没有完全聚合在一起的情况。此时已经预占资源的Pod可能会影响后续PodGroup的Pod调度，因此在后续PodGroup的Pod调度时，会拒绝...
计费概述
本文介绍分布式任务调度SchedulerX的各计费项及其计费规则。基本概念 任务类型：调度任务的类型。包含单机任务和非单机任务（广播、分片、并行和网络任务等）。任务调度总量：通过SchedulerX配置并启用的分布式任务调度总规模，单位为CU...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
场景：调度参数在数据集成的典型应用场景
调度参数可以同于数据集成任务配置的各个阶段。本文为您介绍调度参数的典型应用场景。背景信息 DataWorks数据集成结合调度参数使用，可实现以下场景：场景 说明 相关文档 增量数据同步 部分Reader插件可通过调度参数实现每次调度只同步指定...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
各类型节点的调度参数配置示例
内置参数$1赋值取业务时间：$bizdate 自定义参数$2赋值取业务时间：${yyyymmdd} 自定义参数$3赋值取定时时间：$[yyyymmdd]配置及使用调度参数，详情请参见 配置并使用调度参数，更多调度参数的赋值方式，详情请参见 调度参数支持的格式。...
任务管理
本文介绍如何在任务管理页面对调度任务进行一系列操作。创建调度任务 重要 创建任务前，请确保您已经创建了任务分组。更多信息，请参见 应用管理。登录 分布式任务调度平台。在顶部菜单栏选择地域。在左侧导航栏，选择 任务管理。在 任务...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
- 产品推荐
- 这些文档可能帮助您