虚拟节点调度方案对比及介绍
针对虚拟节点，ACK Serverless集群基础版 和 ACK Serverless集群Pro版 支持的调度方式不同，且有其特定的使用场景，例如调度到指定操作系统或架构类型的虚拟节点上、跨可用区亲和等。您可以依据调度场景以及集群类型，参考本文选择合适的...
其他问题
当两个节点的调度周期不同时，即上游节点5分钟调度一次，下游节点20分钟调度一次，下游节点如何获取数据？为何周期调度中某个节点的实例实际运行时间和计划时间有差异？任务执行是按照业务连线的先后顺序执行，即当前一节点运行结束，后一...
调度设置
若您的任务需要周期性运行，则在配置任务的调度属性前，需先进入DataStudio的调度设置页面开启调度功能，开启后，周期任务的调度配置才会生效。同时，DataWorks支持设置周期任务默认使用的资源组，支持设置任务的默认重跑属性、重跑次数、...
名词解释
调度时间 JobInstance每次调度的时间叫做调度时间，JobProcessor可以根据 context.getScheduleTime()获取。数据时间 SchedulerX可以处理有数据状态的任务。创建任务的时候可以填数据偏移。例如一个任务是每天00:30运行，但是实际上要处理上...
步骤三：设置任务调度策略并发布
本文介绍设置任务调度策略的操作流程。前提条件 已编写SQL语句。具体操作，请参见 步骤二：编写SQL分析语句。使用说明 修改已发布的SQL分析任务时，如果修改输出字段的名称和类型，修改前生成的存储表数据将被调度产出的新数据覆盖。如果...
E-HPC集群调度器插件
E-HPC提供了调度器插件作为平台的外扩组件，在E-HPC现有调度器类型或版本不满足当前业务时，您可以通过该插件构建自定义调度器并接入E-HPC平台的能力。本文为您介绍E-HPC集群调度器插件的概念及组成。什么是调度器插件 E-HPC作为一款PaaS...
调度中心
本文介绍调度中心功能的具体使用流程，帮助您快速掌握创建、查看及使用调度组。功能简介 调度中心功能可以帮助您实现对迁移任务的自动调度，支持将迁移任务加入调度组，并按照您自定义的调度规则自动执行迁移任务。通常，使用调度中心您...
周期任务通用运维概述
周期任务是指调度系统按照调度配置自动定时运行的任务。本文为您介绍周期的脚本任务、明细及汇总表（维度逻辑表、事实逻辑表、汇总逻辑表）任务的通用功能，包括使用说明，支持的调度类型和相关功能说明。使用说明 仅生产环境运维中心支持...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
代码解析结果对比
开启自动解析时，为保障生产数据产出无误、节点变更操作过程可控，在节点发布流程中，需对节点调度变更相关操作进行二次确认，提交节点时将基于代码中表血缘解析当前节点的输入与输出。您可根据代码解析结果，确认节点的上下游依赖是否正确...
Dataphin周期任务已修改为空跑任务，为什么还会正常...
问题描述 周期任务从正常调度修改为空跑任务并发布后，周期实例第二天仍按照正常调度来运行，这是什么原因呢？问题原因 首先明确概念：正常调度指按照配置的调度周期和起调时间，并正常执行。空跑调度指按照调度周期的时间配置调度，但都是...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
ack-ai-installer
ack-ai-installer是增强ACK Pro版集群和 ACK Edge集群Pro版 调度能力的Device Plugin（设备插件）的组件集合，支持结合ACK Scheduler（ACK基于Kubernetes Scheduling Framework扩展机制，针对不同任务负载、不同弹性资源的统一调度系统）...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
新建补数据任务
补数据任务能够支持您以不同的调度方式对历史数据进行回刷。对于需要定期进行补数据的场景，您可以通过补数据的定时调度功能进行定期补数据；对于经常补数据的节点，但补数据时间及补数据业务日期不确定的场景，您可以通过创建手动运行的补...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
Dataphin天调度任务如何依赖小时调度任务
概述 本文为您介绍Dataphin中天调度任务依赖小时任务调度是如何调度的。详细信息 判断下游天任务与上游小时任务是否是同周期。同周期：判断上游小时任务是否是自依赖：上游小时任务如果不是自依赖（即小时任务本身没有配置依赖上周期）,则...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
调度任务
手动调度 不仅手动调度可以手动发起调度，周期调度、触发调度也支持手动发起调度。单击 手动调度，即可手动发起一次调度。查看执行结果 调度任务执行至少一次后，列表将显示最近一次执行的状态（执行成功/执行失败）。说明 若执行失败，可...
调度周期：月调度
任务调度周期是基于单个任务维度的配置，任务最终是否每天调度与任务本身定义的调度周期有关，与上游节点的调度周期无关，但上游节点定义的调度时间将影响下游节点实际开始调度的时间。月调度支持将 指定时间 配置为 每月最后一天，则每...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
调度参数支持的格式
调度参数是DataWorks任务调度时使用的参数，可根据您配置的调度参数取值规则，在每次任务运行时自动替换为真实的取值，实现任务调度时间内参数的动态替换。本文为您介绍调度参数支持的格式及相关使用。背景信息 您可在代码中通过${变量名} ...
配置任务流依赖检查节点
按天且开始调度时间为8点10分的任务流A依赖按天且开始调度时间为7点的调度任务流B的上一个调度周期，任务流A的依赖检查配置，开始不变，结束时间偏移点增加+1日、减少-1小时、减少-10分。说明 您可在当前配置页面上方，单击 预览，在 时间...
配置逻辑表调度属性
逻辑表调度属性用于定义逻辑表任务在调度过程中的调度规则。本文为您介绍如何配置维度或事实逻辑表的调度属性。操作步骤 请参见 数据开发入口，进入数据 开发 页面。按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息...
依赖关系
配置调度依赖前您需先了解以下内容 什么是调度依赖 为什么要设置调度依赖 DataWorks上如何设置调度依赖？哪些场景不支持设置调度依赖？不需要依赖的表如何删除？调度依赖配置常见问题 提交节点报错：当前节点依赖的父节点输出名不存在 提交...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
如何使单应用支持十万以上的定时任务
应用场景 常见应用场景是每个定时任务调度时间都不一样，无法通过MapReduce分布式任务解决（MapReduce分布式任务每个子任务调度时间是一致的）。物联网智能开关 智能开关可以设置定时开启、关闭，是由用户自定义设置的，所以每个开关的定时...
场景：切换调度时区
在创建DataWorks工作空间时，您需要选择工作空间所在地域，默认情况下DataWorks工作空间所在地域对应的时区即为调度时区（即任务定时调度时间所使用的时区）。同时，还支持您切换工作空间的调度时区，本文为您介绍如何切换调度时区。背景...
提交节点报错：当前节点依赖的父节点输出名不存在
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 当有节点SELECT非周期性调度生成数据的表时，就会出现上述报错。解决方案 您需要手动删除包含非周期性生成数据的表相关的依赖...
周期任务补数据
周期任务开发完成并提交发布后，任务会按照调度配置定时运行，如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据，可以使用补数据功能。节点使用的调度参数会根据补数据选择的业务时间自动替换成对应的值。本文为您介绍如何...
创建定时调度
Serverless工作流 支持通过配置Cron表达式来定时调度工作流的执行。本文介绍如何为 Serverless工作流 创建定时调度。前提条件 成功创建工作流 使用控制台创建定时调度 登录 Serverless工作流控制台。在左侧导航栏，单击 流程。在流程列表中...
可选：运维SQL分析任务
SQL分析任务上线后，您可以查看SQL分析任务的基本信息和配置情况，以及SQL分析任务的调度情况。本文介绍运维SQL分析任务的操作步骤。前提条件 已配置并发布SQL分析任务，具体操作，请参见 步骤三：设置任务调度策略并发布。背景信息 SQL...
各类型节点的调度参数配置示例
内置参数$1赋值取业务时间：$bizdate 自定义参数$2赋值取业务时间：${yyyymmdd} 自定义参数$3赋值取定时时间：$[yyyymmdd]配置及使用调度参数，详情请参见 配置并使用调度参数，更多调度参数的赋值方式，详情请参见 调度参数支持的格式。...
基础版商业化公告（2021年07月30日）
为提供更优质的服务，阿里云分布式任务调度SchedulerX将于2021年09月01日正式商业化。对于公测期间创建的实例，如果2021年09月01日00:00:00前没有释放，那么我们将默认您所创建的集群采用按量付费模式开始收费。开通商用实例 分布式任务...
调度周期：小时调度
小时调度即每天指定的时间段内，调度任务按 N*1小时 的时间间隔运行一次。例如，每天00:00~03:00的时间段内，每1小时运行一次。注意事项 时间周期根据左闭右闭原则计算。例如，配置调度任务在0点~3点的时间段内，每隔1个小时运行一次。表示...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
YARN指标
Capacity NumPendingApplications yarn_resourcemanager_queue_numPendingApplications ResourceManager Capacity调度器特定队列阻塞调度的application个数。Capacity NumContainers yarn_resourcemanager_queue_numContainers ...
离线集成概述
数据管理DMS离线集成是一种低代码的数据开发工具，您可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。支持的数据库类型 MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB...
- 产品推荐
- 这些文档可能帮助您