常见问题
E-HPC在管控节点上配置作业调度器。以上流程都依赖于E-HPC服务部署。若您使用ECS管理控制台对节点进行操作，则可能会导致集群或部分节点状态异常，或集群相关资源不可使用等问题。因此不允许使用ECS管理控制台对E-HPC集群的节点进行操作。E...
DMS作业调度
本文介绍 AnalyticDB PostgreSQL版 如何通过DMS的作业调度功能，实现定时调度RDS PostgreSQL数据库的数据。功能介绍 本次作业调度使用OSS作为中间态的存储，调度任务会将数据从RDS PostgreSQL数据库加载到OSS上，再使用 AnalyticDB ...
依赖关系
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖配置实时场景 为什么运维中心有些依赖线是虚线？小时任务设置自依赖对自身及下游节点有什么影响？日调度任务依赖小时调度任务运行...
使用Kettle调度MaxCompute
步骤三：创建作业调度流程 在Spoon界面创建作业调度流程并配置作业信息。步骤四：运行作业调度流程 基于创建好的作业调度流程运行作业。步骤五：查看作业调度结果 通过SQL编译器查看作业调度结果。步骤一：放置MaxCompute JDBC驱动 将...
添加属性设置任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。单击 完成。任务创建完成后，物联网平台通过调用 SetDeviceProperty 或 SetDevicesProperty 接口，...
开发ODPS Spark任务
任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。Spark作业诊断：MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，您可通过作业日志...
开发ODPS Spark任务
任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。Spark作业诊断：MaxCompute为Spark作业提供Logview工具以及Spark Web-UI，您可通过作业日志...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建 ACK ...
调度至Arm虚拟节点
如果您的集群中既有Arm虚拟节点，又有非Arm虚拟节点（例如x86虚拟节点），为了确保只兼容Arm架构的工作负载调度到Arm虚拟节点，或多架构镜像优先调度到Arm虚拟节点，您可以基于Kubernetes原生调度配置来实现。前提条件 集群：已创建ACK集群...
添加服务调用任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过 InvokeThingService 或 InvokeThingsService 接口调用服务，采用...
工作流调度Zeppelin Notebook
在Databricks数据开发中，您可以在项目空间的作业编辑中创建一组有依赖...填写作业名称、作业描述，作业类型选择 zeppline、单击 确定 编辑调度 Notebook、单击保存 使用作业调度Notebook有2种方式 方式一：使用OSS路径调度Notebook oss:/ddi-...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
逻辑表调度配置概述
单击调度配置，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。调度属性 逻辑表调度属性...
概述
配置Lindorm Spark节点 ADB Spark 支持周期性、有顺序地调度Spark作业。配置AnalyticDB MySQL Spark节点 DLA Serverless Spark 用于配置Serverless Spark作业。创建和执行Spark作业 无锁数据变更 采用DMS无锁技术实现数据的Update、Delete...
预览依赖关系
DataWorks依赖关系设置原则及特殊依赖场景示例，详情请参见 必读：复杂依赖场景调度配置原则与示例。当前调度配置生成的依赖关系预览图，与生产环境的实际依赖关系可能存在差异，仅供参考。说明 生产调度任务修改调度周期时，选择 发布后...
逻辑表调度配置概述
逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度...
调度参数配置最佳实践
定义参数的方法：在代码中可通过${参数名} 方式声明参数，在右侧调度配置中可使用常量或调度时间表达式给参数赋值。说明 Shell及PyODPS声明参数的方法比较特殊，详情请参见 不同类型节点调度参数配置示例。系统调度参数 bizdate 是...
配置事件调度
本文为您介绍如何在任务编排的任务流页面，进行事件调度配置。应用场景 任务的触发条件依赖于外部事件调度时，可选择事件调度。例如，C任务流的调度类型为事件调度，配置了A任务流和B任务流中的单实例SQL节点这两个事件，则A任务流和B任务...
调度参数返回值二次处理的典型场景
调度参数只支持获取时间类型数据，部分节点（例如，离线同步节点）配置了调度参数后，调度参数的返回值不能直接使用，需要进行函数转换等二次处理。本文为您介绍二次处理调度参数返回结果的典型场景。背景信息 调度参数支持的时间类型未...
任务调度属性配置概述
本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同类型的节点，您可根据业务需要，选择合适的节点使用。详情请参见 通用开发流程。已开启工作空间调度...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
Dataphin补数据任务空跑调度了是什么原因
问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每...
调度周期：分钟调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 目标任务每天 00:00~23:59 的时间段内，每隔30分钟调度一次，配置详情如下图所示。说明 cron...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
配置离线管道调度
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息 依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了...
调度周期：日调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 假设导入、统计加工和导出任务，均为日调度任务。上述任务的运行时间为每天 13:00 点...
配置同周期调度依赖
通过调度配置界面手动添加上游节点依赖 在调度配置界面，通过输入某节点的节点输出，手动添加依赖的上游节点，格式为 projectname.tablename。通过自动解析功能基于表血缘设置节点依赖 DataWorks支持通过节点代码中的表血缘快速设置节点...
配置调度规则
选择 自定义配置：如果内置的按节点与可用区的配置调度规则无法满足您对于复杂场景的需求时，您可以使用EDAS提供的自定义配置功能，根据实际业务场景来设计调度规则。添加节点亲和性调度规则 添加应用亲和性调度规则 添加应用反亲和性调度...
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本信息...
Hologres整库周期性增全量同步至MaxCompute
您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见 调度属性配置。完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。其他参数配置详情请参见 其他高级配置。场景2：一次性全量周期性增量配置方式 当...
调度周期：小时调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务每天 00:00~23:59 的时间段内，每隔6小时自动调度一次，配置详情如下图所示。...
AnalyticDB for MySQL3.0整库周期性增全量同步至...
您可以设置调度周期、需要使用的调度资源组等，更多调度参数配置详情请参见 调度属性配置。完成上述所有任务配置后，单击 完成配置，完成同步任务的配置。其他参数配置详情请参见 其他高级配置。场景2：一次性全量周期性增量配置方式 当...
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
工作流使用案例
配置工作流调度 您可以打开工作流调度开关并配置工作流调度参数，调度系统会按照参数定时运行相关工作流，并将作业下发到指定集群上执行。以下介绍配置工作流的基本属性、调度属性和告警设置。完成工作流设计后，单机画布右上角 配置 按钮...
MySQL整库离线同步到OSS
单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。在 目标文件附加字段 中，新增附加字段。高级参数配置...
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
- 产品推荐
- 这些文档可能帮助您