依赖关系
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖配置实时场景 为什么运维中心有些依赖线是虚线？小时任务设置自依赖对自身及下游节点有什么影响？日调度任务依赖小时调度任务运行...
FE参数配置
dynamic_partition_enable 默认值：true 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：是否启用动态分区调度，默认启用。dynamic_partition_check_interval_seconds 默认值：600 是否可以动态配置：true 是否为...
数据开发常见问题
为什么节点删除报错当前节点存在子节点，下线失败，但是在调度配置界面看已经没有该节点的依赖？跨周期依赖场景 什么情况下配置依赖上一周期的依赖项为本节点？为什么运维中心有些依赖线是虚线？下游节点同时依赖多个任务运行时，依赖关系...
接入 Android
业务方可以使用 mPaaS 的开关配置动态控制移动调度中心和 IPv6 的开关。开启移动调度中心开关，RPC 使用移动调度中心配置；关闭移动调度中心开关，RPC 不使用移动调度中心配置。开关默认开启。MPRpc.openMGDC(isOpen);关闭 IPv6 开关，RPC ...
产品架构
ZooKeeper(Global和Local)：服务活动情况汇报给调度服务，动态配置更新。Nginx Proxy：支持私有协议的Nginx代理服务，针对不同文件一致性Hash到不同的Channel服务。Channel服务：记录文件和拥有文件的端点地址信息，为下载提供就近的端点...
配置调度日历
DataWorks在原有调度配置基础上，新增自定义调度日历功能，您可通过该功能实现更灵活的任务调度日期与调度方式定义。本文为您介绍自定义调度日历的典型应用场景及如何在DataWorks上新增并使用自定义调度日历。背景信息 自定义调度日历适用...
调度设置
若您已熟悉DataWorks的调度配置，则可参考本章节了解更多调度相关的高阶功能；若您才开始使用DataWorks的调度配置，请先前往 任务调度配置概述，了解调度配置的基础功能。
逻辑表调度配置概述
单击调度配置，进入逻辑表 调度配置 对话框。逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。调度属性 逻辑表调度属性...
预览依赖关系
DataWorks依赖关系设置原则及特殊依赖场景示例，详情请参见 必读：复杂依赖场景调度配置原则与示例。当前调度配置生成的依赖关系预览图，与生产环境的实际依赖关系可能存在差异，仅供参考。说明 生产调度任务修改调度周期时，选择 发布后...
逻辑表调度配置概述
逻辑表调度配置 在逻辑表 调度配置 对话框，您需根据下表配置逻辑表任务的调度相关信息。配置项 描述 数据延迟 用于自动重跑逻辑表在 最大延迟天数 周期内的全部数据。配置调度属性 逻辑表调度属性用于定义逻辑表任务在调度过程中的调度...
调度参数配置最佳实践
本文为您介绍配置调度参数的最佳实践，您可参考本文进行参数配置。背景信息 调度参数配置的相关应用场景及最佳实践如下：调度参数配置最佳实践 调度参数在数据集成的典型应用场景 各类型节点的调度参数配置示例：SQL类型节点及离线同步节点...
配置事件调度
本文为您介绍如何在任务编排的任务流页面，进行事件调度配置。应用场景 任务的触发条件依赖于外部事件调度时，可选择事件调度。例如，C任务流的调度类型为事件调度，配置了A任务流和B任务流中的单实例SQL节点这两个事件，则A任务流和B任务...
动态分区管理
功能介绍 动态分区功能各版本支持情况如下：Hologres V1.3版本开始，支持配置动态分区规则，系统会根据已配置的规则定期运行调度任务，提前创建分区子表和删除过期分区子表。Hologres V1.3.37版本开始，支持动态管理冷热数据分层存储，来...
调度参数返回值二次处理的典型场景
说明 使用Kafka和LogHub离线同步指定时间区间的数据时，如需配置调度参数，则调度参数的日期格式为 yyyymmddhh24miss，日期区间为左闭右开。详情请参见 Kafka Reader 和 LogHub Reader。不同场景的数据增量同步，详情请参见 数据增量同步。...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
配置逻辑表调度属性
按照下图操作指引，选择您需配置调度属性的逻辑表，进入 调度配置 信息页面。下图以维度逻辑表为例。在 调度属性 区域，配置逻辑表任务调度参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期...
Dataphin补数据任务空跑调度了是什么原因
问题原因 按当前的调度配置，补20220930（月末）的数据空跑了是正常的。补数据选择的是业务日期，而调度周期配置的是调度日期，如果补数据时选择的业务日期是20220930，那么对应的调度日期就是20221001，而调度周期是月调度，并没有包含每...
调度周期：分钟调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 目标任务每天 00:00~23:59 的时间段内，每隔30分钟调度一次，配置详情如下图所示。说明 cron...
配置离线管道调度
在离线集成任务 属性 面板，配置 调度配置 区域参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期的时间配置调度，并正常执行（即会真实跑数据），通常任务默认选中该项。空跑调度：按照调度...
配置离线管道调度
在离线集成任务 属性 面板，配置 调度配置 区域参数。参数 描述 调度类型 支持正常调度、空跑调度及暂停调度3种调度类型。正常调度：按照调度周期的时间配置调度，并正常执行（即会真实跑数据），通常任务默认选中该项。空跑调度：按照调度...
调度周期：日调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 假设导入、统计加工和导出任务，均为日调度任务。上述任务的运行时间为每天 13:00 点...
配置同周期调度依赖
通过调度配置界面手动添加上游节点依赖 在调度配置界面，通过输入某节点的节点输出，手动添加依赖的上游节点，格式为 projectname.tablename。通过自动解析功能基于表血缘设置节点依赖 DataWorks支持通过节点代码中的表血缘快速设置节点...
配置调度规则
本文介绍如何配置调度规则。在创建应用时配调度规则 登录 EDAS控制台，在左侧导航栏，单击 应用管理>应用列表，在顶部菜单栏选择地域并在页面上方选择命名空间，然后在 应用列表 页面左上角，单击 创建应用。在 应用基本信息 页签，选择...
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本信息...
引用SQL组件
SQL组件是一种带有多个输入参数和输出参数的SQL代码模板。使用SQL代码处理数据表时，通过过滤...任务发布：完成所有开发相关操作后，您需要将所有任务节点进行发布，发布后节点即会根据调度配置结果进行周期性运行，操作详情请参见 发布任务。
调度周期：小时调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务每天 00:00~23:59 的时间段内，每隔6小时自动调度一次，配置详情如下图所示。...
Hologres整库周期性增全量同步至MaxCompute
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
AnalyticDB for MySQL3.0整库周期性增全量同步至...
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
UpdateTaskFlowSchedule-更新任务流调度配置
调用UpdateTaskFlowSchedule接口，更新任务流调度配置。接口说明 该接口用于更新编辑态任务流的调度设置。可配置 定时调度、周期调度、事件调度；其中 定时调度可配置调度一次或周期调度，事件调度可配置的订阅包括任务流和任务流节点。...
MySQL整库离线同步到OSS
效果：同步修改过的表，没有修改的表不会再进行同步 数据开发相关场景 如果您有下游数据依赖，需要进行数据开发操作的场景，可以参考 配置调度依赖，进行节点上下游的设置，对应的周期任务节点信息可以在周期配置中查看。
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据迁移到B数据库中...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
EDAS应用接入SchedulerX
EDAS应用创建成功后，在应用详情的 基本信息 页面的 任务调度配置 区域，显示接入的SchedulerX 应用分组 信息，包括 任务数量、应用分组 ID和 通知配置 信息。结果验证 单击 任务调度配置 区域的 任务管理、应用分组 名称，可跳转至 任务...
找不到任务实例如何处理
DataWorks会根据任务节点中的调度配置中 生成实例方式 和 调度依赖 的配置结果，使用不同方式为您创建运行节点任务的实例。实例未成功创建的可能原因如下。节点成为孤立节点时（即节点的 调度依赖 中，没有配置任何 依赖的上游节点），则...
代码解析结果对比
功能介绍 提交节点时，若节点当前版本的调度依赖（即在 调度配置>调度依赖 区域配置的输入输出）与该节点在生产环境的调度依赖不一致，将出现输入输出变更提示（例如，当前最新版本与上个版本比较，新增或删除了哪些输入或输出）。...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
数据开发
调度依赖配置：配置调度依赖的目的是为了保障上游表产出完成才会触发下游读取数据，而当前节点上游的数据是静态的，不需要等待产出，所以本节点的上游依赖可配置为工作空间根节点，即周期依赖的上游节点配置为"使用工作空间根节点"，其他...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本...
- 产品推荐
- 这些文档可能帮助您