MySQL整库离线同步到OSS
单击 周期调度参数配置，新增调度参数，以添加一个 cyc_time 参数为例：单击 批量修改 中的 目标文件附加字段，给新增字段赋值调度参数（目标表字段中可以快捷打开调度参数编辑面板）。在 目标文件附加字段 中，新增附加字段。高级参数配置...
提交节点报错：当前节点依赖的父节点输出名不存在
为了避免依赖关系配置错误导致数据出现问题，DataWorks会在提交节点时对表数据血缘关系的输入输出与调度配置的输入输出进行比较，如果不一致会给您提示，详情可参见 提交节点时提示：输入输出和代码血缘分析不匹配。不是DataWorks每天调度...
配置时间调度
本文为您介绍如何在任务编排的任务流页面，进行时间调度配置。应用场景 当任务需要在固定的时间点或时间周期内执行时，可选择时间调度（北京时间）。例如，在2023-08-23至2023-09-30范围内，每周二和周五的00:00，都需要将A数据库的数据...
离线集成任务属性配置概述
注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，...
离线集成任务属性配置概述
注意事项 系统仅支持 调度类型 为 周期性节点 的离线集成任务进行调度配置。依赖关系是两个或多个节点之间的语义连接关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，...
EDAS应用接入SchedulerX
EDAS应用创建成功后，在应用详情的 基本信息 页面的 任务调度配置 区域，显示接入的SchedulerX 应用分组 信息，包括 任务数量、应用分组 ID和 通知配置 信息。结果验证 单击 任务调度配置 区域的 任务管理、应用分组 名称，可跳转至 任务...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
数据开发
调度配置。核心配置要点如下，其他参数保持默认即可。参数 配置：使用自动生成的参数配置结果，bizdate=$bizdate。bizdate为前一天的日期，格式为yyyymmdd，更多关于调度参数的配置说明，请参见 调度参数支持的格式。时间属性 配置：当前...
代码解析结果对比
背景信息 如果在提交节点时，当前版本的调度依赖（自动解析结果结合您在调度配置>调度依赖区域自行修改的输入输出结果）与开发环境或生产环境该节点的调度依赖不一致时，将出现输入输出变更提示（当前最新版本与上个版本比较，新增或删除了...
配置基础属性
您可以在调度配置对话框查看调度节点的名称、ID、类型，并配置责任人、描述等基本信息。本文为您介绍调度节点基础属性的参数配置。进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 基础属性 区域配置调度节点的基本信息。参数 ...
新建VIRTUAL任务
虚拟节点是租户配置调度参数时可选的依赖节点。本文为您介绍如何基于Dataphin构建VIRTUAL类型的虚拟节点。背景信息 在开始构建数据模型前，您可以创建基于该数据模型的虚拟节点，以便于该数据模型中其他任务配置调度参数时依赖该节点。操作...
通过单条管道创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可以配置集成管道任务的开发负责人、运维负责人及描述。详细说明，请参见：配置离线集成管道基本...
调度周期：年调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每年的一月、四月、七月、十月的1日和最后一日运行，则在上述指定日期...
使用Apache Airflow调度MaxCompute
MaxCompute支持您使用Apache Airflow通过Python接口实现作业调度。本文为您介绍如何使用Apache Airflow的Python Operator调度MaxCompute作业。背景信息 Apache Airflow是Airbnb开源的、基于Python编写的调度工具，基于有向无环图（DAG），...
FTP Check节点
单击节点编辑区域右侧的 调度配置，配置节点的调度属性。调度属性包括 基础属性、时间属性、资源属性 和 调度依赖，详情请参见 配置基础属性、时间属性配置说明、配置资源属性 及 配置同周期调度依赖。配置检测对象及检测策略。在 选择FTP...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
使用DataWorks离线调度Designer工作流
在 调度配置 面板中，包含 基础属性、参数、时间属性、资源属性 和 调度依赖 等配置项。您可以在 时间属性 区域配置调度周期，后续DataWorks会根据配置的调度周期自动调度运行节点任务。具体配置详情请参见 调度配置。单击工具栏中的 和 ...
场景3：如何配置跨业务流程、跨工作空间的调度依赖
本文为您介绍跨业务流程、跨工作空间场景下，...配置方法与通用场景的调度依赖配置相同，详细操作可参见 配置同周期调度依赖。说明 对于部分早期创建的工作空间，标准模式工作空间依赖简单模式工作空间可能无法支持，请 提交工单 申请修复。
项目空间运维与监控
操作界面如下图：调度告警 调度作业时，需要配置具体的调度属性和告警设置，具体操作如下图：。对于设置具体的告警人，请参考 项目空间告警人设置。当符合告警条件时，系统会根据设置的反馈方式，通知到具体报警人，高效处理运维，反馈示例...
HTTP触发器节点
单击节点编辑区域右侧的 调度配置，配置节点的调度属性，详情请参见 配置基础属性。说明 HTTP触发器节点默认上游节点为业务流程的根节点，当上游有其他任务节点时，您需要手动修改为对应的上游任务节点。保存并提交节点。重要 您需要设置...
场景：切换调度时区
单击节点编辑页面右侧导航栏的 调度配置，进入节点调度配置页面。在 调度配置 页面，显示在 时间属性 下面的就是当前所在的调度时区。附录：数据集成相关时间处理 数据集成的时区与DataWorks调度时区无关，调度参数实际替换值将按照 纯字符...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线模式调度配置
调度配置用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置流批一体任务的调度配置。操作步骤 请参见 离线模式配置入口，进入实时任务的 离线模式 配置页面。在...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
设置调度器参数
调度器是集群上调度作业的软件，负责分发作业、处理作业优先级、按需分配计算节点资源（如vCPU、内存、节点个数）等。您可以根据作业大小，预估使用的节点资源和作业完成时间，设置集群的调度器参数，从而提高资源使用率。本文介绍如何在...
离线任务属性配置概述
注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是两个节点之间的先后运行顺序关系，同时上游节点的状态将影响其他下游节点的运行状态。配置了依赖关系的节点调度规则为：首先，上游节点运行完成后，才能...
新建SHELL任务
属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务）、运行配置、资源配置。基本信息 用于定义调度任务的名称、对应责任人、描述等基本信息。配置说明，请参见 配置任务基本信息。Python 三方包 请选择需要...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
通过脚本模式创建集成任务
在调度配置页面，配置集成管道的 基本信息、调度配置、调度依赖、调度参数、运行配置。各配置说明如下：基本信息：通过集成管道基本信息，您可配置集成管道任务开发负责人、运维负责人及描述。详细说明，请参见 配置离线集成管道基本信息。...
逻辑表配置概述
调度配置 您可以通过配置逻辑表的调度配置，配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数，同时支持手动设定物化表的个数及...
新建MAX_COMPUTE_SQL任务
调度属性（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本信息 外，还需配置任务的调度属性及调度依赖。配置说明，请参见 离线任务调度属性配置。调度依赖（周期任务）如果离线计算任务的调度类型为 周期任务，除属性 基本...
调度周期：周调度
配置示例 配置路径 您需要进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 调度配置>时间属性 区域配置节点的调度周期。场景示例 配置详情 目标任务配置在每周一、周五两天定时运行，则在周一、周五生成的实例会正常调度执行，...
OSS对象检查节点
调度配置及检测的相关说明如下：调度依赖配置 DataWorks上每个节点均需拥有上游依赖，若OSS对象检查节点无实际上游依赖，您可根据空间业务复杂度选择依赖 虚拟节点 或直接依赖工作空间根节点。检查时间 通过调度时间，定义OSS对象检查节点...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
调度配置
调度配置是配置节点在调度过程中的调度规则及依赖关系。本文为您介绍如何进行同步任务的调度配置。前提条件 已完成同步任务的配置，详情请参见 配置同步任务。背景信息 系统仅支持周期性节点的同步任务进行调度配置。依赖关系是两个或多个...
时间属性配置说明
您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 您需进入数据开发节点的编辑页面，单击右侧导航栏...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
逻辑表资源配置
在数据 开发 页面，按照下图操作指引，进入调度配置信息页面。下图以 维度逻辑表 为例。选择 项目（Dev-Prod 模式需要选择环境）->环境->单击 维度逻辑表->选择逻辑表->单击 调度配置。在 调度属性 区域，配置逻辑表资源组。参数 描述 调度...
集成任务提交说明
检查项 描述 配置检查 检查集成管道的ID配置、集成管道名称配置、集成管道FileId配置、集成管道对象类型配置、集成管道调度配置、集成管道配置是否正确。参数配置 检查集成管道参数的当前实际值是否正确。权限检查 检查集成管道的对象是否...
- 产品推荐
- 这些文档可能帮助您