数据源开发和生产环境隔离
例如出现DataStudio执行成功，生产调度时执行失败，或DataStudio执行与生产调度时执行数据量不一致等问题时，您可对比开发环境执行成功的日志与生产环境的报错日志进行比对排查。由于任务最终将发布生产环境执行，若数据源开发环境与生产...
预览依赖关系
说明 生产调度任务修改调度周期时，选择 发布后即时生成实例 并发布，当天实例可能存在替换逻辑，预览依赖功能无法预览当天的实际实例依赖情况。详情请参见 实例生成方式：发布后即时生成实例。目前仅支持查看当前节点的一级上游和一级下游...
创建并管理数据源
您可以分别创建开发环境和生产环境的数据源，使测试与生产调度操作的数据源隔离，以保护您的生产数据安全。详情请参见 附录：数据源环境介绍。开发环境的数据源：可在数据同步节点中选择，并在开发环境运行，但无法提交到生产环境或在生产...
独享资源组
切换生产调度运行时使用数据集成任务执行资源组：左上角的 图标，选择 全部产品>任务运维>运维中心（工作流），进入 生产运维中心 页面，选择 周期任务。如何对资源组进行续费？在DataWorks控制台组员组列表，选择具体资源组进行续费。说明...
配置同周期调度依赖
为避免生产调度任务由于依赖关系不符合预期导致生产调度延迟，建议在发布任务前，通过预览依赖功能确认各周期实例关系是否符合预期。详情请参见 预览依赖关系。配置原则 为提升任务开发效率，建议您在实际开发中使用 自动解析 功能快速为...
离线同步任务运维
任务发布至生产调度系统前，默认访问任务配置所用数据源对应的开发环境指定的数据库或数据仓库。任务发布至生产调度系统后，默认访问任务配置所用数据源对应的生产环境指定的数据库或数据仓库。关于数据源开发生产隔离机制，详情请参见：...
数据开发概述
支持结合数据治理的 治理项检查、扩展程序自定义校验逻辑等方式，对任务提交及发布生产调度的操作进行自定义且自动化的流程管控。其他 开放能力：结合 开放平台 提供丰富的OpenAPI，并内置大量扩展点，可通过DataWorks开放平台实现...
周期任务基本运维操作
管理周期任务 任务上线与下线 上线周期任务：任务需要通过发布流程发布至生产调度系统后，您才可以在运维中心的周期任务列表中看到该任务。下线周期任务：当某任务或业务流程不需要运行时，您可以选择下线该任务或批量下线该业务流程中的...
配置依赖上一周期（跨周期依赖）
必读：复杂依赖场景调度配置原则与示例 预览节点依赖关系 为避免生产调度任务由于依赖关系不符合预期导致生产调度延迟，建议在发布任务前，通过该功能确认各周期实例关系是否符合预期。预览依赖关系 任务发布说明 跨周期依赖的上下游任务，...
任务冻结与解冻
说明 在数据开发（DataStudio）调度配置的调度类型里选择暂停调度或者正常调度，需重新提交发布，才会冻结或解冻生产调度的周期任务。冻结与解冻周期实例 冻结周期实例只作用于该实例，如果只解冻周期实例，周期任务仍然是冻结状态，那么...
下线任务
下线任务即将该任务从开发环境删除，并将删除操作发布至生产调度系统，下线后任务将无法再调度。本文以标准模式工作空间为例，为您介绍周期调度任务的下线流程、恢复流程、任务下线后对于已生成实例及正在运行实例平台侧的处理方案。使用...
周期性调度作业概述
DataWorks标准模式工作空间下，开发环境默认使用 任务执行者个人身份执行任务，生产调度环境默认使用某云账号执行任务，即调度访问身份。详情请参见 绑定MaxCompute引擎。代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产...
调度依赖配置指引
发布后：查看周期任务 用于节点发布后，在运维中心确认生产调度任务的依赖是否符合预期。确认生产任务的调度依赖 标准模式工作空间下，节点依赖关系在开发环境和生产环境依赖可以不一致。生产环境节点的调度依赖需在数据开发界面配置，并且...
数据开发功能索引
运维中心分开发运维中心和生产运维中心，生产运维中心承担生产调度任务的整体运维管控。DataWorks各模块的通用功能：说明 本文以DataStudio界面为例，为您讲解如下通用功能，其他模块对应界面，该类功能相同。消息中心（）：用于发送产品侧...
函数计算节点
您可在函数计算节点配置需要运行的服务与函数，并将该节点发布至生产调度，实现相应服务与函数的周期性执行。使用限制 功能限制 DataWorks目前仅支持调用 事件函数，不支持调用 HTTP函数。因此，若要在DataWorks周期性调度处理事件函数，则...
权限管理与规范化数据开发
即您可以在数据源配置界面分别为开发环境（DataStudio）测试运行时和生产调度时指定不同的数据库访问地址。同一个名称的数据源存在开发环境和生产环境两套配置，您可以通过数据源隔离使其在不同环境隔离使用。DataWorks将通过判断任务执行...
DataWorks On MaxCompute使用说明
DataWorks标准模式工作空间下，开发环境默认使用 任务执行者 个人身份执行任务，生产调度环境默认使用某云账号执行任务，即调度访问身份。详情请参见 创建MaxCompute数据源。代码示例 开发环境（数据开发、开发环境运维中心）执行代码 生产...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。前提条件 在开始执行操作前，请确认您已满足以下条件：基于机器学习的PAI-Designer完成工作流的创建...
新建PAI_DESIGNER任务
机器学习PAI_DESIGNER任务用于调用您在机器学习平台中构建的任务，并按照节点配置进行调度生产。本文为您介绍如何新建PAI_DESIGNER任务。功能上线时间 华东2（上海）、华北2（北京）：2022年03月03日 华南1（深圳）、华东1（杭州）：2022年...
数据开发
不影响生产调度。提交并发布离线同步节点ods_mbr_user_info。说明 必须要提交了以后才可以在下游节点配置依赖关系的时候被搜索到，发布可以等到全部提交完后批量发布。同步地区源表 ods_t_area。新建如下MySQL到MaxCompute的离线同步任务，...
步骤三：设置任务调度策略并发布
数据写入策略 SQL分析任务在调度生产数据过程中，写入数据时的策略。根据选择的自定义存储表类型，自动选中对应策略，不支持修改。分区表 和 时序表 使用 分区覆盖：每次任务重跑后，会覆盖掉整个分区的数据。事务表 使用 主键覆盖：每次...
提交节点时提示：输入输出和代码血缘分析不匹配
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 对于周期性生成数据的表，您需要仔细检查表数据的血缘关系与调度依赖关系是否一致。如果您不检查直接强制提交节点，可能会导致...
附录：消息格式
dagType Integer Dag的类型，取值如下：0：周期调度任务 1：手动任务 2：冒烟测试 3：补数据 4：临时业务流程 5：手动业务流程 taskType Integer 任务实例的调度类型，取值如下：0：NORMAL，正常调度任务。该任务会被日常调度。1：MANUAL，...
依赖关系
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 不需要依赖的表如何删除？右键单击代码中的表名称，选择 删除输出，再重新自动解析。提交节点报错：当前节点依赖的父节点输出名...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
DataWorks On CDP/CDH使用说明
以下简称CDH）和CDP（Cloudera Data Platform，以下简称CDP）集群创建Hive、MR、Presto和Impala等节点，实现CDP/CDH任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用CDP/CDH的...
提交节点报错：当前节点依赖的父节点输出名不存在
非周期性调度生产数据的表包括：从本地上传到DataWorks的表 维表 非DataWorks调度产出的表 手动任务产出的表 当有节点SELECT非周期性调度生成数据的表时，就会出现上述报错。解决方案 您需要手动删除包含非周期性生成数据的表相关的依赖...
创建业务流程
当存在非周期性调度生产数据的表，有节点select这类表数据时，您需要手动删除通过select自动生成的依赖的上游节点配置。单击工具栏中的 图标，防止代码丢失。单击 图标。运行结束后，即可在页面下方查看运行日志和结果。提交业务流程 运行...
DataWorks On EMR使用说明
DataWorks支持基于EMR（E-MapReduce）计算引擎创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上使用EMR的基本开发流程，以及相关 ...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
数据开发：开发者
资源属性 用于配置任务发布至生产调度时使用的调度资源组。本文示例使用开通DataWorks时默认提供的公共调度资源组。说明 在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择购买使用...
资源组编排
DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，...发布后，节点在生产环境调度时才可以使用修改后的调度资源组。发布节点，详情请参见 发布任务。
时间属性配置说明
时间属性用于定义节点在生产环境的周期调度方式。您可通过调度配置的时间属性，配置节点生成周期实例的方式，实例调度周期与执行时间，是否支持重跑，任务执行超过多长时间自动退出等。本文为您介绍如何配置节点的调度时间属性。背景信息 ...
调度参数
[1,84]Parse exception-invalid token '$' params format error，please check your params（key=values）运行按钮的赋值逻辑差异 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别 调度参数运维与查看 如何查看生产环境调度参数替换...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
离线任务调度属性配置
调度属性用于定义节点在生产环境的周期调度方式。您可以通过配置属性中调度属性，配置任务调度周期与生效日期等。本文为您介绍如何配置任务的调度属性。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。按照下图操作指引，进入离线集成...
配置逻辑表调度属性
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该逻辑表任务。当一个逻辑表任务被成功提交后，该任务调度将按照提交当天次日开始该任务的时间属性配置，生成自动调度的周期实例。并根据上游依赖的实例运行结果和时间点运行...
配置逻辑表调度属性
调度周期 调度周期即在生产环境调度系统中，多久会真实执行一次该逻辑表任务。当一个逻辑表任务被成功提交后，该任务调度将按照提交当天次日开始该任务的时间属性配置，生成自动调度的周期实例。并根据上游依赖的实例运行结果和时间点运行...
操作流程
设置离线节点调度信息 开发场景运行成功后，可以设置离线节点的调度信息为生产场景调度使用。具体操作，请参见 设置离线节点的调度信息。上线开发场景 通过将相应的开发场景进行上线操作，发布成生产场景。具体操作，请参见 上线开发场景。...
操作流程
设置离线节点调度信息 开发场景运行成功后，可以设置离线节点的调度信息为生产场景调度使用。具体操作，请参见 设置离线节点的调度信息。上线开发场景 通过将相应的开发场景进行上线操作，发布成生产场景。具体操作，请参见 上线开发场景。...
- 产品推荐
- 这些文档可能帮助您