创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
离线集成概述
参数 说明 调度类型 选择调度类型：周期调度：周期性调度任务，例如一周执行一次任务。调度一次：在指定时间执行一次任务，仅需配置执行的具体时间。生效时间 选择调度周期生效的区间，默认1970-01-01~9999-01-01，表示一直生效。调度周期 ...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
离线批量预测
因此，在将预测工作流配置周期性调度任务之前，还需要将离线训练得到的模型同步至生产环境。有以下两种实现方式：使用 复制MaxCompute离线模型 组件和 读MaxCompute离线模型 组件 使用 复制MaxCompute离线模型 组件将训练得到的...
数据开发概述
附录：数据开发支持的节点合集 DataWorks的数据开发（DataStudio）模块提供了多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务需要选择合适的节点进行相关开发操作。DataWorks支持的节点合集，详情请参见 DataWorks节点...
在工作空间创建数据源或注册集群
仅MaxCompute、Hologres、AnalyticDB for PostgreSQL、AnalyticDB for MySQL3.0、ClickHouse数据源可用于数据开发，若您需基于该类数据源进行数据开发、任务调度、数据分析等操作，则数据源创建完成后还需绑定至数据开发（DataStudio）。...
智能监控概述
周期实例运行状态监控 在DataWorks上，周期任务在周期性调度时将产生周期实例，DataWorks支持通过 周期任务 配置自定义监控规则，实现对 周期实例 运行状态的监控，包括指定对象的自定义规则监控报警和重要任务提前预警的基线预警功能。...
创建AnalyticDB for PostgreSQL数据源
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
创建AnalyticDB for MySQL3.0数据源
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
通过DMS管理作业
配置项 说明 调度类型 选择调度类型：周期调度：周期性调度任务，例如一周执行一次任务。调度一次：在指定时间执行一次任务，仅需要配置执行任务的具体时间。生效时间 选择调度周期生效的区间，默认 1970-01-01~9999-01-01，表示一直生效。...
创建ClickHouse数据源
根据使用场景不同，资源组分为数据集成（用于数据同步）、数据开发（用于任务调度）、数据服务（用于数据服务任务）三种类型。各类资源组的详细介绍，请参见 DataWorks资源组概述。您需根据数据源后续的用途，在 连接配置 区域对应资源组...
DataWorks On CDP/CDH使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
整库离线同步至Elasticsearch
周期设置 由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见 时间属性配置说明。步骤六：运行资源设置 该...
整库离线同步至OSS
由于需要进行周期性调度，所以需要在此定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 等。当前方案的调度配置与DataWorks中节点的调度配置一致，配置详情请参见 时间属性配置说明。步骤六：运行资源设置 该同步方案...
DataWorks On EMR使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买包年包月的独享调度资源组，支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买...
数据集成侧同步任务配置
周期设置：由于需要进行周期性调度，所以需要定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见 时间属性配置说明。设置任务运行资源 在此步骤...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
加工数据
本文将为您介绍如何通过DataWorks中的EMR Hive节点加工采集的日志数据。...后续步骤 任务周期性调度场景下，为保障任务产出的表数据符合预期，我们可以对任务产出的表数据进行数据质量监控，详情请参见 配置数据质量监控。
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
新建IMPALA_SQL任务
调度类型 包括：周期任务：自动参与任务的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建命名空间 登录 分布式任务调度平台。在...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建命名空间 登录 分布式任务调度平台。在...
创建并使用PAI DLC节点
步骤三：配置任务调度 如您需周期性执行创建的节点任务，可单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息。配置详情请参见 任务调度属性配置概述。说明 您需设置节点的 重跑属性 和 依赖的上游节点，才可提交...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建微服务空间 登录 EDAS控制台。在左侧...
DataWorks On Hologres使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
DataWorks On MaxCompute使用说明
任务调度属性配置概述 任务调试流程 发布任务 批量操作 流程管控 运维中心 运维中心是一站式大数据运维、监控平台，支持实时查看任务的运行状态，并为异常任务提供智能诊断、重跑等运维操作。它提供智能基线功能，帮助您解决重要任务产出...
DataWorks节点合集
引擎计算类节点 DataWorks将计算引擎能力进行封装，您可基于引擎节点进行数据开发，无需接触复杂的引擎命令行，便可在DataWorks实现各类任务的周期性调度。目前支持 MaxCompute、Hologres、E-MapReduce、AnalyticDB For PostgreSQL、...
创建Hologres数据源
根据使用场景不同，资源组分为 数据集成（用于数据同步）、数据开发（用于任务调度）、数据服务（用于数据服务任务）这些类型。各类资源组的详细介绍请参见 DataWorks资源组概述。您需根据数据源后续的用途，在对应资源组类型页签下，测试...
创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
新建HADOOP_MR任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
新建INCEPTOR_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
创建并管理工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建SHELL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。引用模板 引用代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。更多信息，请参见 新建离线计算模板。...
- 产品推荐
- 这些文档可能帮助您