创建并使用PAI Designer
DataWorks为您提供PAI Designer节点，方便您通过该算法节点载入Designer工作流，通过调度配置实现Designer工作流的周期性任务调度。前提条件 授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
离线集成概述
参数 说明 调度类型 选择调度类型：周期调度：周期性调度任务，例如一周执行一次任务。调度一次：在指定时间执行一次任务，仅需配置执行的具体时间。生效时间 选择调度周期生效的区间，默认1970-01-01~9999-01-01，表示一直生效。调度周期 ...
周期性调度
当测试数据或超参数更新，并需要持续进行增量训练和模型调优时，您可以通过周期性调度功能定期提交DLC任务。DLC与DataWorks互通，方便您可以直接通过DataWorks的调度配置，实现定时提交DLC任务。本文为您介绍如何定时提交DLC任务。背景信息...
离线批量预测
因此，在将预测工作流配置周期性调度任务之前，还需要将离线训练得到的模型同步至生产环境。有以下两种实现方式：使用 复制MaxCompute离线模型 组件和 读MaxCompute离线模型 组件 使用 复制MaxCompute离线模型 组件将训练得到的...
数据开发概述
附录：数据开发支持的节点合集 DataWorks的数据开发（DataStudio）模块提供了多种类型节点，同时，多种类型节点支持周期性任务调度，您可基于业务需要选择合适的节点进行相关开发操作。DataWorks支持的节点合集，详情请参见 DataWorks节点...
在工作空间创建数据源或注册集群
步骤二：将数据源绑定至数据开发（DataStudio）数据源创建完成后，若您需在当前工作空间基于该数据源执行数据开发、数据分析、或使用运维中心周期性调度运行相关任务等操作，还需将数据源绑定至当前工作空间的数据开发（DataStudio）模块。...
智能监控概述
周期实例运行状态监控 在DataWorks上，周期任务在周期性调度时将产生周期实例，DataWorks支持通过 周期任务 配置自定义监控规则，实现对 周期实例 运行状态的监控，包括指定对象的自定义规则监控报警和重要任务提前预警的基线预警功能。...
创建AnalyticDB for PostgreSQL数据源
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
创建AnalyticDB for MySQL3.0数据源
若地域不一致，则只能创建为跨地域的数据源，此类数据源无法在DataWorks的数据开发（DataStudio）模块绑定，即无法用于数据开发或周期性调度任务，仅可进行数据同步任务。已购买所需的DataWorks资源组并完成资源组配置。AnalyticDB for ...
通过DMS管理作业
配置项 说明 调度类型 选择调度类型：周期调度：周期性调度任务，例如一周执行一次任务。调度一次：在指定时间执行一次任务，仅需要配置执行任务的具体时间。生效时间 选择调度周期生效的区间，默认 1970-01-01~9999-01-01，表示一直生效。...
创建ClickHouse数据源
使用限制 当ClickHouse数据源开启了认证服务，则不支持用于数据开发或周期性调度任务。仅支持通过连接串模式创建ClickHouse数据源。仅支持使用独享数据集成资源组、独享调度资源组运行ClickHouse任务；基于ClickHouse数据源创建数据服务API...
DataWorks On CDP/CDH使用说明
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
DataWorks On EMR使用说明
任务调度的调度资源费用 任务开发完成后，进行任务调度时需使用调度资源。您需按需购买包年包月的独享调度资源组，支付相应的资源组费用。数据同步的同步资源费用 运行数据同步任务时，除调度资源外，还需使用数据同步资源。您需按需购买...
数据集成侧同步任务配置
周期设置：由于需要进行周期性调度，所以需要定义周期性调度任务时的相关属性，包括 调度周期、生效日期、暂停调度 等。当前方案的调度配置与DataWorks中节点的调度配置一致，参数详情可参见 时间属性配置说明。设置任务运行资源 在此步骤...
功能发布记录（2023年）
2023-12 功能名称 功能描述 发布时间 发布地域 使用客户 相关文档 数据开发（DataStudio）绑定数据源 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发（DataStudio）...
文档修订记录
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
加工数据
本文将为您介绍如何通过DataWorks中的EMR Hive节点加工采集的日志数据。...后续步骤 任务周期性调度场景下，为保障任务产出的表数据符合预期，我们可以对任务产出的表数据进行数据质量监控，详情请参见 配置数据质量监控。
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
加工数据
配置定时调度时间：配置 调度周期 为日，无需单独配置当前节点 定时调度时间，当前节点每日调起时间由业务流程根节点WorkShop的定时调度时间控制，即每日00:15后才会调度。配置依赖关系：通过 代码自动解析 自动将产出ods_raw_log_d表数据...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
新建IMPALA_SQL任务
调度类型 包括：周期任务：自动参与任务的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建命名空间 登录 分布式任务调度平台。在...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建命名空间 登录 分布式任务调度平台。在...
创建并使用PAI DLC节点
DataWorks为您提供了PAI DLC节点，您可以直接通过该节点载入DLC任务并配置调度依赖，实现DLC任务的周期性调度运行。前提条件 已授权DataWorks可访问人工智能平台PAI。您可进入 授权界面 进行一键授权，权限策略详情请参见 ...
创建资源
任务是SchedulerX调度的最小单位，用来实现周期性的任务调度。工作流 在具体应用下，工作流用来实现任务的依赖编排。工作流是SchedulerX对任务进行依赖编排的封装，支持上下游数据传递。（可选）创建微服务空间 登录 EDAS控制台。在左侧...
DataWorks On Hologres使用说明
Hologres可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发Hologres任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已开通...
DataWorks On MaxCompute使用说明
MaxCompute可通过DataWorks提供的可视化方式配置任务工作流、周期性调度执行任务及元数据管理，保障数据生产及管理的高效稳定。本文为您介绍在DataWorks上开发MaxCompute任务的基本流程、费用说明、环境准备、权限控制等内容。前提条件 已...
DataWorks节点合集
引擎计算类节点 DataWorks将计算引擎能力进行封装，您可基于引擎节点进行数据开发，无需接触复杂的引擎命令行，便可在DataWorks实现各类任务的周期性调度。目前支持 MaxCompute、Hologres、E-MapReduce、AnalyticDB For PostgreSQL、...
创建Hologres数据源
数据源创建完成后，您可根据需要执行如下操作：计算任务开发与调度：DataWorks的数据开发与运维中心模块，为您提供Hologres任务的开发与调度能力，若您需要基于该Hologres数据源进行Hologres任务开发，或周期性调度Hologres相关任务，需先...
创建工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
新建HADOOP_MR任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
新建VIRTUAL任务
调度类型 选择任务的调度类型：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录名称和选择目录所在位置进行创建。描述 填写对任务...
创建并管理工作空间
调度PAI算法任务 如需进行周期性调度算法任务，则可启用该功能。您也可在创建工作空间后，进入管理中心，在 工作空间 页面开启。说明 该功能开启后无法关闭，请根据需要开启。调度PAI算法任务详情，请参见 机器学习。描述 用于辅助标识工作...
新建INCEPTOR_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若无所需目录，您可按照下图操作指引，填写您目录名称和选择目录所在位置进行创建。使用模板 支持使用创建的离线...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建MAX_COMPUTE_SQL任务
调度类型 包括：周期任务，自动参与系统的周期性调度。手动任务，需要手动触发任务的运行。选择目录 选择任务所存放的目录。若未创建目录，您可按照下图操作指引，填写目录 名称 和 选择目录 所在位置进行创建。使用模板 支持使用创建的离...
新建SHELL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。引用模板 引用代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。更多信息，请参见 新建离线计算模板。...
新建SHELL任务
调度类型 包括：周期任务：自动参与系统的周期性调度。手动任务：需要手动触发任务的运行。引用模板 引用代码模板以实现高效研发，模板任务代码为只读不可编辑，您只需配置模板参数即可完成代码研发。更多信息，请参见 新建离线计算模板。...
周期任务基本运维操作
周期任务是指在调度系统按照调度配置周期性自动调度的任务。您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您...
- 产品推荐
- 这些文档可能帮助您