查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
DataWorks V3.0
任务资源组编排 DataWorks V3.0将全新推出任务资源组编排，即提供批量设置任务资源组的功能，方便对任务资源组进行快速、批量调整。例如，从默认的共享资源组批量切换至独享资源组。工作空间导入导出 DataWorks V2.0支持工作空间备份恢复，...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
全局概览
运维监控支持查看工作组内和租户内的任务概览，包括今日失败实例、当前任务流总数、当前任务总数、今日实例总数、实例统计、历史实例运行统计，以便了解 数据资源平台 的任务全局信息。本文介绍了查看全局概览。查看全局概览 登录 数据资源...
全局概览
运维监控支持查看工作组内和租户内的任务概览，包括今日失败实例、当前任务流总数、当前任务总数、今日实例总数、实例统计、历史实例运行统计，以便了解 企业数据智能平台 的任务全局信息。本文介绍了查看全局概览。查看全局概览 登录企业...
任务调度属性配置概述
若任务需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍调度配置的相关内容。前提条件 已创建节点。DataWorks基于节点进行任务开发，不同类型的引擎任务在DataWorks上被封装为不同...
关联资源跟随转组
您可以启用关联资源跟随转组功能，然后设置跟随转组的触发规则，实现关联资源自动转入主资源所在的资源组。应用场景 以ECS实例为例，目前支持的关联资源包括云盘、网卡和EIP，关联资源可以跟随ECS实例转移资源组。具体如下：绑定资源时跟随...
玩转邮箱群组
什么是邮箱群组？群组：即组织协作平台，该平台为用户提供企业项目协作沟通交流服务。通过邮件、网盘、任务模块来进行相互协作，以邮件组将群组中的成员串联起来，以达到便于交流和信息共享的目的；群组管理员：创建群组的用户默认为该群组...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
离线任务属性配置概述
对于离线任务，若需要周期性调度运行，您需定义该任务的调度相关属性，包括调度周期、调度依赖、调度参数等。本文为您介绍离线任务属性与调度的相关内容。注意事项 系统仅支持 调度类型为周期任务 的离线计算任务进行调度配置。依赖关系是...
查看并管理明细汇总表任务
租户默认资源组：不归属任何项目，一个租户只有一个默认资源组，任务没有指定单独的自定义资源组或者项目没有指定项目默认资源组时，会使用租户默认资源组来调度，仅针对独享资源任务（除SQL任务、Virtual任务等）。共享调度资源池：SQL...
查看并管理脚本任务
脚本任务页面包含计算任务、同步任务和集成任务，每个任务对应一个调度节点，本文以节点视角为您介绍如何查看并管理脚本任务。脚本任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照下图操作指引，进入 ...
查看并管理手动任务
手动任务是已提交至运维中心，且调度类型为手动节点的任务。手动任务不会自动运行，只有手动触发运行才会生成实例。本文为您介绍手动任务运维功能。手动任务页面入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 开发 页面。按照...
基础术语
每个周期有一组任务实例，每次执行对应一个任务实例。任务周期 也叫核对周期，指核对任务的调度周期。如核对频率为天核对，就是一天执行一次，例如 2018.5.29 执行的核对任务对应周期 20180529；如核对频率为小时核对，就是一小时执行一次...
智能媒体生产的审计事件
AddEditingProjectMaterials 增加剪辑工程关联素材。AddFavoritePublicMedia 收藏公共版权媒资。AddFilterConfigs 添加过滤条件。AddLicense 新增License。AddSaasCategory 创建分类。AddStorage 添加存储地址。AddTemplate 创建模板。...
快速开始
添加任务 点击阶段任务列表的新建任务按钮，如下所示：如上图所示，对于使用了release文件定义源码构建的用户可以添加“应用构建”，对于未使用release文件的用户可以添加“构建”任务来自定义构建过程，“构建任务”是一个工作区相关任务...
2022年
专业版公测 并行计算任务支持用户在切分子任务时自定义子任务标签，控制台子任务列表支持基于子任务查询。企业级分布式批处理方案 支持ElasticJob开发的执行器对接。兼容ElasticJob 2022-01-26 变更类型 功能描述 相关文档 新增 支持概览页...
创建CDH Impala节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
创建CDH Hive节点
如果您已部署CDH集群并希望借助DataWorks执行Hive任务（例如，数据查询作业或处理批量数据），可以使用CDH Hive节点。本文为您介绍如何创建CDH Hive节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于...
创建CDH Presto节点
步骤三：配置任务调度 如果您需要周期性执行创建的节点任务，可以单击节点编辑页面右侧的 调度配置，根据业务需求配置该节点任务的调度信息：配置任务调度的基本信息，详情请参见 配置基础属性。配置时间调度周期、重跑属性和上下游依赖...
补数据
补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据选择业务时间昨天和今天，也会出现等待时间的情况？为什么补数据选择补0点~1点生成...
产品相关问题
任务调度的核心功能是什么？分布式调度：提高系统的可用性、伸缩性，且调度与业务的分离，让研发更专注业务逻辑的开发。多种任务类型：简单任务，集群任务，消息任务，流式任务，满足不同场景需求。丰富的管理功能：包括定时触发、事件触发...
查看并管理明细汇总表任务
明细汇总表任务是Dataphin针对规范建模创建的逻辑表（维度逻辑表、事实逻辑表、汇总逻辑表）任务提供的字段视角运维功能，本文为您介绍如何查看并管理明细汇总表任务。背景信息 明细汇总表任务包括维度逻辑表任务、事实逻辑表任务和汇总...
周期任务基本运维操作
您可以在 运维中心>周期任务 列表查看指定工作空间下的周期任务，并对任务进行运维操作，包括自动调度和手动运行周期任务、查看任务运行详情、暂停任务、下线任务等。本文为您介绍周期任务的运维操作详情。使用说明 仅生产环境运维中心支持...
创建CDH MR节点
在DataWorks任务开发中，您可以通过创建CDH MR（MapReduce）节点处理超大规模的数据集。本文为您介绍如何在DataWorks中创建并使用CDH MR节点。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同...
创建EMR Presto节点
Presto（即PrestoDB）是一款灵活、可扩展的分布式SQL查询引擎，支持使用标准的SQL查询语言进行大数据的交互式分析查询（Presto概述），DataWorks为您提供EMR Presto节点，便于您在DataWorks上进行Presto任务的开发和周期性调度。...
服务端发布记录
本文介绍分布式任务调度SchedulerX产品发布的功能变更，包括新增功能、功能优化、重要问题修复等，帮助您了解SchedulerX的发布动态。发布记录 2024-03-27 功能名称 变更类型 功能描述 相关文档 日志服务 优化 支持一次性任务执行完成、任务...
数据传输自定义权限策略参考
查询一个DTS任务详情 DescribeDtsJobDetail 查询DTS任务列表及各任务执行详情 DescribeDtsJobs 修改DTS任务 修改DTS同步任务 ModifyDtsJob 修改DTS订阅任务 ModifySubscription 修改DTS任务名称 ModifyDtsJobName 重置任务 重置DTS任务 ...
创建CDH Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前，您需要先在CDH中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，CDH Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
执行测试并查看测试实例
测试实例是对周期任务进行测试时产生的实例，您可以在测试实例界面，通过列表及DAG图的方式快速查看实例的详细信息。背景信息 您可以通过对周期任务执行测试操作，以验证当前周期任务在生产环境的调度运行是否符合预期。测试操作将产生测试...
任务类型
1.背景 一个作业（Job）由一组任务（Task）及其依赖关系组成，每个任务可以有一个或多个执行实例（Instance）。具体详情看 名词解释。目前的任务类型分为两种：并发任务和 DAG(Directed Acyclic Graph)任务。2.任务概述 2.1 并发任务 ...
智能媒体服务的审计事件
AddEditingProjectMaterials 增加剪辑工程关联素材。AddFavoritePublicMedia 收藏公共版权媒资。AddFilterConfigs 添加过滤条件。AddLicense 新增License。AddMediaMarks 为媒资增加标注信息。AddOssCorsRule 添加OSS跨域配置。...
创建EMR Shell节点
使用限制 该类任务不支持 公共调度资源组 运行，支持在 2023年12月1号 之后购买的 资源组 运行。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法实时展示元数据、生成审计日志、...
快速入门
任务调度产品支持多种任务类型，包括简单任务、集群任务，您可以根据业务的需求，选择其一实现业务。本文以简单任务为例，介绍如何快速完成一个简单任务的本地开发以及控制台任务配置等。说明 若您需要任务调度工程示例代码，请下载 示例...
弹性伸缩常见问题
如果需要将某一个实例从一个伸缩组移动到另一个伸缩组，您需要先将该实例从原来的伸缩组中移出，然后再将其添加到新的伸缩组中。具体操作，请参见 手动移出实例 和 手动添加ECS实例或ECI实例。我能控制如何移出实例吗？可以。您可以为伸缩...
创建EMR Spark节点
准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度EMR Spark任务前，您需要先在EMR中开发Spark任务代码并完成任务代码的编译，生成编译后的任务JAR包，EMR Spark任务的开发指导详情请参见 Spark概述。说明 后续您需要将任务JAR包...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
什么是服务组
本文主要介绍什么是服务组。定义 服务组是人员管理的集合，人员列表中添加的人员可被加入到各个服务组；创建的服务组可以被设置为报警、事件、故障的通知订阅对象；服务组以服务或组织架构为创建前提。核心功能 通知精准送达：服务组以服务...
功能简介
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键运行和上线能力，极大的提高了工程效率。节点模式 节点模式...
数据开发
因此，用户在构建数据应用时，只需从解决实际某一业务场景出发，组合多种类型的计算节点来配置计算节点工作流程，从而快速解决业务工作流并依托数据开发的跨平台多异构任务的一键部署和上线能力，极大的提高了工程效率。节点模式 节点模式...
- 产品推荐
- 这些文档可能帮助您