创建实时元表规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度，为质量规则批量配置调度。开启：支持批量开启质量规则的对象的生效状态，开启生效状态后，所选规则会按照配置的调度自动执行。关闭：支持批量关闭质量规则...
使用DataWorks连接
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作...创建MaxCompute任务节点详情请参见 周期性调度作业概述。
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
批量上传质量规则
调度配置：可在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的分区表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非分区表...
创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
创建指标质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识库后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。删除：删除...
Hologres开发：周期性调度
新建分区表的调度作业。在DataWorks中新建Hologres节点。单击 前往DataWorks调度 后，页面自动跳转至DataWorks的 新建节点。您需要配置 新建节点 对话框的 节点类型、节点名称 及 目标文件夹，创建Hologres节点。节点类型 选择 Hologres...
批量创建质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非...
批量创建质量规则
调度配置：支持在弹框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。详情请参见 新建调度。说明 批量配置调度时，需要确保所选资源表的校验范围表达式一致，如果配置的分区和表实际分区不一致，可能会报错。批量配置调度时，非...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
创建全域数据表质量规则
调度配置：支持在对话框中筛选调度类型或用调度名称快捷搜索调度。也支持编辑调度。关联知识库文档：规则关联知识后，可在质量规则和治理工作台中查看关联知识。支持选择未被关联的知识库。如需创建，请参见 新建及管理知识库。质量分配置...
Hologres开发：周期性调度
新建分区表的调度作业。在DataWorks中新建Hologres节点。单击 前往DataWorks调度 后，页面自动跳转至DataWorks的 新建节点。您需要配置 新建节点 对话框的 节点类型、节点名称 及 目标文件夹，创建Hologres节点。节点类型 选择 Hologres...
Dataphin中通过元数据库查看任务节点ID、作业类型、...
概述 本文介绍现场运维同学如何通过元数据库查询Dataphin环境中任务的节点ID、作业类型、任务节点名、任务状态、调度周期、调度时间等详细信息；查询任务上下游节点任务的ID、名称等信息。详细信息 具体查询任务节点ID、作业类型、任务节点...
计算资源使用
配额组（Quota）是MaxCompute的计算资源池，为MaxCompute中的计算作业提供所需计算资源（CPU及内存）。在MaxCompute中支持根据计算作业对计算资源的需求，指定匹配的Quota，...如上规则项也可以结合起来使用，实现更细粒度的作业调度控制。
YARN概述
YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。基本概念 名称 描述 ResourceManager 负责集群的资源管理与调度，为运行在YARN上的各种类型作业分配资源。非HA集群部署在EMR的...
管理作业
调度参数 设置作业运行调度队列、内存、虚拟核数、优先级和执行用户等信息。当未设置这些参数时，作业会直接采用集群的默认值。删除作业 创建作业后，不再需要当前作业时可删除。在项目空间页面，单击待操作项目所在行的 删除。在 删除 ...
PAI-TF概述
MaxCompute全局计算调度服务能够将PAI-TF作业自动调度至相应的GPU集群，并将基于CPU集群的数据预处理作业和基于GPU集群的模型训练作业连接起来。GPU卡映射 PAI-TF支持将不同算子（Operators）指定至特定的CPU或GPU上。基于GPU卡映射，您...
Quota管理（新版）
如果有多个交互式Quota，MCQA作业默认调度到最早创建的交互式Quota里执行，因此需要结合Quota规则，可以实现不同Project发起的MCQA作业调度到不同的交互式Quota里执行，Quota规则详情请参见 Quota规则。单击 确定。配置Quota计划。新增的...
使用向导创建集群
背景信息 集群可为E-HPC计算提供计算资源、存储资源等，用于后续提交作业、调度作业、存储作业结果、查看作业结果。创建和使用E-HPC集群前请了解以下内容：限制条件：一个地域下最多可创建3个集群，如需要创建多个集群，请 提交工单。费用...
创建EMR Hive节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
混合云代理模式最佳实践
CentOS_7.6_64 调度器 作业调度软件，请选择sge。sge 调度节点IP 代理管理本集群的已有集群的管理节点IP。10.0.XX.XX 调度节点主机名 代理管理本集群的已有集群的管理节点主机名。manager 账号系统 代理管理本集群的已有集群的账号系统。...
创建EMR Spark SQL节点
集群类型 高级参数 DataLake集群（新版数据湖）【EMR on ECS】、Custom集群（自定义集群）【EMR on ECS】“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。...
注册集群概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
YARN资源配置
EMR会在创建集群和新增节点组第一次扩容时会配置一次 yarn.scheduler.maximum-allocation-mb，保证该值大于创建集群时所有节点和新增节点组扩容时扩容节点的 yarn.nodemanager.resource.memory-mb，避免作业无法调度。节点组升配或者手动...
工作原理
调度与执行 一个作业可生成一个或多个实例，无论是正常被调度还是您触发异常实例重试的情况，同时只有一个实例处于运行中，不存在多个实例并发执行的情况。主要的调度与执行场景如下：场景一：从当前时间开始文本分析作业。从当前时间发起...
添加消息批量下发任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过调用 Pub 接口，向多个设备发送消息，然后设备向物联网平台返回响应...
添加属性设置任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。单击 完成。任务创建完成后，物联网平台通过调用 SetDeviceProperty 或 SetDevicesProperty 接口，...
添加服务调用任务
作业开始调度时间 可选配置。从当前设置操作的时间，开始计算时间。设备任务创建成功后，先初始化，直至到达调度时间，才会开始调度执行。任务创建完成后，物联网平台通过 InvokeThingService 或 InvokeThingsService 接口调用服务，采用...
创建EMR Kyuubi节点
DataWorks的EMR Kyuubi节点可进行Kyuubi任务的开发和周期性调度，以及与其他作业的集成操作。本文为您介绍使用EMR Kyuubi节点进行任务开发的主要流程。背景信息 Apache Kyuubi是一个分布式和多租户网关，为数据湖查询引擎（例如Spark、...
配置AnalyticDB MySQL Spark节点
数据管理DMS 任务编排功能的AnalyticDB MySQL Spark节点，支持周期性、有顺序地调度Spark作业。本文介绍如何配置AnalyticDB MySQL Spark节点。背景信息 使用常规的Spark开发编辑器或命令行等工具进行AnalyticDB MySQL Spark作业开发时，仅...
快速入门
背景信息 如果您想了解更多Zeppelin、Jupyter和Airflow的信息，请参见以下内容：Zeppelin概述 管理JupyterHub 定期调度Zeppelin中的作业 前提条件 已申请体验EMR Studio的资格。已创建EMR Studio集群，详情请参见 创建EMR Studio集群。说明...
拓扑感知调度
在 容器服务 Kubernetes 版 中，可以结合Gang调度能力以及拓扑感知调度能力，实现Pod在多个拓扑域中重试，直到找到一个能够满足整个作业拓扑域的功能。更进一步，可以结合 容器服务 Kubernetes 版 的节点池以及ECS的部署集能力，将Pod调度...
EMR控制台管理YARN分区
重要作业保障 如果不希望重要作业被调度到弹性节点，可以为非弹性节点配置单独的分区，让重要作业使用该分区（此处针对少数不希望因为缩容而被延迟的重要作业）。借助YARN分区管理能力，运维人员可以根据节点的特性（角色定位、处理能力）...
创建EMR Spark Streaming节点
“queue”：提交作业的调度队列，默认为default队列。关于EMR YARN说明，详情请参见 队列基础配置。“priority”：优先级，默认为1。说明 您也可以直接在高级配置里追加自定义SparkConf参数。提交代码时DataWorks会自行在命令中加上新增的...
创建EMR Spark节点
DataLake集群/自定义集群：EMR on ECS 高级参数 配置说明“queue”提交作业的调度队列，默认为default队列。如果您在注册EMR集群至DataWorks工作空间时，配置了工作空间级的 YARN资源队列：如果 勾选 了 全局配置是否优先 为 是，则实际...
导出开源引擎任务
DataWorks提供任务搬站功能，支持将...在左侧导航栏，单击 任务上云>调度引擎作业导出，进入 调度引擎导出方案选择 页面。单击 标准模板。在 标准模板 页签下，单击 标准格式模板 进行下载。根据模板中的格式修改内容后，即可生成导出包。
DMS调度Spark
使用常规的Spark开发编辑器或命令行等工具进行Spark作业开发时，仅支持单次调度Spark作业，且作业间无依赖关系和执行顺序。为解决以上痛点，您可以通过 数据管理DMS 的任务编排功能，周期性、有顺序地调度Spark作业。本文介绍如何使用DMS...
迁移EMR项目至DataWorks
在 迁移助手 页面，单击左侧导航栏的 任务上云>调度引擎作业导出。在 调度引擎导出方案选择 页面，单击 EMR>新建导出任务。在 新建导出任务 对话框，配置导出信息。导出成功后，可在 调度引擎导出方案选择 页面，查看导出结果。完成后单击 ...
- 产品推荐
- 这些文档可能帮助您