产品优势
成本 单位成本低，精细化服务运营与实时高效的网络调度，资源使用率更高。零成本运维，无需运维人员与托管费用，按需按量使用。业务形式单一，业务低峰资源无法复用或复用成本高。容量扩容、新建服务区域和运维，人力成本很高。RTC自身优势...
MySQL节点
网络联通说明 网络连通说明 MySQL节点需要访问MySQL服务，您需要确保独享调度资源组和MySQL数据库的网络已连通，关于独享调度资源组网络连通方案，详情请参见：绑定专有网络。配置白名单 若MySQL数据库存在白名单访问控制，您需要在MySQL...
对接使用CDH与CDP
Step2：配置网络联通 DataWorks的独享调度资源组购买创建完成后，默认与其他云产品网络不可达，在对接使用CDH时，您需获取部署CDH集群的网络信息，将独享调度资源组绑定至CDH集群所在的VPC网络中，保障CDH集群与独享调度资源组的网络联通。...
独享调度资源组
说明 如果独享调度资源组的应用过程中，不涉及与数据源的交互，则不涉及独享调度资源组与数据源间的网络连通问题，独享调度资源组购买后即可直接使用，无需考虑网络的相关影响。独享调度资源组购买后，需绑定一个VPC网络，后续您可以根据...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
创建CDH Hive节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Hive节点 进入数据开发页面。登录 DataWorks控制台，切换...
创建CDH Presto节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH Presto节点 进入数据开发页面。登录 DataWorks控制台，...
创建CDH Impala节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。步骤四：调试代码任务（可选）选择运行资源组、赋值自定义参数取值。在工具栏单击 图标，在 参数 对话框选择...
创建CDH MR节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。步骤一：创建CDH MR节点 进入数据开发页面。登录 DataWorks控制台，切换至...
创建EMR Impala节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 仅支持使用独享调度资源组运行该类型任务。DataWorks目前已不支持新绑定Hadoop类型的集群，但您之前已经绑定的...
创建EMR Hive节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持公共调度资源组运行该类任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。...
创建EMR Presto节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 EMR集群与DataWorks资源限制 仅数据湖集群（Hadoop）使支持用EMR Presto节点进行任务开发，新版数据湖集群...
创建EMR Spark SQL节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 仅支持使用独享调度资源组运行该类型任务。DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-...
创建CDH Spark节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 不支持 公共调度资源组 运行该类型任务。准备工作：开发Spark任务并获取JAR包 在使用DataWorks调度CDH Spark任务前...
准备工作：获取CDH或CDP集群信息并配置网络连通
配置网络连通 DataWorks的独享调度资源组购买后，默认与其他云产品网络不可达，在对接使用CDH时，您需获取部署CDH集群的网络信息，将独享调度资源组绑定至CDH集群所在的VPC网络中，保障CDH集群与独享调度资源组的网络连通。进入独享资源组...
创建EMR Shell节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 该类任务不支持 公共调度资源组 运行，支持在 2023年12月1号 之后购买的 资源组 运行。DataLake或自定义集群若要在...
创建EMR Spark Streaming节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点任务。在 提交新版本 ...
DataWorks On CDP/CDH使用说明
在对接使用CDP或CDH时，需先保障CDP或CDH集群和独享调度资源组间网络连通，才可进行后续相关操作。购买资源组，详情请参见 新增和使用独享调度资源组。已创建DataWorks工作空间，详情请参见 创建并管理工作空间。使用说明 DataWorks on CDP...
创建EMR Spark节点
已购买独享调度资源组并完成资源组配置，包括绑定工作空间、网络配置等，详情请参见 新增和使用独享调度资源组。使用限制 该类任务不支持 公共调度资源组 运行，支持在 2023年12月1号 之后购买的 资源组 运行。DataLake或自定义集群若要在...
一键MaxCompute数据同步节点
访问公网或VPC网络的MySQL数据源，请选择与MySQL数据源网络连通的调度资源组，作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。保存并运行节点。在节点编辑页面的顶部菜单栏，单击 图标，保存节点配置。在节点编辑页面的...
创建EMR MR节点
访问公网或VPC网络时，请选择与目标节点网络连通的调度资源组作为周期调度任务使用的资源组。详情请参见 配置资源组与网络连通。任务发布进行周期调度 提交并发布节点任务。单击工具栏中的 图标，保存节点。单击工具栏中的 图标，提交节点...
MaxCompute数据离线同步至ClickHouse
如您期望完成ClickHouse与数据服务资源组、调度资源组的网络联通，需分别进行网络连通的配置与连通测试。新建离线同步任务 在数据开发（DataStudio）页面的某个业务流程下，新建一个离线同步节点，根据界面提示配置节点的路径、名称等信息...
节点运行ECS机器上的脚本
访问内网环境，网络连通配置参考 网络连通方案，ECS安全组入网规则配置独享调度资源组绑定的交换机网段。访问公网环境，可直接访问，若ECS存在安全组配置，ECS安全组入网规则配置独享调度资源组EIP。说明 获取独享调度资源组相关IP的方式请...
GPU节点调度属性标签
标签值切换 使用kubectl label切换标签值存在的问题 当一个GPU节点从一种GPU资源调度能力A切换到另一种GPU资源调度能力B时，直接使用 kubectl label 命令会引发如下的一些问题：该GPU节点上可能还存在使用GPU资源的应用，这些应用是以A功能...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
云原生能力
越来越多的客户使用云资源的方式已经在发生了改变，从应用到数据库都在向充分地利用云资源...资源调度 PolarDB PaaS资源调度实现了高资源利用率、可自主运维性与预测性，既能适应可调度资源有限的小型IDC环境，也适应大型混合云场景的调度。
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
新增和使用独享调度资源组
或者使用了EMR、CDH这类必须要使用独享调度资源组的引擎时，您还需了解不同场景下，独享调度资源组与数据源间或引擎间的网络连通方案和白名单注意事项，详情请参见 独享调度资源组。说明 如果您暂无连通数据库实例的需求，只是为了缓解因...
调度概述
本文介绍弹性调度、任务调度、异构资源调度、负载感知调度和精细化调度的主要功能。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和ECI，以及不同的付费类型如包年...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
计算资源
资源调度：同上述“资源调度”说明。任务异常中断 在执行计算任务的过程中，由于各种原因导致任务无法正常完成或被中断的情况，从而造成任务失败。常见的容错策略如下：检查点和恢复：在任务执行过程中，定期创建检查点，将任务的中间结果...
安装GPU拓扑感知调度组件
激活GPU拓扑资源调度前，您需要安装并配置相关组件。本文介绍如何安装GPU拓扑感知调度相关组件以及在集群中开启GPU拓扑感知调度能力。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
基础监控
混部资源使用趋势 概念 说明 混部Pod数量 分为使用非混部资源调度的Pod数目和使用混部资源调度的Pod数目。混部Pod数量比例展示了集群中使用非混部资源调度和使用混部资源调度的Pod数目的相对比例。资源混部比例 分为CPU和内存两个资源维度...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
工作空间调度中心
调度中心提供了工作空间维度的资源管理和调度机制，支持管理员根据不同的业务需求和使用场景，灵活进行资源调度配置。前提条件 已创建工作空间，详情请参见 创建工作空间。配置策略 登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作...
系统管理
您可以在对应引擎后的下拉框中选择调度资源组、数据集成资源组，可选的资源组为网络连通性测试成功的 独享调度资源组 及 独享数据集成资源组，以保障SQL查询任务高效运行。如果您在此处未指定使用哪个资源组，则资源组的默认使用情况如下：...
调度资源组计费说明
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。EMR Workflow于2024年1月10日起启动商业化，支持购买付费调度资源...
Quota调度策略说明
注意事项 在实际资源调度中，作业优先级 调度策略高于Quota调度策略。即资源总是优先分配给优先级高的作业，在同等优先级的作业中再根据Quota调度策略进行资源分配。暂不支持对类型为 交互式 的二级Quota设置调度策略。自2023年5月24日起，...
- 产品推荐
- 这些文档可能帮助您