Kafka增量数据同步至MaxCompute
按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才开始运行，选择 使用工作空间根节点 即可。数据集成资源组配置 选择在创建数据源时，与Kafka数据和MaxCompute数据源都完成...
Kafka增量数据同步至MaxCompute
按照需要选择调度资源组，推荐使用独享调度资源组。配置调度依赖。本实践同步任务无需在特定其他任务运行成功后才开始运行，选择 使用工作空间根节点 即可。数据集成资源组配置 选择在创建数据源时，与Kafka数据和MaxCompute数据源都完成...
GPU节点调度属性标签
标签值切换 使用kubectl label切换标签值存在的问题 当一个GPU节点从一种GPU资源调度能力A切换到另一种GPU资源调度能力B时，直接使用 kubectl label 命令会引发如下的一些问题：该GPU节点上可能还存在使用GPU资源的应用，这些应用是以A功能...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
云原生能力
越来越多的客户使用云资源的方式已经在发生了改变，从应用到数据库都在向充分地利用云资源...资源调度 PolarDB PaaS资源调度实现了高资源利用率、可自主运维性与预测性，既能适应可调度资源有限的小型IDC环境，也适应大型混合云场景的调度。
Workflow新功能发布记录
扩缩容调度资源组 调度资源组监控 新增资源调度资源组监控功能，您可以在控制台上，查看在资源组上运行的任务数、资源组CPU消耗及内存消耗情况。查看调度资源组利用率 支持StarRocks数据源 数据源中心支持添加StarRocks数据源，您可以在SQL...
管理调度资源组
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。购买调度资源组后，在实际使用前您还需进行...
计算资源
资源调度：同上述“资源调度”说明。任务异常中断 在执行计算任务的过程中，由于各种原因导致任务无法正常完成或被中断的情况，从而造成任务失败。常见的容错策略如下：检查点和恢复：在任务执行过程中，定期创建检查点，将任务的中间结果...
安装GPU拓扑感知调度组件
激活GPU拓扑资源调度前，您需要安装并配置相关组件。本文介绍如何安装GPU拓扑感知调度相关组件以及在集群中开启GPU拓扑感知调度能力。前提条件 已创建ACK Pro集群，且集群的实例规格类型选择为 GPU云服务器。更多信息，请参见 创建...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
实例运行诊断
所有实例运行都需要进行限流规则的诊断，上游依赖及定时时间诊断通过后，需要同时满足所有命中的限流规则才会下发到资源调度系统。如需刷新诊断结果，可单击 刷新图标。如果实例最近1次运行满足上游依赖以及定时时间，且同时满足所有命中的...
配置资源属性
周期任务的运行依赖于调度资源组，您可以在目标任务调度配置的资源属性区域，选择任务调度运行时需要使用的资源组。配置资源组 进入数据开发节点的编辑页面，单击右侧导航栏的 调度配置，在 资源属性 区域配置节点调度时使用的资源组。在 ...
基础监控
混部资源使用趋势 概念 说明 混部Pod数量 分为使用非混部资源调度的Pod数目和使用混部资源调度的Pod数目。混部Pod数量比例展示了集群中使用非混部资源调度和使用混部资源调度的Pod数目的相对比例。资源混部比例 分为CPU和内存两个资源维度...
工作空间调度中心
调度中心提供了工作空间维度的资源管理和调度机制，支持管理员根据不同的业务需求和使用场景，灵活进行资源调度配置。前提条件 已创建工作空间，详情请参见 创建工作空间。配置策略 登录 PAI控制台。在左侧导航栏单击 工作空间列表，在工作...
Quota调度策略说明
注意事项 在实际资源调度中，作业优先级 调度策略高于Quota调度策略。即资源总是优先分配给优先级高的作业，在同等优先级的作业中再根据Quota调度策略进行资源分配。暂不支持对类型为 交互式 的二级Quota设置调度策略。自2023年5月24日起，...
调度资源组计费说明
调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。EMR Workflow于2024年1月10日起启动商业化，支持购买付费调度资源...
产品计费
ACK灵骏集群 还默认提供GPU共享调度、拓扑感知调度等异构资源调度能力，以及分布式缓存加速，提升应用性能和集群整体资源利用率；为AI、HPC等任务提供了丰富的调度策略、任务优先级队列，优化AI训练和推理任务的调度效率，统一AI资源和负载...
资源组编排
DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。本文为...
资源监控
资源监控可设置调度资源大盘的开启和关闭。针对调度资源大盘，Dataphin管理中心提供实例级别的控制。本文为您介绍如何开启或关闭调度资源大盘。功能限制 资源监控仅支持监控Dataphin集群的资源。前提条件 请联系Dataphin部署团队部署...
使用公共资源组
开通DataWorks时，DataWorks自动为您提供公共资源组（包括公共调度资源组、公共数据集成（调试）资源组、公共数据服务资源组），可用于数据开发、运行测试等操作。公共资源组被多个租户共享，高峰期租户间可能会存在抢占资源的情况。本文为...
工作流快速入门
如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见 调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。在 调度资源组 页面，单击 关联工作空间。在 ...
运维助手
若运行在独享调度资源组上的任务执行时需依赖第三方包，为保障任务可顺利执行，您需要先通过该资源组的运维助手功能，将相应的第三方包安装至独享调度资源组。DataWorks的运维助手提供了多种内置的第三方包，可直接安装使用，若内置的第三...
独享资源组
独享资源组使用场景 独享调度资源组使用场景 独享数据集成资源组使用场景 独享资源组网络配置 独享资源组访问VPC环境下数据的前提条件是什么？如何查看数据源的网络环境？添加独享资源组白名单 独享资源组商业化行为 如何对资源组进行续费...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
独享调度资源组
在任务高并发执行且无法错峰运行的情况下，需要专有的计算资源来保障任务定时被调度运行时，建议您选择使用DataWorks的独享调度资源组。本文为您概要介绍独享调度资源组。适用场景 对任务时效性要求高，避免公共资源组资源争抢导致任务延时...
Airflow调度DLA Spark作业
注意事项 DLA Spark的最小资源调度单元是容器，容器规格通过 resourceSpec 来定义。您可以通过配置 spark.driver.resourceSpec 和 spark.executor.resourceSpec 来指定driver和executor的容器规格。Hadoop社区通过指定driver和executor的...
新增和使用独享调度资源组
您可根据业务场景需求选择购买合适规格的独享调度资源组，用于任务的调度运行。购买独享资源组后，在实际使用前您还需进行网络绑定、白名单等配置操作。本文为您介绍从购买至使用独享调度资源组的全流程与步骤详情。前提条件 购买和使用独...
EMR Workflow商业化公告
2024年1月10日起EMR Workflow正式发布。...如果现有的默认资源组未能满足您的需求，您可以创建度资源组，具体计费内容请参见 调度资源组计费说明。联系我们 如果在使用EMR Workflow的过程中遇到任何疑问，可加入钉钉群 31675206 咨询。
任务运行诊断
说明 通常，调度资源与任务执行资源为不同的资源，调度资源仅负责将任务下发至引擎的执行资源上。若任务长时间执行占用引擎资源，即使调度资源下发任务至引擎，也会由于引擎资源不足而导致任务阻塞。您可以通过DataWorks 任务下发机制 图示...
快速使用EMR Workflow
如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见 调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。在 调度资源组 页面，单击 关联工作空间。在 ...
通用参考：按量付费转包年包月
任务类型 所用资源组 资源组介绍及计费说明 调度任务 公共调度资源组 使用公共资源组 公共调度资源组计费说明：按量付费 数据集成任务 公共数据集成（调试）资源组 使用公共资源组 公共数据集成（调试）资源组：按量计费 调用数据服务API ...
RPC
通过和 JVM 及系统部的配合，利用进阶的分时调度实现灵活的资源调度，可以实现更好的效果且不必加机器资源，说明如下：资源需求：假设有如下两个大的资源池的资源需求。在 X 点的时候，资源域 A 需要更多的资源。在 Y 点的时候，资源域 B ...
产品简介
更多信息，请参见 资源调度概述。应用管理 功能项 说明 应用创建 ACS支持无状态、有状态、任务和定时任务等多种类型的工作负载。支持从客户端、控制台镜像和模板进行创建，支持环境变量、应用健康、数据盘和日志等相关配置。更多信息，请...
Dataphin的调度任务到了设置的调度时间状态还是等待中
等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源状态。解决方案 如果需要优先运行当前实例，可以调整任务优先级后执行强制重跑操作，优先运行当前实例 新版本中（v3.2及以上...
MySQL节点
前提条件 MySQL节点仅支持使用独享调度资源组，独享调度资源组的使用请参考文档：新增和使用独享调度资源组。已通过连接串形式添加MySQL数据源，详情请参见 配置MySQL数据源。连接串形式创建的MySQL数据源与独享调度资源组网络已连通。标准...
查看并管理脚本任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。脚本任务列表支持的...
Data Lake Analytics节点
配置资源属性时，请选择调度资源组为已经和Data Lake Analytics网络连通的独享调度资源组，作为周期调度时使用的资源组。保存并提交节点。重要 您需要设置节点的 重跑属性 和 依赖的上游节点，才可以提交节点。单击工具栏中的 图标，保存...
开通Workflow服务
首次在指定地域使用Workflow时，您必须在该地域开通Workflow服务。本文为您介绍如何开通Workflow。...授权完成后，您便可以使用RAM用户...购买调度资源组后，在实际使用前您还需进行绑定集群、关联工作空间等操作，详情请参见 管理调度资源组。
基本概念
调度资源组 调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。工作流定义 工作流定义是对一系列按照特定逻辑进行编排的任务及其执行顺序的描述。它包括分配给各个任务的调度节点和制定的调度...
查看并管理手动任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。手动任务列表支持的...
- 产品推荐
- 这些文档可能帮助您