什么是网络智能服务
网络资源拓扑：快速了解阿里云云上网络架构，查看云网络资源关系以及您部署的云上组网结构。进行网络配置验证，根据访问场景，分析实体的路由拓扑，识别云上资源的网络可达组网是否符合预期。统一运维云网络资源，支持按资源类型提供运维...
资源组编排
DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。本文为...
资源监控
资源监控可设置调度资源大盘的开启和关闭。针对调度资源大盘，Dataphin管理中心提供实例级别的控制。本文为您介绍如何开启或关闭调度资源大盘。功能限制 资源监控仅支持监控Dataphin集群的资源。前提条件 请联系Dataphin部署团队部署...
运维中心概述
调度资源大盘：为您提供全局任务资源分配、全局资源消耗、建议优化任务等，便于您及时获取资源调度状况、了解资源调度趋势，以判断资源的消耗及影响，从而作出预算准备、资源扩容或规格升级的决策。任务运维 任务运维依照调度时效分为周期...
通用参考：添加路由
前提条件 请确保您的专有网络VPC已经绑定独享资源组，详情请参见 新增和使用独享调度资源组 和 新增和使用独享数据集成资源组。背景信息 您可以通过为独享资源组添加路由，连通您的独享资源组和数据源之间的网络。如果添加路由后，仍然存在...
功能特性
功能集 功能 功能描述 参考文档 资源概览 资源列表 按产品类型展示账户下云网络资源列表，提供云网络资源的实例观测页。查看资源列表 巡检报告 支持对云网络实例、路径和异常事件进行定期巡检和报告分析。查看和配置巡检报告 资源统计 汇总...
工作流快速入门
如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见 调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。在 调度资源组 页面，单击 关联工作空间。在 ...
运维助手
若运行在独享调度资源组上的任务执行时需依赖第三方包，为保障任务可顺利执行，您需要先通过该资源组的运维助手功能，将相应的第三方包安装至独享调度资源组。DataWorks的运维助手提供了多种内置的第三方包，可直接安装使用，若内置的第三...
等待资源
问题现象 调度将任务下发到对应执行引擎上，此过程可能会出现以下等待资源问题：等待调度资源组。数据集成任务等待数据集成资源。计算任务等待引擎计算资源。产生原因 资源组下可用资源是有限的，如果有任务长时间执行未释放资源必定会阻塞...
使用资源目录和共享VPC实现多账号网络互通
关于资源所有者与资源使用者对共享交换机及网络资源的操作权限，请参见 共享VPC概述。操作步骤 步骤一：在资源目录内共享交换机 资源目录的管理账号或成员，可以在资源目录内，将资源共享给整个资源目录及其下的资源夹或成员。具体操作，请...
Airflow调度DLA Spark作业
注意事项 DLA Spark的最小资源调度单元是容器，容器规格通过 resourceSpec 来定义。您可以通过配置 spark.driver.resourceSpec 和 spark.executor.resourceSpec 来指定driver和executor的容器规格。Hadoop社区通过指定driver和executor的...
EMR Workflow商业化公告
2024年1月10日起EMR Workflow正式发布。...如果现有的默认资源组未能满足您的需求，您可以创建度资源组，具体计费内容请参见 调度资源组计费说明。联系我们 如果在使用EMR Workflow的过程中遇到任何疑问，可加入钉钉群 31675206 咨询。
文档修订记录
注册EMR集群至DataWorks 2023.6.27 更新功能 运维中心 运维大屏功能改版，支持展示工作空间的运维稳定性评估、重点关注的运维指标、调度资源使用及周期任务运行概况，以及数据集成同步任务的运行详情，助力您从宏观角度快速了解空间任务的...
RPC
通过和 JVM 及系统部的配合，利用进阶的分时调度实现灵活的资源调度，可以实现更好的效果且不必加机器资源，说明如下：资源需求：假设有如下两个大的资源池的资源需求。在 X 点的时候，资源域 A 需要更多的资源。在 Y 点的时候，资源域 B ...
任务运行诊断
说明 通常，调度资源与任务执行资源为不同的资源，调度资源仅负责将任务下发至引擎的执行资源上。若任务长时间执行占用引擎资源，即使调度资源下发任务至引擎，也会由于引擎资源不足而导致任务阻塞。您可以通过DataWorks 任务下发机制 图示...
快速使用EMR Workflow
如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见 调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。在 调度资源组 页面，单击 关联工作空间。在 ...
其他问题
调度资源组主要用于调度任务，资源有限，并不适合用来完成计算任务。MaxCompute具有海量数据处理能力，推荐您通过MaxCompute进行大数据计算。如何设置任务优先级？您可以通过设置节点所在基线的优先级来实现节点优先级调整。基线优先级高...
Dataphin的调度任务到了设置的调度时间状态还是等待中
等待中分为等待调度时间和等待调度资源：任务到达了定时调度时间，但是由于调度资源不足，所以处于等待调度资源状态。解决方案 如果需要优先运行当前实例，可以调整任务优先级后执行强制重跑操作，优先运行当前实例 新版本中（v3.2及以上...
开通Workflow服务
首次在指定地域使用Workflow时，您必须在该地域开通Workflow服务。本文为您介绍如何开通Workflow。...授权完成后，您便可以使用RAM用户...购买调度资源组后，在实际使用前您还需进行绑定集群、关联工作空间等操作，详情请参见 管理调度资源组。
基本概念
调度资源组 调度资源组用于任务的调度运行。首次开通EMR Workflow服务时，将免费为您提供一个默认调度资源组。工作流定义 工作流定义是对一系列按照特定逻辑进行编排的任务及其执行顺序的描述。它包括分配给各个任务的调度节点和制定的调度...
查看并管理脚本任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。脚本任务列表支持的...
方案概述
网络资源 资源所有者可执行的操作 资源使用者可执行的操作 VPC 全部操作权限。仅支持查看共享给自己的交换机所属的VPC。交换机 全部操作权限（包含开启和关闭交换机的IPv6功能）。说明 如果要删除交换机，请确保交换机已取消共享，且该交换...
查看并管理手动任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。手动任务列表支持的...
通过ack-co-scheduler实现多级弹性调度
oneline-hz-work*<none><none>nginx-load-85b845cffd-vf8lg 1/1 Running 0 32s 10.200.XX.XX cn-hangzhou.10.200.XX.XX <none> <none>控制应用Nginx的副本数目后查看调度结果，可以看到其部署策略符合预期：资源调度顺序为优先IDC资源，其次...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的...
数据未正常产出或任务未运行如何处理
若出现此种情况，说明当前项目下正在运行的任务占用的调度资源已达到可使用的资源上限，您可重新安排任务运行时间将各任务错峰运行，或购买独享调度资源组，独享调度资源组详情可参见 独享调度资源组。上游节点实例状态：灰色 说明上游节点...
手动任务快速入门
如果默认调度资源组不能满足您的需求，您也可以选择购买付费调度资源组。付费调度资源组的规格指标及计费规格详情，请参见 调度资源组计费说明。付费调度资源组需要按照以下步骤关联工作空间。在 调度资源组 页面，单击 关联工作空间。在 ...
查看调度资源大盘
调度资源大盘展示Dataphin集群已配置调度资源的使用及分配情况。您可以查看并分析全局资源总量配置及单个任务资源分配的情况，可以有效地提升资源利用率并降低成本，同时也能减少因调度资源紧张而造成大量任务堆积的可能性，增强平台的稳定...
查看并管理定时调度补数据任务
调度资源组：可根据补数据任务指定运行时使用的调度资源组进行筛选 如果您需要重新筛选，则单击 重置，即可快速清空所有筛选条件，恢复系统默认。新建补数据任务：单击+新建补数据任务 可以新建补数据任务。具体操作，请参见 新建补数据...
智能诊断
如果当前任务该检查未通过，则表示当前任务运行时所使用的调度资源不足，任务将进入等待资源状态，直到占用该调度资源的任务执行结束，释放资源后，才会启动当前任务的运行。您可以根据资源使用趋势，合理安排任务的定时时间，以错峰运行。...
公共调度资源组计费说明：按量付费
DataWorks为您提供公共调度资源组用于任务调度运行。公共调度资源组的计费方式为按量计费，本文为您介绍公共调度资源组的按量计费详情。背景信息 概念介绍 公共调度资源组是DataWorks提供的公共资源组的一种，计费方式为按量计费。所有阿里...
查看并管理脚本任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。脚本任务列表支持的操作 操作 描述 DAG...
资源复制场景
目标专有网络 资源复制的目标专有网络，在同地域下默认与源资源的专有网络相同；若跨地域，默认由系统自动创建。说明 请确保目标专有网络的CIDR包含源资源所属专有网络的CIDR。目标交换机 资源复制的目标交换机，在同地域下默认与源资源的...
资源迁移场景
目标专有网络 资源迁移的目标专有网络，在同地域下默认与源资源的专有网络相同；若跨地域，默认由系统自动创建。说明 请确保目标专有网络的CIDR包含源资源所属专有网络的CIDR。目标交换机 资源迁移的目标交换机，在同地域下默认与源资源的...
创建资源场景
目标专有网络 资源复制的目标专有网络，在同地域下默认与源资源的专有网络相同；若跨地域，默认由系统自动创建。说明 请确保目标专有网络的CIDR包含源资源所属专有网络的CIDR。目标交换机 资源复制的目标交换机，在同地域下默认与源资源的...
查看并管理脚本实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，无需用户单独指定，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。脚本实例列表支持的操作 操作 描述 DAG图 单击 可查看该周期...
查看并管理手动实例
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。手动实例运行状态说明 状态 图标 说明 未运行 未开始运行的实例。等待中 已触发...
Dataphin的重跑并恢复调度和强制重跑的区别
实例开始运行条件说明 依赖的上游实例全部运行成功-满足此条件，即变成“等待中”状态（可能在等待到达定时运行时间或者等待分配调度资源，后续版本拆分了“等待调度时间”和“等待调度资源”）到达当前实例的定时运行时间，且已分配调度...
无法删除VPC实例
在 专有网络资源 区域，检查 路由表、交换机、传统型负载均衡CLB（私网）、安全组、网络ACL 等资源是否存在，如果存在请单击资源下方的数字，请进行相应的解绑或删除。在 包含基础云资源 区域，检查 云服务器（ECS）、云数据库（RDS）是否...
查看并管理手动任务
共享调度资源池：SQL任务、Virtual等共享资源任务消耗的调度资源极少，系统默认预订一定额度的资源用于调度这些共享资源任务，并且不支持单独配置，不可修改。最近更新时间 任务最后一次的更新时间。手动任务列表支持的操作 操作 描述 查看...
- 产品推荐
- 这些文档可能帮助您