启动实时检测与分析
计算资源状态分析 详细分析 该页面为您展示最近5分钟集群任务的详细分析和打分，并给出优化建议，您可以根据优化建议进行调优。同时也会展示部分存在异常行为的作业列表，您可以根据异常作业进行排查。计算引擎信息 在计算基础信息中，您...
Ha3搜索引擎的审计事件
ListClusterTasks 展示集群任务。ListDatabases 展示已有数据库。ListDataSources 查询数据源列表。ListDataSourceSchemas 查询指定数据源的Schema信息。ListDataSourceTasks 展示数据源任务。ListDateSourceGenerations 查询数据源的历史...
API概览
任务 API 标题 API概述 DescribeTaskInfo 查询任务详情 您可以调用DescribeTaskInfo接口，查询集群任务的详细信息，例如任务类型、运行状态、运行阶段等。PauseTask 暂停任务 您可以调用PauseTask接口，暂停执行中的集群任务。ResumeTask ...
设置集群身份映射
映射类型说明 在DataWorks注册CDH集群时，可通过 默认访问身份 参数，配置后续在DataWorks运行CDH集群任务时，实际在CDH集群内执行任务代码使用的账号，配置详情请参见 配置集群默认访问身份。默认访问身份 支持配置的账号及映射类型说明...
API概览
删除集群前，请手动清理工作负载（无状态、有状态、任务和定时任务），否则可能导致集群删除失败。DescribeClustersV1 查询集群列表 您可以调用DescribeClustersV1接口查看本账号下符合条件的ACK集群（例如指定集群类型、集群规格）列表...
API概览
删除集群前，请手动清理工作负载（无状态、有状态、任务和定时任务），否则可能导致集群删除失败。DescribeClustersV1 查询集群列表 您可以调用DescribeClustersV1接口查看本账号下符合条件的ACK集群（例如指定集群类型、集群规格）列表...
DataWorks on EMR数据安全方案
绑定EMR引擎时设置的集群访问身份，在实际运行EMR集群任务时，会映射为一个EMR集群的账号，DataWorks提供了设置账号映射的能力。数据安全实践：从Hadoop单一账号升级到完善的数据权限管理 很多用户为快速开始大数据业务，使用单一账号...
集群管理常见问题
对于计算任务：当集群的计算任务被收集后，第二天即可看到最新的报告，报告内容是根据前一天的集群任务运行状态对集群整体进行分析后给出的集群评估建议。对于存储分析：EMR Doctor默认不启用存储采集分析，您可以手动开启存储采集。开启...
配置数据订阅任务
说明 若您登录的是数据管理DMS控制台，需要在 集群任务 右侧，选择专属集群所在地域。在目标专属集群 操作 列，选择 配置任务>配置订阅任务。配置 源库信息 和 消费网络类型。警告 选择源实例后，建议您仔细阅读页面上方显示的 使用限制，...
API概览
GetCloudMetricProfiling 获取集群任务性能剖析结果 调用GetCloudMetricProfiling获取集群任务性能剖析结果。ListCloudMetricProfilings 查询集群的历史性能剖析信息 调用ListCloudMetricProfilings查询指定集群的历史性能剖析信息。...
弹性高性能计算E-HPC的审计事件
GetCloudMetricProfiling 获取集群任务性能剖析结果。GetClusterVolumes 查询挂载到E-HPC集群中的存储卷信息。GetCommonImage 获取E-HPC提供的常用镜像。GetGWSConnectTicket 获取连接可视化实例的Ticket。GetHealthMonitorLogs 获取健康...
功能特性
修改专属集群任务的DU数 查看专属集群DU信息 磁盘变配 当专属集群的磁盘使用率过高，无法满足当前业务需求时，您可以对专属集群进行磁盘扩容操作，以确保当前专属集群的磁盘空间与您的业务需求相匹配。扩容专属集群节点磁盘空间 共享集群专...
创建ClickHouse数据源
若您要使用DataWorks进行ClickHouse集群任务的开发、管理，需先将您的ClickHouse集群创建为DataWorks的ClickHouse数据源。创建完成后，可在DataWorks的各功能模块使用该数据源连接ClickHouse集群，进行相应的数据同步、数据开发、数据分析...
数据传输的审计事件
ModifyDtsJobDedicatedCluster 迁移专属集群任务。ModifyDtsJobDuLimit 修改DTS任务DU上限。ModifyDtsJobMaxRetryTime 修改任务最大重试时间。ModifyDtsJobName 修改DTS作业名称。ModifyDtsJobPassword 修改DTS作业密码。...
功能特性
创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源并避免不必要的费用。释放集群 查看集群信息 查看您账号下拥有的集群概况和单个集群的详情。查看集群列表与详情 登录集群 通过与集群主节点建立SSH连接，您可以使用终端上...
手工缩容节点组
本文操作为最佳实践操作演示，请结合集群实际情况进行评估后谨慎操作，避免集群任务调度失败以及数据安全的风险。下线前准备 您可以根据集群服务负载情况，选择需要下线的节点。您需要计算待下线节点的规格，避免节点缩容后造成集群负载过...
历史功能发布记录（2022年）
全部 通过控制台管理多集群服务 2022年07月 功能名称 功能描述 发布地域 相关文档 集群任务 页上线 ACK集群上线 集群任务 页面。您可以在集群详情页面，单击 集群任务 页签查看。该页记录集群操作、节点池操作、组件相关操作的日志，用于事...
DataWorks On CDP/CDH使用说明
使用限制 仅支持使用独享调度资源组运行CDH或CDP集群任务。仅支持在DataWorks注册CDH5.16.2、CDH6.1.1、CDH6.2.1、CDH6.3.2、CDP7.1.7版本集群。仅支持华北2（北京）、华东2（上海）、华东1（杭州）、华南1（深圳）、华北3（张家口）、西南...
历史功能发布记录（2021年）
全部 创建节点池 ACK新配额管理 ACK加强配额展示和申请功能，细化增加了ACK托管集群、ACK专有集群、ACK Serverless集群、ACK Edge集群、注册集群等各项配额在控制台的展示以及在配额中心的申请入口。全部 使用限制 ACK Serverless集群 支持...
DescribeBackupTasks
调用DescribeBackupTasks接口查询集群的备份任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
DescribeBackupTasks
调用DescribeBackupTasks接口查询集群的备份任务详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
云原生AI套件开发者使用指南
本文以开源数据集fashion-mnist任务为例，介绍开发者如何利用云原生AI套件，在ACK集群运行深度学习任务，优化分布式训练性能，调试模型效果，并最终把模型部署到ACK集群中。背景信息 云原生AI套件包括一系列可单独部署的组件（K8s Helm ...
CreateDataTasks
调用CreateDataTasks，创建索引迁移任务，将所选集群中的数据迁移到当前集群。调用该接口前，需要注意：目前一键索引迁移功能仅支持华北2（北京）地域。源和目标端Elasticsearch集群需要满足：源端为6.7.0版本的自建或阿里云Elasticsearch...
Helm Release 部署
注意：Helm Release 发布只支持使用证书导入的 Kubernetes 集群 添加任务 如下所在，在流水线中添加任务并选择 Helm Release 部署任务 配置发布任务 首次使用 Kubernetes 相关部署的用户需要首先使用自定义建立集群连接：建立 Kubernetes ...
管理MSFE接入层集群
可选：单击 集群变更任务 右侧的 查看，可以暂停、跳过或关闭此创建任务。创建成功后，您可以在对应单元的页签中看到创建好的集群，且 集群变更任务 显示 结束。新增CLB 单击目标单元页签，然后在 MSFE集群 页面的 接入层CLB 区域，单击 ...
开通EMR Doctor（Hadoop集群类型）
开通影响 EMR Doctor功能不会影响您现有集群的任务，只进行必要的采集，例如任务metrics和event，然后在EMR后台进行分析和打分。在安装阶段，您是无感知的，并且不影响正在运行和将要运行的任务。安装过程中，由于EMR会对只保存而没有下发...
设置集群启停
如果您的集群处于非活跃状态（没有读写请求且没有Merge任务），您可以对集群执行暂停操作，集群将进入暂停状态，该状态下集群不使用计算资源且计算资源CCU为0，所以不产生计算费用。如果您的集群有任务任何读写请求或Merge任务时，您可以对...
API概览
数据传输服务DTS（Data Transmission Service）新版API接口。API 描述 CreateDtsInstance 购买DTS实例。ConfigureDtsJob 配置一个迁移或同步任务。ConfigureSubscription ...将专属集群的任务迁移至共享集群。创建报警规则。查询报警规则。
产品架构
实例接受应用系统/客户端的连接访问和读写请求，由集群执行任务，完成计算后，实例会返回结果给应用系统/客户端。集群 云数据库SelectDB版 集群，支持存算分离架构，多计算集群共享存储数据。云数据库SelectDB版 集群包括计算资源（vCPU、...
创建任务Job
创建完成后，由Fleet实例根据任务需要的资源和关联集群的剩余资源，执行动态调度策略，选择适合的关联集群下发任务，任务在关联集群上运行，并返回状态到Fleet实例。本文介绍如何在Fleet实例中创建任务Job。前提条件 已开启舰队管理功能。...
DescribeTask-查询任务信息
id A7FD7411-9395-52E8-AF42-EB3A4A55446D ClusterId string 集群 id i119982311660892626523 ClusterName string 集群名称 Standard_Cluster TaskState string 任务状态 枚举值：running：执行中。execution_success：执行成功。execution...
AI负载调度
本文介绍弹性资源调度、AI任务调度、异构资源调度和任务队列调度，帮助用户提升集群的资源利用率和作业运行效率。弹性调度 ACK为不同弹性资源提供了混合调度的能力。功能 描述 参考文档 弹性调度 阿里云提供了不同种类的弹性资源，如ECS和...
使用说明
Mars UI可以用于连接Mars集群，也可以用于查看集群、任务状态。提交作业 创建Mars集群时会设置默认Session，通过.execute()方法执行任务，任务会被自动提交至集群。import mars.dataframe as md import mars.tensor as mt md.DataFrame(mt....
注册集群概述
支持跨集群作业任务调度，提供面向多集群优化的TensorFlow、Spark、CronJob等作业任务分发和调度。AI推理：提供GPU共享，资源利用率可提高约300%。支持异构资源弹性伸缩，提供云上云下统一的弹性调度管理。CPU智能调度：针对裸机的智能CPU...
跨地域跨集群迁移应用
步骤二：在Cluster_BJ集群备份任务 关于备份任务的具体操作，请参见 创建备份计划或立即备份。重要 跨地域应用迁移场景仅支持无存储或仅使用阿里云云盘存储的应用，其他类型的有状态应用迁移时，请勿勾选备份存储卷，以避免跨地域恢复时...
查看集群日报与分析
计算任务信息 EMR Doctor采集计算任务，处理和分析后为您展示影响集群最重要的任务，您可以进行针对性的调优、处理，从而增强集群的计算效率，提升集群的使用率，达到增效的目的。目前支持任务算力内存时（GB*Sec）Top50和计算任务评分倒序...
容器服务Kubernetes版的审计事件
DescribeClusterTasks 查询集群的任务列表。DescribeClusterTokens 查询集群令牌。DescribeClusterUserKubeconfig 返回包含当前登录用户身份信息的Kubernetes集群访问配置。DescribeClusterV2UserKubeconfig 查询Kubernetes集群访问配置。...
GetDoctorReportComponentSummary-获取指定组件报告
indent：2em''>集群内存利用率为：47.8%偏低</p>","Suggestion":"计算健康度分数为 88，集群处于健康状态，继续保持 计算任务扫描 对集群中 1518 个计算任务进行了扫描，包含 209 个任务处于不健康状态，596 个任务处于亚健康状态，713 个...
创建ACS集群
ACS是以K8s为使用界面提供容器算力资源的云计算服务，提供符合容器规范的Serverless容器算力。ACS集群具备秒级伸缩能力，能够根据应用配置的CPU和内存资源量按需、按量付费，帮助您降低业务...任务日志 查看集群中任务的类型、状态、时间等。
功能特性
通过命令行管理多集群服务 多集群作业分发 通过ACK One Fleet实例，您可以使用和单集群相同的方式创建工作负载，例如Job、CronJob、Spark任务、Tensorflow任务等。Fleet实例会根据任务需要的资源和关联集群的剩余资源，执行动态调度策略，...
- 产品推荐
- 这些文档可能帮助您