API概览
云原生数据库PolarDB 提供以下相关API接口。地域 API 描述 DescribeRegions 该接口...DescribeDBClusterMonitor 该接口用于查询 PolarDB 集群的监控数据采集频率。ModifyDBClusterMonitor 该接口用于修改 PolarDB 集群的监控数据采集频率。
云监控控制台查看监控
本文介绍如何在云监控控制台上查看 云数据库ClickHouse 集群的监控信息。操作步骤 登录 云监控控制台。在左侧导航栏，单击 云产品监控。在 云产品监控 页面，单击 数据库。在 数据库 区域，选择 云数据库ClickHouse 或 云数据库ClickHouse...
HAS Kerberos认证使用方法
前提条件 已创建EMR-3.40及之前版本，EMR-4.10.1及之前版本的Hadoop集群，详情请参见 创建集群。通过hadoop命令访问HDFS 以test用户访问HDFS服务为例介绍。在Gateway节点配置 krb5.conf 文件。scp root@emr-header-1:/etc/krb5.conf/etc/...
使用云原生AI监控大盘
云原生AI的监控组件能够帮助您从不同的维度（比如：集群、节点、训练任务等）监控集群的GPU资源使用情况，以及集群的各命名空间下的资源配额使用情况。本文分别从集群、节点、训练任务和资源配额维度介绍监控大盘，以及介绍如何安装和使用...
样例代码
request.set_InstanceIdList(["i-1*","i-2*"])#可开启YARN Decommission，目前只允许对HADOOP集群的Task组开启。request.set_EnableGracefulDecommission(True)#优雅下线超时时长，单位为秒。不填写时默认超时时间为3600s。request.set_...
如何通过阿里云注册集群和Prometheus...多云容器集群监控
容器集群可观测现状 随着Kubernetes（K8s）容器编排工具已经成为事实上行业通用技术底座，容器集群监控经历多种方案实践后，Prometheus最终成为容器集群监控的事实标准。Prometheus可有效监控系统层指标、应用层指标、业务层指标等，采集...
如何通过阿里云注册集群和Prometheus...多云容器集群监控
容器集群可观测现状 随着Kubernetes（K8s）容器编排工具已经成为事实上行业通用技术底座，容器集群监控经历多种方案实践后，Prometheus最终成为容器集群监控的事实标准。Prometheus可有效监控系统层指标、应用层指标、业务层指标等，采集...
K8s集群运维管理最佳实践
集群监控 此处仅介绍Prometheus监控、Node节点监控和收集集群日志，如需了解更多的集群监控相关信息，请参见 可观测性体系概述。查看Prometheus监控指标，对节点和工作负载添加报警。为Node节点开启云监控，对ECS的资源使用率添加报警。...
常见问题
这是因为EMR的Hadoop集群配置了lzo压缩。解决方法：拷贝 EMR$HADOOP_HOME/lib 下的JAR包和 native 文件夹到E-MapReduce Druid的druid.extensions.hadoopDependenciesDir（默认为$DRUID_HOME/hadoop-dependencies）。索引时提示如下错误：...
从自建HDFS迁移数据
检查自建的Hadoop集群和Lindorm文件引擎的连通性。在自建的Hadoop 集群上执行以下命令测试集群的连通性。hadoop fs-ls hdfs:/${实例Id}/其中${实例Id}请根据您的实际情况进行修改。如果可以正常查看到文件引擎的文件列表，则表示集群连通...
首次使用容器服务Kubernetes版
AliyunCSManagedCmsRole ACK托管集群 和 ACK Serverless集群 的监控组件使用该角色访问您在CMS、SLS服务中的资源。AliyunCSManagedLogRole ACK托管集群 和 ACK Serverless集群 的日志组件使用该角色访问您在SLS服务中的资源。...
查看服务监控和节点状态
E-MapReduce（简称EMR）上的StarRocks集群提供了完善的监控体系，分为服务监控和节点状态两个维度。本文为您介绍如何查看服务监控和节点状态。查看服务监控 进入指标监控页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域...
API概览
DescribeDBClusterMonitor 查询集群监控数据采集频率 查询PolarDB集群的监控数据采集频率。ModifyDBClusterMonitor 修改集群监控数据采集频率 修改PolarDB集群的监控数据采集频率。PolarDB for AI API 标题 API概述 DescribeAITaskStatus ...
创建集群
Name String 是 bi_hadoop 集群的名字。长度限制为 1~64 个字符，只允许包含中文、字母、数字、短划线（-）、下划线（_）。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 查看最新的阿里云地域列表。UserInfo.N....
搭建与管理（基于Hadoop）
HMS服务地址 目标Hadoop集群的Active和Standby NameNode的Hive元数据服务地址和端口号（端口号通常是9083）。具体详情，请您联系Hadoop集群管理员获取。集群名称 在Hadoop集群高可用环境下用于指代NameNode的名称。自构建Hadoop集群场景下...
首次使用容器计算服务
阿里云可观测监控Prometheus版 https://www.aliyun.com/product/developerservices/prometheus 建议项 基于Prometheus实现对ACS集群的监控和告警。NAS文件存储 https://www.aliyun.com/product/nas 可选项 基于NAS实现集群应用数据的文件...
ACK One概述
全局监控：多集群监控大盘，一个监控大盘查看所有集群的监控指标。多集群舰队相关文档，请参见 多集群舰队概述。分布式工作流Argo集群 分布式工作流Argo集群采用无服务器模式，使用阿里云弹性容器实例ECI运行离线工作流。成本优化：控制面...
云产品资源计费
计费概述 阿里云可观测监控 Prometheus 建议项 基于Prometheus实现对集群的监控和告警。更多信息，请参见 什么是Prometheus监控。支持 说明 更多信息，请参见 计费概述。不支持 按量计费 应用型负载均衡 ALB 建议项 基于阿里云应用型负载...
MaxCompute+Hadoop搭建实践
MaxCompute与Hadoop集群所在的VPC必须部署在同一地域。准备Hadoop数据源 创建Hadoop集群，具体操作请参见 开通阿里云EMR服务。进入Hive准备数据。使用Workbench方式登录集群主节点后，在终端界面输入如下命令：[has@emr-header-1 root]$...
查看服务监控指标
单击上方的 集群监控 页签。单击 指标监控 页签。在 指标监控 页面的 Dashboard 下拉框中，选择您需要展示的服务大盘。您可以进行以下操作：查看指标含义：您可以将鼠标悬浮至每个指标的 图标上，查看图表内指标的含义。按节点展示指标：...
集群存储根路径没有权限，导致集群服务启动失败的问题
问题详情 在E-MapReduce控制台，集群的Hadoop-Common服务 状态 页面的 健康检查项 区域，查看异常状态的检查结果，显示信息中包含[hadoop_fs_availability]DefaultFS is unable to access，将鼠标悬浮至 图标时，提示 fs.defaultFS不可访问...
创建专属块存储集群
在集群详情页面的 集群监控 页签中查看集群容量的使用情况。修改集群信息：在集群 操作 列选择>修改名称。相关文档 创建专属块存储集群：CreateDedicatedBlockStorageCluster 查询专属块存储集群列表：...
创建集群
Zookeeper：提供独立的分布式一致性锁服务，适用于大规模的Hadoop集群、HBase集群和Kafka集群。Presto：是基于内存的分布式SQL交互式查询引擎。支持多种数据源，适合PB级海量数据的复杂分析，以及跨数据源的查询。（可选）高级设置 配置项 ...
计费说明
概览 阿里云Prometheus 建议项 基于Prometheus实现对ACK集群的监控和告警。更多信息，请参见 什么是。支持 说明 更多信息，请参见 计费概述。不支持 按量计费 NAT网关服务 可选项 用于为集群开启公网访问和公网镜像拉取。更多信息，请参见 ...
全局监控
施压机监控 在 施压机监控 的 集群监控 区域，查看集群整体带宽、CPU和内存资源水位。如果带宽达到上限，施压机可能成为性能瓶颈，影响压测业务的监控指标。此时，需要扩展施压机数量，降低施压集群负载。集群垃圾回收次数也可以作为集群...
Spark Load
Spark Load支持Kerberos认证 如果是Spark Load访问带有Kerberos认证的Hadoop集群资源，您只需要在创建Spark resource的时候指定以下参数即可：broker.hadoop.security.authentication：指定认证方式为kerberos。broker.kerberos_principal...
监控作业
前提条件 支持作业监控的集群需满足以下条件：调度器为PBS。客户端版本为1.2.16及以上版本。操作步骤 登录 弹性高性能计算控制台。在顶部菜单栏左上角处，选择地域。在左侧导航栏，选择 作业与性能管理>作业。在 作业 页面，选择目标集群，...
事件监控
您可以通过使用NPD结合SLS的Kubernetes事件中心、配置NPD集群检查项以及异常事件离线功能、使用钉钉、使用SLS离线Kubernetes事件及使用EventBridge离线Kubernetes事件，实时监控集群的异常与问题。费用说明 ACK事件监控功能默认上报集群...
数据源
本文将解答与数据源相关的问题。Q：Databricks数据洞察的支持哪些数据源？目前支持读写阿里云对象存储（OSS）的数据。Q：是否支持当前的DDI集群访问其他集群的HDFS数据？支持访问同账号下的EMR Hadoop集群上的HDFS数据。
快捷模式与安全模式差异比对
说明 Hadoop用户拥有Hadoop集群的所有权限，请谨慎授权。适用于对任务执行者数据权限无强管控要求的工作空间。安全模式 用于实现更具安全性的数据权限管理。使用该模式绑定EMR引擎时，阿里云主账号或RAM用户在下发代码的同时，DataWorks会...
全局监控
ACK One舰队的全局监控基于单集群Prometheus的监控指标，聚合汇总多个集群的监控指标，并提供多集群全局的监控大盘，让您可以在一个监控大盘上获取多个集群的监控指标。本文介绍如何开启舰队的全局监控并查看全局监控信息。前提条件 已开启...
数据湖集群
与Hadoop集群的主要差异 模块 功能项 数据湖集群 Hadoop集群 集群 集群创建时间 平均时间小于5分钟。平均时间小于10分钟。集群节点组新增节点 平均时间小于3.5分钟。平均时间小于10分钟。开放API 支持。支持。域名支持 Private Zone。hosts...
修改集群名称
Name String 是 bi_hadoop 集群新的名称，要求和创建集群时一致。长度限制为1-64个字符，只允许包含中文、字母、数字、短划线（-）和下划线（_）。RegionId String 是 cn-hangzhou 地域ID。您可以调用 DescribeRegions 接口查看最新的阿里...
异构数据源访问
准备测试数据集 准备测试数据集，并执行 hadoop fs-put<本地文件名称><文件保存在Hadoop集群的路径>命令将数据集保存在Hadoop集群路径。例如，将本地文件/home/user/file.txt 上传到HDFS的/tmp 目录下，执行 hadoop fs-put/home/user/file....
Hadoop Streaming
前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下命令，打开文件 mapper.py。vim/home/hadoop/mapper.py 按...
查看Presto监控
DLA提供了Presto虚拟集群的性能监控功能，本文介绍如何通过DLA管理控制台查看集群的资源监控。前提条件 您已经成功...类别 监控项 说明 集群监控 Cluster CPU Usage Presto集群的CPU使用率。Cluster Memory Usage Presto集群的内存使用率。
查看Spark监控
说明 集群监控 的监控项详情请参见 监控项说明。查看作业监控 您可以通过作业列表或者作业尝试列表查看作业监控。作业列表查看作业监控。登录 Data Lake Analytics管理控制台。单击 Serverless Spark>作业管理。在 作业列表 中，单击目标...
容器可观测
方式二：在ARMS或Prometheus控制台查看 您也可以登录应用 实时监控服务ARMS 控制台或者 Prometheus监控服务 控制台查看集群的监控大盘。下面以ARMS控制台为例：登录 ARMS控制台。在左侧导航栏单击 接入管理。在 接入管理 页面，单击 大盘...
容器可观测
方式二：在ARMS或Prometheus控制台查看 您也可以登录应用 实时监控服务ARMS 控制台或者 Prometheus监控服务 控制台查看集群的监控大盘。下面以ARMS控制台为例：登录 ARMS控制台。在左侧导航栏单击 接入管理。在 接入管理 页面，单击 大盘...
公告：容器服务Kubernetes版监控功能调整通知
变更说明 容器服务Kubernetes版调整云监控的监控功能后，您在 容器服务管理控制台 上新创建的集群默认关闭 metrics-server 组件的云监控功能，您无法通过 云监控控制台 监控该集群，即该集群的相关监控指标无数据。对您的影响 您需要开启...
- 产品推荐
- 这些文档可能帮助您