使用Druid
使用Hadoop对批量数据创建索引 E-MapReduce Druid自带了一个名为wikiticker的例子，在${DRUID_HOME}/quickstart/tutorial 目录下（${DRUID_HOME} 默认为/usr/lib/druid-current）。wikiticker文件（wikiticker-2015-09-12-sampled.json.gz...
实践教程
前端监控 用ARMS前端监控诊断页面缓慢问题 用ARMS前端监控诊断JS错误 诊断网页加载过慢的问题 与可观测链路 OpenTelemetry 版前后端打通 其他更多操作请参见 前端监控最佳实践。用户体验监控 用户体验监控关联Trace 其他更多操作请参见 ...
通过PC端探测目标站点的网络质量
云监控通过站点监控的探测点（请求方）模拟最终用户的访问行为，从而获得各地域探测点到目标地址（监控地址）的访问数据。当您希望通过阿里云网络、运营商网络和海外云服务提供商网络探测目标站点时，用PC端探测。前提条件 请确保您已创建...
在ECI中访问HDFS数据
使用Hadoop、Spark等运行批处理作业时，可以选择文件存储HDFS作为存储。本文以Spark为例，演示如何上传文件到在HDFS中，并在Spark中进行访问。准备数据并上传到HDFS 开通HDFS。具体操作，请参见 开通文件存储HDFS版服务。创建文件系统。...
YARN高安全特性使用指南
YARN服务管理权限 默认高安全配置为 yarn.admin.acl=hadoop，其中 hadoop 前有单个空格，表示授权给hadoop组（EMR的服务启动Linux用户通常都是使用hadoop组）作为服务管理员。Hadoop中用户默认的组映射来自节点操作系统的组信息。说明 yarn...
注册EMR集群至DataWorks
EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿里云OSS和RDS等）进行数据传输。阿里云EMR提供了on ...
附录1 云产品监控指标
本文为您提供云监控中各阿里云产品的监控指标的使用说明及其索引表。说明 云监控包括基础云监控和企业云监控，关于二者的功能差异，请参见 基础云监控和企业云监控的差异。企业云监控的监控指标名称在基础云监控的监控指标名称的基础上进行...
Spark本地调试环境搭建
因为JindoSDK暂时不支持Windows系统和Mac M1系列，所以该类系统如果想在本地测试，可以使用 hadoop-aliyun，具体操作如下。在 pom.xml 中添加 hadoop-aliyun 相关的依赖。oss-><dependency><groupId>org.apache.hadoop</groupId>...
常见问题
本文介绍E-MapReduce Druid使用过程中遇到的一些常见问题以及解决方法。索引失败问题分析思路 当发现索引失败时，一般遵循如下排错思路：对于批量索引 如果curl直接返回错误，或者不返回，检查一下输入文件格式。或者curl加上-v 参数，观察...
测试环境
本次测试采用3种不同的测试场景，针对开源自建的Hadoop+Spark集群与阿里云云原生数据湖分析DLA Spark在执行Terasort基准测试的性能做了对比分析。本文档主要介绍了3种不同测试场景下的测试环境配置要求。环境配置要求 测试环境总体要求：自...
Hadoop DistCp介绍
集群之间的HDFS数据迁移需要先确保网络的打通，然后再使用Hadoop DistCp工具进行迁移，具体操作请参见 E-MapReduce数据迁移方案。出现ACLs not supported on at least one file system异常，如何处理？具体报错：org.apache.hadoop.tools....
Hudi
本文为您介绍如何使用Hudi连接器。背景信息 Apache Hudi是一种开源的数据湖表格式框架。Hudi基于对象存储或者HDFS组织文件布局，保证ACID，支持行级别的高效更新和删除，从而降低数据ETL开发门槛。同时该框架还支持自动管理及合并小文件，...
常见命令
您可以在已经创建好的E-MapReduce（简称EMR）集群中，直接使用Alluxio Shell命令来对Alluxio中的文件进行操作，也可以使用Hadoop Shell命令操作Alluxio中的文件。本文为您介绍Alluxio的常见命令。前提条件 已创建集群，并选择了Alluxio服务...
2023年
如何使用Prometheus监控TiDB 集成中心上线Nebula监控 新增 可观测监控 Prometheus 版 提供一键安装配置Nebula组件功能，并提供开箱即用的专属监控大盘。如何使用Prometheus监控Nebula 集成中心集成组件，自动创建默认告警规则 优化 自动...
如何使用Prometheus监控Nebula
本文介绍如何使用Prometheus监控Nebula。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。自建Prometheus观测Nebula的痛点 使用自建Prometheus监控VPC内ECS上自建Nebula时，可能面临的典型...
如何使用Prometheus监控Nebula
本文介绍如何使用Prometheus监控Nebula。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。自建Prometheus观测Nebula的痛点 使用自建Prometheus监控VPC内ECS上自建Nebula时，可能面临的典型...
实例监控
您可以在 实例监控 页面了解应用实例的请求数、错误数、平均耗时和慢调用等基本信息，以及接收的包数、TCP RTT、重传次数、TCP Drop次数和发送的包数等网络信息。功能入口 登录 ARMS控制台，在左侧导航栏单击 应用监控 eBPF 版>应用列表。...
如何使用Prometheus监控TiDB
本文介绍如何使用Prometheus监控TiDB。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。自建Prometheus观测TiDB的痛点 使用自建Prometheus监控VPC内ECS上自建TiDB时，可能面临的典型问题有...
如何使用Prometheus监控TiDB
本文介绍如何使用Prometheus监控TiDB。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。自建Prometheus观测TiDB的痛点 使用自建Prometheus监控VPC内ECS上自建TiDB时，可能面临的典型问题有...
概览
应用分组提供跨云产品、跨地域的云产品资源分组管理功能，支持用户从业务角度集中管理业务线涉及到的服务器、数据库、负载均衡、...推荐您使用云监控中的Kubernetes容器监控功能，查看容器服务Kubernetes的监控数据。更多信息，请参见 概览。
如何使用Prometheus监控Kafka
本文介绍如何使用Prometheus监控阿里云kafka及自建Kafka。自建Prometheus观测Kafka的痛点 使用自建Prometheus观测Kafka，可能面临的典型问题有以下几点：由于安全、组织管理等因素，您的业务通常部署在多个相互隔离的VPC，因此这需要您在多...
如何使用Prometheus监控Kafka
本文介绍如何使用Prometheus监控阿里云kafka及自建Kafka。自建Prometheus观测Kafka的痛点 使用自建Prometheus观测Kafka，可能面临的典型问题有以下几点：由于安全、组织管理等因素，您的业务通常部署在多个相互隔离的VPC，因此这需要您在多...
什么是云监控
云监控为云上用户提供开箱即用的企业级开放型一站式监控解决方案。云监控涵盖IT设施基础监控和外网网络质量拨测监控，是基于事件、自定义指标和日志的业务监控，为您全方位提供更高效、全面、省钱的监控服务。使用云监控，不但可以帮助您...
数据库分析
您可以在 数据库分析 页面查看异常分析，从而了解应用的异常情况。前提条件 请在 容器服务管理控制台 的 组件管理 中...联系我们 如果您在使用应用监控 eBPF 版中有任何问题，请联系应用监控 eBPF 版答疑钉钉群（群号：35568145）获取帮助。
政务舆情分析系统的数据库解决方案
在时下互联网信息的浪潮下...DataV：舆情分析产生的爆表数据、用户情感数据等统计结果是非常庞杂的数据，要快速掌握其动态发展需要有图形化的展现，阿里云DataV可以简单快速的进行业务监控、风险预警、舆情信息分析，满足多种业务的展示需求。
Ambari与文件引擎集成
Ambari提供Hadoop组件的安装、运维、监控等功能，您可以使用Ambari管理您的Hadoop集群。本文介绍如何将Ambari与Lindorm文件引擎集成，来替换底层HDFS存储。您可以基于Ambari+Lindorm文件引擎构建云原生存储计算分离的开源大数据系统。前提...
2023年
2023年12月 模块 功能名称 变更类型 功能描述 相关文档 应用监控 告警规则 优化 针对JVM监控提供更丰富的告警规则。告警规则指标说明 应用监控 控制台 新增 全新控制台全量上线，提供更精细的场景化可观测能力、更强大的链路查询分析能力。...
通过命令行（CLI）上报监控数据
本文为您介绍通过命令行上报监控数据的配置方法。授权云监控管理权限 云监控支持使用阿里云账号和RAM用户上报监控数据。当RAM用户使用AccessKey上报监控数据时，需要授权云监控的管理权限。操作方法如下：使用阿里云账号登录 RAM控制台。...
如何使用Prometheus监控MySQL
本文介绍如何使用Prometheus监控MySQL。前提条件 已创建Prometheus实例，具体操作，请参见：Prometheus实例 for 容器服务 Prometheus实例 for ECS 已获取MySQL实例连接信息，包括MySQL地址、MySQL端口、用户名和密码。步骤一：接入MySQL...
2021年
2021-08-19 不涉及 v2.8.1.2 Kubernetes监控 告警配置 阿里云 Kubernetes监控 提供开箱即用的告警模板，您可以根据预置的告警模板创建告警规则，也可以自定义针对特定Kubernetes集群的告警规则。更多信息，请参见 Kubernetes监控。2021-08-...
最佳实践概览
通过ES-Hadoop将HDFS中的数据写入Elasticsearch 通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据 日志采集与分析 日志同步分析概述 通过自建Filebeat收集MySQL日志 使用阿里云Elasticsearch监控RabbitMQ 使用Filebeat+Kafka+Logstash+...
实例监控
为Java应用安装探针后，ARMS即可开始监控Java应用，您可以在 实例监控 页面了解应用的基础监控、实例GC和JVM内存等信息。前提条件 重要 ARMS应用监控面向已开通新版计费的用户提供全新的监控详情页面，新版计费详情，请参见 产品计费（新版...
如何使用Prometheus监控MySQL
本文介绍如何使用Prometheus监控MySQL。前提条件 已创建Prometheus实例，具体操作，请参见：Prometheus实例 for 容器服务 Prometheus实例 for ECS 已获取MySQL实例连接信息，包括MySQL地址、MySQL端口、用户名和密码。步骤一：接入MySQL...
如何使用Prometheus监控Windows
本文介绍如何使用Prometheus监控Windows。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。Windows Metric监控参考模型 ...
如何使用Prometheus监控Windows
本文介绍如何使用Prometheus监控Windows。前提条件 已将VPC实例接入 可观测监控 Prometheus 版。具体操作，请参见 Prometheus实例 for ECS。使用限制 目前仅Prometheus实例 for ECS类型实例支持该组件接入。Windows Metric监控参考模型 ...
迁移Hadoop文件系统数据至JindoFS
迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs-cp oss:/oss_bucket/README.md jfs:/emr-jfs/DistCp 对于文件较多...
常见问题
本文汇总了YARN使用时的常见问题。集群问题汇总 集群有状态重启包括哪些内容？如何启用RM HA？如何检查ResourceManager服务是否正常？如何了解应用运行状况？应用问题排查流程 单任务/容器（Container）最大可用资源由哪些配置项决定？资源...
Credential Provider使用说明
您可以通过使用Hadoop Credential Provider将加密后的AccessKey信息存入文件，从而避免配置明文AccessKey，根据不同情况选择合适的JindoOSS Credential Provider。配置JindoOSS Credential Provider 进入SmartData服务。登录 阿里云E-...
Hadoop
本文主要介绍如何使用DLA Spark访问用户VPC中的HADOOP集群（开启kerberos认证的集群暂不支持）。前提条件 您已开通数据湖分析DLA（Data Lake Analytics）服务。如何开通，请参见 开通云原生数据湖分析服务。您已登录云原生数据库分析DLA...
2022年
v2.8.5.1 新增性能监控套件和集群事件采集组件接入功能 新增接入集群事件采集、CoreDNS性能监控、Ingress性能监控、工作负载性能监控。更多信息，请参见 性能监控套件和集群事件采集说明。v2.8.5.1 Prometheus实例 for 容器服务新增包年...
- 产品推荐
- 这些文档可能帮助您