Hive 资源发现
该文档描述了云迁移中心CMH的Hive调研服务的使用过程，通过这篇文档，将带您使用我们的工具hive-scanner，并且一步步完成hive的迁移对象发现。环境检查 在您执行 hive-scanner 之前，您需要提前完成前期的 hive调研工具准备。确保当前您...
版本功能对比
ARMS应用监控是一款面向应用性能管理的监控工具，结合了业界先进的分布式应用监控和链路追踪理论模型与阿里巴巴集团内部实践，为您提供更加全面的面向应用的实时监控服务。各版本的计费详情，请参见 ARMS定价详情。产品功能 基础版 专家版 ...
如何通过阿里云注册集群和Prometheus...多云容器集群监控
集成事件后管理更高效 告警管理默认支持一键化集成阿里云常见的监控工具，并支持更多的监控工具手动接入，方便统一维护。事件接入模块稳定，能提供7×24小时的无间断事件处理服务。处理海量事件数据时可以保证低延时。及时准确地将告警通知...
如何通过阿里云注册集群和Prometheus...多云容器集群监控
集成事件后管理更高效 告警管理默认支持一键化集成阿里云常见的监控工具，并支持更多的监控工具手动接入，方便统一维护。事件接入模块稳定，能提供7×24小时的无间断事件处理服务。处理海量事件数据时可以保证低延时。及时准确地将告警通知...
名词解释
故障 业务的规则会引起监控数据异常，监控工具检测到异常后会生成事件。[回到顶部]H 环比上升/下降%若β为最近N分钟的数据（可选择为平均值、总和、最大值和最小值），α为前2N分钟到前N分钟的数据，环比为β与α做比较。J 集成 大多数监控...
Hive数据迁移至MaxCompute
整体步骤 Hive资源对象发现 通过部署CMH的调研工具hive-scanner，进行Hive迁移对象的探索及资源导入，详见 Hive 资源发现。集群构建 您可以在云迁移中心（CMH）的资源列表中勾选多个资源完成集群的创建，详见 集群创建。迁移规划 基于MMA...
ARMS统一告警管理最佳实践
常用监控工具告警快捷接入能力 ARMS默认提供了云上云下多种监控系统的告警接入能力，可以参考 集成概述 进行快速接入。ARMS告警管理如何统一告警等级？ARMS中将告警分为P1、P2、P3、P4四个等级。通过配置映射表，将多个不同类型的等级归一...
Hive调研工具准备
该文档描述了云迁移中心CMH的Hive调研工具使用的准备工作，通过这篇文档，您将了解到工具安装和使用的限制条件。名词解释 工具服务器 表示用户安装Hive调研工具（简称hive-scanner）的机器。用户授权 Hive扫描工具（简称hive-scanner）需要...
Hive采集字段
该文档描述了云迁移中心CMH的Hive采集工具采集您的Hive的所有核心信息。简介 Hive采集工具通过访问Metastore DB 进行相关资源信息采集，当前支持的类型为MySQL数据库。基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive...
Hive服务异常排查及处理
如果服务正常则可查看HiveMetaStore或者HiveServer2在集群监控页Hive组件 HiveMetaStore 和 HiveServer2 关键指标监控项，根据指标项判断服务参数是否需要调整。具体操作，请参见 Hive巡检项及服务关键指标说明。可继续对HiveMetaStore或者...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
将监控数据导出到自建Prometheus
基于该场景，云监控推出了监控数据实时导出工具。该工具可以在客户的线下运行，根据配置实时获取云监控的监控数据，并持续写入本地Prometheus。方案优势 更快更实时的基于企业云监控的实时数据导出功能流式导出监控数据，无需担心数据丢失...
SmartData 3.5.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为...JindoFS工具集 增强JindoDistcp，支持通过阿里云监控（CloudMonitor）服务监控告警失败任务、移除了对AVX指令集的依赖、并新增使用冷归档方式写入OSS等功能，详情请参见 Jindo DistCp使用说明。
Hive巡检项及服务关键指标说明
HiveServer服务关键指标 可在集群监控页面查看Hive-HiveServer2的指标监控项。Session相关指标。OpenSessions和ActiveSessions：可查看当前打开或者活跃Sessions，判断Task在异常时间段是否过多，可根据需要调整内存应对。JVM相关指标。JVM...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
Hive数据源
背景信息 Hive是基于Hadoop的数据仓库工具，用于解决海量结构化日志的数据统计。Hive可以将结构化的数据文件映射为一张表，并提供SQL查询功能。Hive的本质是一个SQL解析引擎，其底层通过MapReduce实现数据分析，使用HDFS存储处理的数据，将...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 ...
API概览
脚本 API 标题 API概述 ListScripts 查询脚本 监控诊断 API 标题 API概述 ListDoctorHiveDatabases 批量获取 Hive 库信息 批量获取 Hive 库维度分析结果。GetDoctorHiveDatabase 获取Hive库信息 获取 Hive 库维度分析结果。...
功能特性
INSERT INTO导入 数据可视化 DMS数据可视化 云数据库 SelectDB 版采用MySQL网络连接协议，支持兼容MySQL生态的命令行工具、JDBC/ODBC驱动和可视化工具等连接云数据库 SelectDB 版实例。本文介绍如何通过DMS（Data Management Service）连接...
对接使用CDH与CDP
运维监控配置 CDH引擎的任务支持使用DataWorks运维中心的智能监控功能，通过自定义报警规则、配置任务告警，根据设置的报警规则自动触发任务运行异常报警。自定义报警规则操作可参见 规则管理，配置任务告警操作可参见 基线管理。数据质量...
Hive
我们提供了工具来读取你Hive服务所在的集群的配置，您可以按照下面的地址下载 spark-examples-0.0.1-SNAPSHOT-shaded.jar 并上传至OSS,然后提交Spark作业到您的 Hive 服务所在集群上执行，即可在作业输出中获得访问您Hive集群所需的配置。...
连接Kyuubi
使用Beeline连接Kyuubi 您可以用Hive Beeline或者Kyuubi Beeline工具（EMR集群上的工具名称为 kyuubi-beeline）连接Kyuubi Server。以下示例使用Kyuubi Beeline工具连接Kyuubi。方式一：使用Zookeeper连接Kyuubi服务（推荐）kyuubi-beeline...
SparkSQL UDF基础操作
使用Hive UDF 使用文件传输工具，上传生成的JAR包至集群任意目录（本文以test目录为例）。上传JAR包至HDFS或OSS（本文以HDFS为例）。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/...
MMA安装与配置
下载并安装与Hive版本对应的MMA工具。MMA工具获取途径请参见 MMA安装包。说明 本文示例对应的MMA版本为v3.0.0，对应的安装包为mma-3.0.0-hive3.jar。配置config.ini文件 您需要新建一个 config.ini 文件，文件示例及参数说明如下。示例文件...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
为适用于大数据分析场景，您需要准备以下工具和EMR集群：Hive TPC-DS Benchmark测试工具 该工具由Hortonworks开发，专为Hadoop生态系统中的Hive及Spark等组件定制，能够有效模拟大数据查询挑战，并支持在集群环境下生成和执行TPC-DS以及TPC...
依赖服务
为Java应用安装探针后，ARMS即可开始监控Java应用，您可以在 依赖服务 页面了解应用依赖服务的详情，包括外部调用、数据库调用和消息队列的详细信息。前提条件 重要 ARMS应用监控面向已开通新版计费的用户提供全新的监控详情页面，新版计费...
使用Prometheus监控E-MapReduce
步骤三：查看监控数据大盘 可观测监控 Prometheus 版 提供HOST、HDFS、Hive、YARN、Impala、ZooKeeper、Spark、Flink、ClickHouse等20多个Grafana大盘。在 集成中心 页面单击 已安装 区域的 E-MapReduce 组件卡片，然后在弹出的对话框中...
使用Prometheus监控E-MapReduce
步骤三：查看监控数据大盘 可观测监控 Prometheus 版 提供HOST、HDFS、Hive、YARN、Impala、ZooKeeper、Spark、Flink、ClickHouse等20多个Grafana大盘。在 集成中心 页面单击 已安装 区域的 E-MapReduce 组件卡片，然后在弹出的对话框中...
在EMR集群运行TPC-DS Benchmark
TPC-DS官方工具只包含SQL生成器以及单机版数据生成工具，并不适合大数据场景，所以本文教程中使用的工具和集群信息如下：Hive TPC-DS Benchmark测试工具。该工具是业界最常用的测试工具，是由Hortonworks公司开发，支持使用Hive和Spark运行...
使用Kerberos认证
方式一：直接使用 hive 命令访问Hive Client hive 方式二：使用Beeline访问Hive Client beeline-u"jdbc:hive2:/master-1-1:10000/;principal=hive/_HOST@EMR"相关文档 创建Principal的官方文档，请参见 Database administration。创建TGT的...
什么是应用监控
多维调用链分析 通过ARMS应用监控提供的调用链分析工具，您可以自由组合筛选条件与聚合维度对调用链进行实时分析，轻松应对查看耗时大于指定时间的慢调用时序分布，查看错误请求在不同机器上的分布，查看VIP客户的流量变化等典型的线上问题...
一次性拨测工具
在左侧导航栏，选择 网络分析与监控>一次性拨测工具。在 一次性拨测工具 页面，设置HTTP检测、Ping检测、DNS检测、MRT或路由追踪检测的相关参数。当您使用HTTP检测、Ping检测和DNS检测时，可以单击 高级配置，设置高级参数。关于高级参数的...
应用监控与可观测链路 OpenTelemetry 版的区别
产品对比 差异项 ARMS应用监控 可观测链路 OpenTelemetry 版 产品定位 APM工具类产品，包含应用性能监控、用户体验监控、调用链追踪和问题诊断等多项功能。专注分布式链路追踪，拥抱开源标准。探针提供方 阿里云 开源社区 探针SLA 支持 不...
创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
UDF（地理空间）
打开Git命令行工具，下载2.1.0版本Hive（对应Hadoop版本为2.7.2）下的地理空间UDF代码至本地，命令示例如下。git clone ...
Spark应用配置参数说明
Spark Jar开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"Notebook开发编辑器"key":"value""spark.sql.hive.metastore.version":"adb"spark-submit命令行工具 key=value spark.sql.hive.metastore.version=adb 指定...
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
创建EMR Hive节点
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句协助读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务...
开源支持
Data Collector是MaxCompute主要开源数据采集工具的集合，包括：Flume插件 OGG插件 Sqoop Kettle插件 Hive Data Transfer UDTF Flume和OGG插件是基于DataHub的SDK实现，而Sqoop、Kettle以及Hive Data Transfer UDTF是基于Tunnel的SDK实现。...
- 产品推荐
- 这些文档可能帮助您