迁移服务（MMA）
步骤一：安装UDTF 使用MaxCompute迁移功能时，需要在Hive服务器上安装UDTF（Unified Data Transfer Service）并自定义Hive UDTF函数，利用Hive UDTF函数来获取、转换、上传数据到MaxCompute，以实现复杂数据的迁移。关于Hive UDTF详情，请...
Hive调研工具准备
运行环境准备 服务器选择 Hive扫描工具（简称hive-scanner）需要安装和运行在工具服务器上，工具服务器需要与Hive 集群的metastore db环境互通。规格系统 此外工具服务器需要至少 2C4G 的机器规格，对于操作系统没有依赖。环境依赖 hive-...
Hive数据迁移
hive.keytab⽂件。gss-jass.conf⽂件。说明 gss-jass.conf中含有keytab⽂件的路径，要确保其与MMA所在服务器上的hive.keytab⽂件路径⼀致。krb5.conf⽂件。说明 krb5.conf中含有KDC地址，MMA所在服务器要能够访问该地址。操作步骤 添加数据...
Windows 2008系统蓝屏提示“the ...hive file”错误
解决方案 首先 挂载 PE 盘，然后启动服务器。进入 C:\Windows\System32\config\ 目录中，将SOFTWARE文件进行备份。然后从 C:\Windows\System32\config\RegBack 目录中，复制SOFTWARE文件到上级目录，如下图所示。适用于 云服务器ECS
使用Prometheus监控E-MapReduce
Hive由HiveServer2（HiveQL查询服务器）、Hive MetaStore（元数据管理模块）和Hive Client构成，其指标包括HiveMetaStore和HiveServer2。HiveMetaStore 指标 说明 hive_memory_heap_max JVM最大可用堆内存，单位：Byte。hive_memory_heap_...
使用Prometheus监控E-MapReduce
Hive由HiveServer2（HiveQL查询服务器）、Hive MetaStore（元数据管理模块）和Hive Client构成，其指标包括HiveMetaStore和HiveServer2。HiveMetaStore 指标 说明 hive_memory_heap_max JVM最大可用堆内存，单位：Byte。hive_memory_heap_...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
Hive概述
Hive结构 名称 说明 HiveServer2 HiveQL查询服务器，可以配置为Thrift或者HTTP协议，接收来自JDBC客户端提交的SQL请求，支持多客户端并发以及身份验证。Hive MetaStore 元数据管理模块，此模块被其他引擎所依赖，用于存储Database和Table等...
Hive 资源发现
确保当前您工具服务器的工作目录如下：|-hive-scanner/|-application.yml|-hms-data-scan-0.0.1-SNAPSHOT.jar|-start.sh 工具执行 1、编辑application.yml 配置文件 修改 url、username、password、exportFilePath、HiveServerIp 五个参数 ...
通过命令行方式连接Trino
presto-server emr-header-1:9090-catalog hive-schema default-user hadoop 命令中的参数说明如下：server emr-header-1:9090：指定Presto服务器的地址和端口号。catalog hive：指定要连接的数据源的名称。本文示例中，数据源是Hive。如果...
Hive指标
Hive指标包含以下部分：HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位：Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
EMR Hive功能增强
本文为您介绍E-MapReduce（简称EMR）各版本对应的Hive组件版本，以及各版本中Hive相对开源增强的功能。Hive针对开源功能增强的功能如下表。EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令...
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive Catalog。创建Hive Catalog 语法 CREATE EXTERNAL CATALOG<catalog_name>PROPERTIES("key"="value",.);参数说明 catalog_name：Hive Catalog的名称，必...
Hive数据源
Hive Catalog是一种External Catalog。通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见 ...
使用Hive访问
nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service metastore&nohup/usr/local/apache-hive-2.3.7-bin/bin/hive-service hiveserver2&验证Apache Hive 在hive Shell中创建一张表。create table test(f1 INT,f2 STRING);在表中写入...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
Hive访问EMR HBase数据
在阿里云E-MapReduce（EMR）中，Hive支持通过内部表和外部表两种方式来访问和处理存储在HBase中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR HBase数据。前提条件 已创建选择了Hive、HBase和Zookeeper服务的自定义集群...
普通模式和Hive兼容模式下SQL的差异
本文为您介绍MaxCompute中运算符、类型转换和内建函数分别在普通模式和Hive兼容模式下使用的区别。运算符 BITAND（&）当输入参数是BIGINT类型的时候，如果BITAND的计算结果是LONG_MIN(-2 63)，在普通模式下会返回NULL，而Hive模式仍然是...
Hive作业异常排查及处理
hadoop fs-cp hdfs:/emr-header-1.xxx/old/path oss:/bucket/new/path hive-e"create table new_tbl like old_tbl location 'oss:/bucket/new/path'"Hive UDF和第三方包 Hive lib目录下放置三方包导致冲突 原因分析：在Hive lib目录（$HIVE...
LIST FUNCTIONS
查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
访问Hive数据源
AnalyticDB MySQL湖仓版（3.0）支持访问Hive数据源。本文以E-MapReduce集群的Hive服务为例，介绍使访问Hive数据的方法。前提条件 已创建AnalyticDB MySQL湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0）集群。已创建数据库账号。...
UDF示例：兼容Hive
本文以在MaxCompute客户端操作为例，为您介绍如何使用在MaxCompute兼容的Hive版本上开发的Hive UDF。前提条件 已安装MaxCompute客户端。更多安装操作，请参见 安装并配置MaxCompute客户端。注意事项 使用兼容的Hive UDF时，您需要注意：在...
Hive开发手册
本文介绍如何在E-MapReduce集群中开发Hive作业流程。在Hive中使用OSS 在Hive中读写OSS时，先创建一个external的表。CREATE EXTERNAL TABLE eusers(userid INT)LOCATION 'oss:/emr/users';使用示例 Hive作业流程示例如下：示例1 编写如下...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake集群。详细步骤，请参见 创建集群。已创建与EMR在同一地域下且共用VPC的HBase实例。说明 ...
EMR Gateway升级EMRHOOK组件
hive-site.xml(/etc/taihao-apps/hive-conf/hive-site.xml)配置项：hive.aux.jars.path 配置值末尾添加（注意分隔符是逗号）,/opt/apps/EMRHOOK/emrhook-current/${hive-jar} 配置项：hive.exec.post.hooks 配置值添加 ...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive访问EMR Phoenix数据
在阿里云E-MapReduce（EMR）中，Hive支持通过配置外部表来访问和处理存储在Phoenix系统中的数据。本文通过示例为您介绍，如何使用EMR上的Hive处理EMR Phoenix数据。前提条件 已创建选择了Hive、HBase、Zookeeper和Phoenix服务的自定义集群...
Paimon与Hive集成
E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
配置Hive输入组件
Hive输入组件用于读取Hive数据源的数据。同步Hive数据源的数据至其他数据源的场景中，您需要先配置Hive输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置Hive输入组件。使用限制 Hive输入组件支持数据格式为 orc、...
Hive数据脱敏
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop...
- 产品推荐
- 这些文档可能帮助您