使用Hive访问
本文介绍如何使用Hive访问文件引擎。准备工作 开通文件引擎，详情请参见 开通指南。在计算节点上安装JDK，版本不能低于1.8。下载Apache Derby，下载地址为 官网地址，本文中使用的Apache Derby 版本为10.13.1.1。下载Hive压缩包，下载地址...
使用Hive查询JindoFS上的数据
默认情况下，创建Database不是必须指定Location，默认会使用hive-site中hive.metastore.warehouse.dir的值加上database的名字作为路径。通过下面的命令可以指定Database的Location到JindoFS：创建Database时指定Location到JindoFS。CREATE ...
使用Hive连接器读取DLF数据表
本文为您介绍如何使用Hive连接器读取DLF数据表。前提条件 已在EMR on ACK控制台上创建Presto集群，详情请参见 创建集群。操作步骤 进入catelog-hive.properties页签。登录 EMR on ACK控制台。在 集群管理 页面，单击目标集群所在行的 配置...
使用Hive在EMR集群中创建OSS表
本文介绍如何使用Hive在EMR集群中创建OSS表。背景信息 在EMR集群中各引擎通常使用集群角色访问其他产品的数据以及服务，例如OSS Bucket数据。在访问之前确定集群角色是否有权限访问对应的产品，即如果集群角色具备相应产品的RAM访问权限，...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
使用Hive搭建离线数仓时，随着数据量的不断增长，传统的基于HDFS存储的数仓可能无法以较低成本满足用户的需求。在这种情况下，您可以使用OSS-HDFS服务作为Hive数仓的底层存储，并通过JindoSDK获得更好的读写性能。前提条件 已创建ECS实例。...
Hive使用扩展记录数据血缘和访问历史
EMR-5.16.0及之后版本、EMR-3.50.0及之后版本，不仅实现了上述参数在Gateway节点上的同步，还引入了新的参数 hive_aux_jars_path_gateway_only，允许您在Gateway节点上独立使用自定义扩展的JAR文件来增强功能。注意事项 EMR-5.14.0之前版本...
Spark/Hive/HDFS使用JindoSDK访问OSS-HDFS服务
ls oss:/examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ # 使用Hadoop distcp上传hdfs文件到oss hadoop distcp-skipcrccheck/warehouse/tablespace/external/hive/oss:/<yourBucketName>.<yourBucketEndpoint>/<path>/使用Hive访问OSS-...
通过Hive连接并使用宽表引擎
本文主要介绍如何通过Hive访问Lindorm宽表。前提条件 宽表引擎为2.4.3及以上版本。如何查看或升级当前版本，请参见 宽表引擎版本说明 和 升级小版本。已将客户端IP地址添加至Lindorm白名单。如何添加，请参见 设置白名单。已获取宽表引擎的...
Quick BI连接Hive数据源，用户名密码没有修改，过一段...
问题原因 经过确认，通过Kerberos认证连接的Hive数据源，但是没有将容器内的kerberos目录挂载到宿主机内，保留配置文件导致。解决方案 需要联系运维同学执行挂载kerberos目录的操作，不然每次容器重启后，hive数据源的账号密码就会需要重新...
使用EasyRec读取Hive表
使用./ml_on_ds/testdata/dssm_hiveinput/dssm_hive_csv_input.config 或 dssm_hive_parquet_input.config 作为 easyrec_model.config。yes|cp./testdata/dssm_hiveinput/dssm_hive_csv_input.config./easyrec_model.config easyrec_model....
Hive Metastore使用加密文件访问RDS
DataLake或Custom集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hive$HIVE_CONF_DIR/hive.jceks Hadoop集群类型 sudo mv/tmp/hive.jceks$HIVE_CONF_DIR sudo chown hadoop$HIVE_CONF_DIR/hive.jceks 在EMR控制台目标集群Hive...
使用基于OSS创建的Hive外部表进行离线集成
配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的 core-site.xml 配置文件中配置相关参数并上传。如果Dataphin和OSS在同一个地域region下，core-site.xml 需要配置 fs.oss.endpoint 参数。如果Dataphin和OSS为跨地域region，除...
使用基于OSS创建的Hive外部表进行离线集成
配置说明 使用该功能需要您先在Hive数据源或者Hadoop计算源的 core-site.xml 配置文件中配置相关参数并上传。如果Dataphin和OSS在同一个地域region下，core-site.xml 需要配置 fs.oss.endpoint 参数。如果Dataphin和OSS为跨地域region，除...
Hive
本文为您介绍如何在Zeppelin中使用Hive。背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。您无需配置，所有配置都是自动完成。Zeppelin的Hive解释器提供以下主要功能：支持任何Hive SQL语句（包括DDL和DML...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
本文介绍如何使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS。前提条件 已部署JindoSDK。EMR环境，默认已安装JindoSDK，可以直接使用。说明 访问OSS-HDFS，需创建EMR-3.42.0及以上版本或EMR-5.8.0及以上版本的集群。非EMR环境，需先...
Hive
class com.aliyun.spark.util.GetConfForServerlessSpark --deploy-mode client /{path/to}/spark-examples-0.0.1-SNAPSHOT-shaded.jar get --hive-conf-dir </path/to/your/hive/conf/dir>hive hadoop 编写访问Hive的SparkApplication。...
Hive
Hive是Hadoop生态系统中的一个被广泛使用的数据仓库工具，主要用来进行Hadoop中的大规模数据的提取、转化、加载、查询和分析等操作。Hive数据仓库工具能将存储在HDFS系统中的结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将...
Hive数据源
hive.metastore.type 否 配置MetaStore类型，默认为空，表示使用Hive MetaStore的元数据。当需要使用DLF的元数据时，请设置参数值为 dlf。dlf.catalog.id 否 DLF数据目录ID。仅当 hive.metastore.type 配置为 dlf 时需要填写该参数。如果未...
Hive数据源
hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/<Hive metastore的IP地址>:<端口号>，端口号默认为9083。DLF 使用DLF查看数据源，详情请参见 使用DLF元数据。示例 以下示例创建了一个名为 hive_catalog 的Hive Catalog。...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
管理Hive Catalog
本文将从以下方面为您介绍如何管理Hive Catalog：配置Hive元数据 创建Hive Catalog 使用Hive Catalog 查看Hive Catalog 删除Hive Catalog 前提条件 在使用Hive MetaStore或阿里云DLF作为Hive Catalog元数据中心前，需要完成以下配置：使用...
Hive数据源
除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为元数据存储的系统。注意事项 支持Hive1、Hive2、Hive3版本。支持Managed Table和External Table，...
Hive作业配置
E-MapReduce默认提供了Hive环境，您可以直接使用Hive来创建和操作创建的表和数据。前提条件 已创建好项目，详情请参见 项目管理。已准备好Hive SQL的脚本，并上传到OSS的某个目录中（例如 oss:/path/to/uservisits_aggre_hdfs.hive）。...
Hive数据源
连接串模式 使用DLF的配置 如果您的Hive数据源元数据管理方式使用的是DLF方式，您需要在配置Hive数据源时 扩展参数 一栏中增加如下内容：{"dlf.catalog.id":"my_catalog_xxxx"} 其中 my_catalog_xxxx 是您在EMR的Hive配置参数 dlf.catalog....
注册Hive Kerberos集群
注意事项 如果您不需要再使用Hive Kerberos集群，可以直接进行解绑。但解绑后将影响工作空间下所有项目空间中已使用Kerberos服务的作业，造成作业运行失败，请谨慎操作。操作步骤 进入Hive Kerberos集群信息注册入口。登录 实时计算控制台...
创建Hive数据源
使用Hive数据源作为集成的输入输出组件时，请确认Dataphin的IP地址已在Hive的网络白名单中，以确保Dataphin能够访问Hive中的数据。请确保Dataphin的应用集群与调度集群与Hive服务、HDFS的NameNode（包括webUI、IPC）和DataNode、KDC Server...
Hive访问EMR Phoenix数据
操作步骤 如果已经在Phoenix中创建了表 phoenix_hive_create_internal，想通过Hive访问，则可以使用Hive外表的方式与Phoenix中的表建立映射关系，进而通过Hive访问Phoenix中已经存在的表。执行以下命令，进入Hive命令行。hive 执行以下命令...
Hive访问EMR HBase数据
Hive通过外表访问HBase 如果已经在HBase中创建了表，想通过Hive访问，则可以使用Hive外表的方式与HBase中的表建立映射关系，进而通过Hive访问HBase中已经存在的表。退出Hive命令行后，执行以下命令，进入HBase命令行。hbase shell 在HBase...
Hive访问EMR HBase数据
Hive通过外表访问HBase 如果已经在HBase中创建了表，想通过Hive访问，则可以使用Hive外表的方式与HBase中的表建立映射关系，进而通过Hive访问HBase中已经存在的表。退出Hive命令行后，执行以下命令，进入HBase命令行。hbase shell 在HBase...
Hive访问Iceberg数据
OK 1 a 2 b 3 c 4 d 5 e 6 f Time taken:18.908 seconds,Fetched:6 row(s)示例2 本示例使用Hive默认元数据，创建一张格式为Iceberg的Hive内表并对其进行读写操作。创建一个EMR-5.4.0的Hadoop集群，元数据选择内置MySQL，详情请参见 创建...
Hive作业异常排查及处理
解决方法：Hive on Spark作业关闭动态资源伸缩或者使用Hive on Tez。spark.dynamicAllocation.enabled=false 打开dynamic.partition.hashjoin后tez报错（已知缺陷）报错日志：Vertex failed,vertexName=Reducer 2,vertexId=vertex_...
Hive指标
Hive指标包含以下部分：HIVE-HiveServer2 HIVE-MetaStore HIVE-HiveServer2 参数 指标 描述 JVM MemHeapInit hive_server_memory_heap_init JVM初始化堆内存。单位：Byte。JVM MemHeapCommitted hive_server_memory_heap_committed JVM已...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
Hive开发手册
测试用数据资源 您可以下载如下Hive作业需要的资源，然后将其上传至您OSS对应的目录。资源下载：公共测试数据。创建作业。在E-MapReduce中新建一个Hive作业，详情请参见 Hive作业配置。作业内容如下。f ossref:/${bucket}/yourpath/...
HIVECLI
使用资源中心中的Hive SQL文件 该示例演示了如何使用资源中心中的Hive SQL文件来执行任务。在本例中，先在 资源中心 中定义了 sql 类型的文件（例如，hive.sql），然后在 程序类型 下拉列表中选择 选择资源中心文件，在 资源 下拉列表中...
HiveMetastore
CREATE DATABASE `dlaDb` WITH DBPROPERTIES(catalog='customer_hive',database='testDb',location='172.16.199.34:9083',vpc_id='xxx',hdfs_properties='fs.defaultFS=hdfs:/172.16.199.41:9000')参数名称 参数说明 catalog 表示创建的...
EMR Hive功能增强
EMR版本 组件版本 功能增强 EMR-5.2.1 Hive 3.1.2 修复使用DLF元数据执行 show create table 命令，结果显示不正确的问题。优化Hive默认参数，以提升作业性能。修改E-MapReduce控制台上，Hive服务 配置 页面的 hive-env 页签的配置项名称为...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
配置Hive输出组件
使用限制 Hive输出组件支持写入文件格式为 orc、parquet、text、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输出组件。更多信息，...
- 产品推荐
- 这些文档可能帮助您