EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
EMR-3.33.x版本说明
支持Hive元数据和作业运行信息输出至DataWorks。Metastore 新增Hive Statistics功能。HCatalog支持Data Lake Formation。优化STSToken的获取方式。HDFS 升级jQuery至3.5.1版本。YARN 升级jQuery至3.5.1版本。调整Fair Scheduler配置。优化...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
Hive服务内存参数调整
关于不同元数据的更多信息，请参见 Hive元数据说明。调整Hive服务内存步骤 在集群Hive组件页面，单击 配置，输入配置项名称进行修改。调整HiveMetaStore内存。调整 hive_metastore_heapsize（默认内存500 MiB），例如2048（代表2 GiB内存）...
Dataphin离线管道中Hive输出组件配置后报错“获取...
问题原因 Hive元数据meta的mysql数据库的连接数达到了设置的最大连接数量，导致新的hive连接无法连接到meta库，从而报错获取元数据失败。解决方案 将Hive的meta mysql库的最大连接数上限调大一些，一般建议设置为1000（通常默认值是200）。...
EMR-4.6.x版本说明
支持Hive元数据和作业运行信息输出至DataWorks。Metastore 新增Hive Statistics功能。HCatalog支持Data Lake Formation。优化STSToken的获取方式。HDFS 升级jQuery至3.5.1版本。升级至3.2.1版本。YARN 升级至3.2.1版本。升级jQuery至3.5.1...
EMR Hive功能增强
支持Hive元数据和作业运行信息输出至DataWorks。EMR-4.5.0 Hive 3.1.2 支持数据湖构建（DLF）元数据。支持Ranger Ownership权限。EMR-4.4.1 Hive 3.1.2 优化默认的参数配置。EMR-4.4.0 Hive 3.1.2 升级至3.1.2版本。优化JindoFS。优化MSCK...
Hive使用扩展记录数据血缘和访问历史
hivemetastore-site.xml hive.metastore.event.listeners 监听Hive元数据变更的事件信息，用于数据血缘。开启EMR-HOOK时，参数值填写为 com.aliyun.emr.meta.hive.listener.MetaStoreListener关闭EMR-HOOK时，参数值置为空。hive....
Hive元数据基本操作
本文为您介绍Hive元数据的基本操作，包括新建库、删除库、新建表和删除表。前提条件 已创建集群，详情请参见 创建集群。新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
概述
功能简介 使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件，采集文件元数据并将元数据索引到元数据存储引擎中，为您提供强大的文件查询、...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
功能特性
通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为元数据存储的系统。Hive数据源 Iceberg数据源 本文介绍云数据库 SelectDB 版与Iceberg数据源进行对接使用的流程，帮助您对Iceberg数据源进行联邦分析。Iceberg数据源 Hudi数据源 ...
修改集群模版
UseLocalMetaDb Boolean 否 true 是否使用本地Hive元数据库，取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。IoOptimized Boolean 否 true 是否开启I/O优化，取值如下：true：开启I/O优化 false：不开启I/O优化 ...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
E-MapReduce数据迁移方案
Hive元数据同步 概述 Hive元数据，一般存在MySQL里，与一般MySQL同步数据相比，要注意两点：Location变化 Hive版本对齐 E-MapReduce支持Hive Meta DB：统一元数据库，E-MapReduce管控RDS，每个用户一个Schema 用户自建RDS 用户ECS自建MySQL...
创建集群模板
MetaStoreType String 否 user_rds Hive元数据服务类型，取值如下：local：集群内部MySQL服务，MySQL单节点不保证高可用 user_rds：用户自建RDS服务 dlf：DLF元数据服务 MetaStoreConf String 否 {"dbUrl":"jdbc:mysql:/rm-xxxxxxxxxx....
创建集群
参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置高级信息。高级信息包括如下两方面：Spark设置 参数 ...
Hive访问Iceberg数据
使用DLF统一元数据作为Hive元数据。该场景下，Hive只支持以外部表的方式访问Iceberg表。EMR-3.38.x版本和EMR-5.3.x~EMR-5.4.x版本（包含），需要设置Hive接入Iceberg使用DLF统一元数据的必要配置，其余版本已默认添加。SET iceberg.catalog...
使用Presto访问
Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto...
Hive数据导入
功能介绍 AnalyticDB MySQL版 湖仓版（3.0）支持新建Hive数据迁移任务，通过迁移任务将Hive元数据和数据一键迁移到OSS，或多库多表并行迁移到OSS。前提条件 已创建 AnalyticDB MySQL 湖仓版（3.0）集群。具体操作，请参见 创建湖仓版（3.0...
在文件存储 HDFS 版上使用Presto
connector.name=hive-hadoop2 hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动 hive 元数据服务的ip地址 hive.config.resources=path/to/core-site.xml#请替换为该节点上已挂载文件存储HDFS版的Hadoop core-site.xml路径 编译并替换JAR包...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
Hadoop集群迁移至DataLake集群
数据存储架构：分析旧集群的数据存储架构（本地HDFS、OSS、JindoFS block模式），为后续数据迁移路径设计提供依据。用户认证&鉴权架构：确认是否使用旧平台集群OpenLDAP、Ranger、Kerberos等服务，确保迁移后的新架构能够无缝继承现有的...
创建集群
MetaStoreType String 否 local Hive元数据服务类型，取值如下：local：集群内部MYSQL服务，MYSQL单节点不保证高可用。user_rds：用户自建RDS服务。dlf：DLF元数据服务。MetaStoreConf String 否 {"dbUrl":"jdbc:mysql:/rm-xxxxxxxxxx....
创建TDH Inceptor计算源
配置 Hive元数据连接信息 区域的参数。参数 描述 数据库类型 选择Inceptor的元数据库类型。系统支持选择 MySQL 5.6/5.7、MySQL 8、MySQL 5.1.43。JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/{连接地址}:{端口}/{数据库...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
查询Delta表数据
在E-MapReduce中通过Spark创建的Delta表将自动同步到Hive元数据，您可以像使用其他表一样查询Delta表。您还可以通过使用Hive创建外表的方式来查询Delta表。本文为您介绍如何通过Spark创建表和Hive创建外表的方式，在Hive、Presto和Trino中...
通过元数据文件迁移上云
Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群...
迁移服务（MMA）
Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单 需要迁移的Hive数据库表。单个表的格式为 ...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
Jindo sql命令介绍
Jindo sql命令是JindoFS自带的工具，...A：为了避免污染Hive元数据，默认Hive看不到Default下的几个表，如果想使用Hive分析这些表，可以通过语句 show create table {table_name} 查看表语句或者使用SQL创建新表，Hive需要执行加载外部表。
- 产品推荐
- 这些文档可能帮助您