EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
使用E-Mapreduce访问
Hive的元数据存储在MySQL中，进入存储Hive元数据的MySQL数据库hivemeta中，修改DBS表和SDS表，如下所示。MariaDB[(none)]>use hivemeta;修改表“DBS”MariaDB[hivemeta]>select*from DBS;DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
Hive统一元数据
EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请不要随意的切换公网IP地址，防止对应的数据库白名单失效。如果是本地的元数据库...
配置CDH6使用文件存储 HDFS 版
本文以修改Hive服务元数据存储在MySQL中的数据为例，修改DBS表和SDS表相应的存储系统的URL。执行 use metastore;命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回...
管理Hive Catalog
创建Hive Catalog 完成前面的Hive元数据配置后，您可以创建Hive Catalog，支持UI与SQL命令两种方式配置Hive Catalog，推荐使用UI方式配置Hive Catalog。UI方式 进入元数据管理页面。登录 实时计算控制台，单击目标工作空间 操作 列下的 ...
自建Hive数据仓库迁移到阿里云E-MapReduce
可靠性 使用阿里云数据库RDS保存Hive的元数据信息，可以提升数据可靠性和服务可用性，免除客户运维自建MySQL数据库的工作。架构图 方案详情 请参见 阿里云自建Hive数据仓库跨版本迁移到阿里云EMR。icmsDocProps={'productMethod':'created'...
配置自建RDS
schematool-initSchema-dbType mysql 待初始化成功后，则可以使用自建的RDS作为Hive的元数据库。说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
数据安全
Quick BI 的数据安全分为两个方面，一是用户的业务数据，二是 Quick BI 的元数据。...Quick BI 的元数据存储在公共云的 RDS 中，这是一个工业级的数据库，且不提供外部访问接口，安全性和稳定性都有专门的团队保障，因此数据安全风险极低。
Paimon数据源
paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。dlf：使用DLF存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和...
在文件存储 HDFS 版上使用Presto
说明 在本文中Presto是通过连接Hive的元数据服务来读取 文件存储 HDFS 版 上的数据，在 文件存储 HDFS 版 上使用Presto时需要额外配置一些依赖包。具体操作，请参见 步骤二：配置Presto。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在...
Hive元数据基本操作
本文为您介绍Hive元数据的基本操作，包括新建库、删除库、新建表和删除表。前提条件 已创建集群，详情请参见 创建集群。新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
元数据抽取
使用限制 抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤 新建抽取任务 登入 数据湖构建控制台。在左侧...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
使用Presto访问
Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto...
Hive数据迁移
本文为您介绍通过Hive UDTF迁移Hive数据的方法。准备事项 ⽹络环境要求。Hive集群各节点能够访问MaxCompute。MMA所在服务器能够访问Hive MetaStore Server、Hive Server。创建⽤于迁移数据的Hive UDTF。在MMA的 帮助 ⻚⾯下载对应版本的...
Napatech案例
云原生多模数据库 Lindorm 助力...客户价值 支持多个100G数据流量采集点的数据包元数据存储及快速索引。帮助用户实现全量数据的回溯分析。数据库架构简化、支持弹性扩容，运维难度及成本大幅减低。集成第三方大数据系统，助力业务分析。
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
快速使用数据湖分析版实例
场景一、查询DLF中的数据（可选）步骤一、创建DLF元数据的Hive集群 该场景需要使用阿里云DLF作为Hive Catalog元数据中心，所以需要开通DLF服务。您可以在 DLF开通 页面开通DLF服务。说明 如果您的DLF中已有数据，则可以忽略该步骤。如果...
写入时序数据
如果表中存在大量的短时间线（即一条时间线下仅有一条或几条时序数据），则您可能会看到时序数据的元数据存储量偏大，因为目前表格存储会为每条时间线的元数据构建索引，按照每条时间线4 KB的大小计算元数据的总存储大小。如果要删除时间线...
通过X2Doris导入数据
2.配置元数据读取 修改配置文件 conf/application-hive.yaml 来设置获取Hive元数据方式，目前支持三种：JDBC，阿里云 DLF，Metastore Metastore 这是默认推荐的读取Hive元数据的方式，如果Hive是标准的Apache Hive，则推荐这种方式，直接将...
查看集群日报与分析
HDFS基础信息 在HDFS基础信息中，您可以获取以下图表信息：存储量趋势图 文件数趋势图 HDFS存储评分趋势图 文件总数，总存储量，小文件、极小文件个数，冷数据存储大小 HDFS使用分析 在HDFS使用分析中，您可以获取以下图表信息：HDFS User...
迁移服务（MMA）
Metastore访问并发量 访问Hive MetaStore的并发量，⽤于提⾼获取Hive元数据的速度。表黑名单 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单 需要迁移的Hive数据库表。单个表的格式为 ...
搭建与管理（基于Hadoop）
通过MaxCompute与Hadoop构建湖仓一体方案旨在实现对海量数据的统一管理、存储和分析，提供了一个既能处理结构化、半结构化数据，又能满足高并发分析需求的一体化数据平台。本文为您介绍如何通过MaxCompute与Hadoop构建湖仓一体，以及管理湖...
CDH6与文件引擎集成
三、安装HIVE服务 安装MySQL数据库，并创建用来存储hive元数据信息的数据库。登入CDH6任意的一台机器，执行如下指令，进行安装。切换到 root sudo su-#下载 MySQL的rpm 源 root@cdhlindorm001~/tool$wget ...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
事件告警
共享使用的缓存盘由数据空间和元数据空间组成，默认20%的缓存盘空间会用来存储元数据。当可用元数据空间不足3 GB或者不足所有元数据空间的20%时会触发此告警。处理方式 建议扩展共享对应的缓存盘来扩大元数据空间，避免因元数据空间不足而...
Hive
操作步骤 如果您的Hive元数据使用的是独立的RDS且表数据存放在OSS中，则可以使用下列配置并跳过后续步骤，否则请您从第二步开始配置。{"name":"spark-on-hive","className":"com.aliyun.spark.SparkHive",#连接Hive的测试代码，按需修改...
元数据导出
to_dlf,以hive元数据为基准，对比DLF元数据 validateDatabases 可选 指定对比的库名列表，则只会对比该列表下的库并进行补偿。excludeTablePrefixes 可选 对比是排除的表列表，则不会对比列表下的表。excludeTables 可选 对比时排除的表...
宽表模型介绍
支持多版本数据存储以及数据生命周期管理，可以有效的管理数据，减少数据存储空间，降低存储成本。使用宽表模型 您可以通过以下方式进行表操作和数据操作。使用控制台 使用命令行工具 使用SDK 表操作 写入数据、读取数据 和 删除数据
Hive数据源
通过Hive Catalog，您可以直接查询Hive中的数据。本文为您介绍如何创建和查看Hive Catalog。创建Hive Catalog 语法 CREATE EXTERNAL CATALOG<catalog_name>PROPERTIES("key"="value",.);参数说明 catalog_name：Hive Catalog的名称，必...
功能特性
通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为元数据存储的系统。Hive数据源 Iceberg数据源 本文介绍云数据库 SelectDB 版与Iceberg数据源进行对接使用的流程，帮助您对Iceberg数据源进行联邦分析。Iceberg数据源 Hudi数据源 ...
通过PrestoDB使用Tablestore
存储元数据的表占用的数据存储量与创建实例时的存储规格相关。相关文档 您可以使用MaxCompute、Spark、函数计算、Flink等其他计算引擎查询与分析Tablestore表中数据。更多信息，请参见 计算与分析概述。您也可以使用表格存储的SQL查询和...
为Spark集群设置元数据
EMR on ACK支持使用数据湖元数据DLF（Data Lake Formation）和自建Hive Metastore元数据两种方式，为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
创建Hudi数据源
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
通过整库迁移配置集成任务
文件编码：Hive的存储格式为ORC，支持配置文件编码。包括 UTF-8 和 GBK。压缩格式：ORC存储格式 支持 zlib、hadoop-snappy、lz4、none；PARQUET存储格式 支持 gzip、hadoop-snappy。性能配置：Hive的存储格式为ORC，支持配置性能配置。输出...
基本概念
栅格数据的文件表示以及在数据库中存储的逻辑模型如下图所示：Band与Layer Ganos Raster采用了一种简单而高效的通用栅格数据模型来管理专题数据和遥感影像数据。一幅遥感影像（Image）由若干可以表示为2D栅格图层的波段（Band）组成，每个...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
- 产品推荐
- 这些文档可能帮助您