Hive元数据说明
该元数据类型相比自建RDS和内置MySQL两种方式的最大区别是，无需在EMR集群上部署Hive Metastore，即元数据查询服务以及存储服务都托管到DLF产品上，免去运维成本，同时支持更多引擎（例如MaxCompute、Flink、DataBricks或Hologres等），...
写入时序数据
如果表中存在大量的短时间线（即一条时间线下仅有一条或几条时序数据），则您可能会看到时序数据的元数据存储量偏大，因为目前表格存储会为每条时间线的元数据构建索引，按照每条时间线4 KB的大小计算元数据的总存储大小。如果要删除时间线...
Hive访问云HBase数据
阿里云HBase需要借助外部Hive对多表进行关联分析，本文介绍如何使用E-MapReduce（简称EMR）上的Hive关联阿里云HBase的表。前提条件 已创建DataLake...在HBase中查看表hive_hbase_table。scan hive_hbase_table;返回信息会提示表已经不存在。
数据操作篇
这时候可以考虑将这个表拆分为两个，一个表存储商品数量和商品价格，另一个表存储商品简介。压缩较大的属性列文本 如果属性列是较大的文本，应用程序可以考虑将属性列压缩之后再以 Binary 类型存储到表格存储中。这样做节省了空间、减少了...
Hive访问Delta Lake和Hudi数据
Hive不支持写入数据到Delta Lake和Hudi，但是可以通过外部表的方式查询Delta Lake和Hudi中的数据。本文通过示例为您介绍如何使用EMR上的Hive访问Delta Lake和Hudi数据。前提条件 已创建包含Hive、Delta Lake和Hudi服务的集群，详情请参见 ...
配置E-MapReduce服务使用文件存储 HDFS 版
Hive的元数据存储在MySQL，进入存储Hive元数据的MySQL数据库hivemeta，修改CTLGS表、DBS表和SDS表相应的值。执行 use hivemeta 命令，进入存储Hive元数据的MySQL数据库hivemeta。修改表CTLGS中的数据。执行 select*from CTLGS 命令，查询表...
配置Hive输入组件
使用限制 Hive输入组件支持数据格式为 orc、parquet、text、rc、seq、iceberg（iceberg格式仅支持E-MapReduce5.x的Hive计算源或数据源）的Hive数据表。不支持ORC格式的事务表、Kudu表集成。说明 Kudu表数据集成请使用Impala输入组件。更多...
通过SDK使用分析存储
步骤一：创建分析存储 为时序表创建分析存储后，您可以使用分析存储快速查询与分析时序数据。您可以在创建时序表时创建分析存储，也可以为已有时序表创建分析存储，请根据实际选择。创建时序表时创建分析存储 创建时序表时支持创建默认分析...
时序表操作
时序模型通过时序表存储时间序列数据，单表能提供高并发写入和查询以及PB级海量数据的低成本存储。创建时序表时，您可以配置数据生命周期 和为时序表创建分析存储。创建时序表后，您可以根据实际管理时序表，例如获取实例中的所有时序表...
主键类型报错
OTSInvalidPK,[Message]:Validate PK type fail.Input:VT_STRING,Meta:VT_BLOB.[RequestId]:00055f43-3d31-012b-62c3-980a3eefe39e,[TraceId]:02822839-3b5b-af35-409a-cf68841239fa,[HttpStatus:]400 原因 建表时设置的主键类型为binary...
SmartData 3.5.x版本简介
SmartData组件是EMR Jindo引擎的存储部分，为EMR各个计算引擎提供统一的存储、缓存、计算优化以及功能扩展。SmartData组件主要包括JindoFS、JindoTable和相关工具集。本文介绍SmartData（3.5.x）版本的更新内容。JindoFS OSS扩展和支持 ...
环境准备
使用Hive/HadoopMR来访问表格存储中的表前，您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包，可以直接使用Hive...
基础数据操作
创建时序表后，您可以通过PutTimeseriesData接口或者时序Writer工具写入时序数据，您还可以迁移 MySQL或 Kafka数据源的数据到表格存储时序表。时序数据写入到时序表后，您可以使用QueryTimeseriesMeta接口检索时间线以及使用...
Hudi连接器
示例 Hudi表作为Hive的外表存储，可以通过连接Hive连接器来访问Hudi表进行数据查询。Hudi表的生成以及同步到Hive表中的步骤，请参见 Hudi与Spark SQL集成 和 基础使用。生成数据和查询数据示例如下所示：登录集群，详情请参见 登录集群。...
初始化
TimestreamDBClient是Timestream的客户端，您可以使用TimestreamDBClient进行建表、删表以及读写数据/时间线等操作。上图为TimeStream模型的结构示意图，其中时序数据是存储到数据表中，时间线是存储到元数据表（Meta表）中。数据表可以...
Paimon数据源
Hive Metastore：元数据存储在Hive Metastore中，您可以直接从Hive访问这些表。基于FileSystem创建Catalog 重要 SelectDB 2.X及之前版本，请参见 基于Hive Metastore创建Catalog。此处以HDFS为例：CREATE CATALOG `paimon_hdfs` PROPERTIES...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
访问Kafka数据
addr:9092，topic名称为topic1的Kafka实例中有两条写入时间在2023-04-25 15:00:00至2023-04-25 16:00:00之间的数据，具体内容为：{"id":1,"name":"name1"} {"id":2,"name":"name2"} 现在需要将这两条数据写入Hive表中，便于后续进行数据...
Hive数据源
通过连接Hive Metastore，云数据库 SelectDB 版 可以自动获取Hive的库表信息，进行数据查询、分析。除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为...
通过SDK使用时序模型
如果为时序表创建了分析存储，您可以使用如下代码获取时序表的分析存储信息。List<TimeseriesAnalyticalStore>analyticalStores=describeTimeseriesTableResponse.getAnalyticalStores();查看时序表的分析存储配置。for...
方案实现
在前文的方案与架构基础上，本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统，并主要使用Timeline模型、基于推模式进行同步。表格存储消息（Timeline）模型是针对...
Hive兼容数据类型版本
Hive兼容数据类型：源数据类型如果可以显式转换为表中的数据类型，系统会自动插入转换函数并允许运行。1.0和2.0数据类型版本：源数据类型需要隐式转换为表中的数据类型，否则报错。在Hive模式下成功，在其他模式下报错。create table t(a ...
常见问题（FAQ）
Delta Lake是一个开源存储层，可为数据湖带来可靠性。Delta Lake提供ACID事务，可伸缩的元数据处理，并统一流处理和批数据处理。Delta Lake在您现有的数据湖之上运行，并且与Apache Spark API完全兼容。Databricks上的Delta Lake允许您根据...
什么是表格存储
技术支持 表格存储 为您提供专业的免费的技术咨询服务，欢迎通过钉钉加入相应交流群。为互联网应用、大数据、社交应用等开发者提供的最新技术交流群有36165029092（表格存储技术交流群-3）。说明 表格存储 用户群11789671（表格存储技术...
时序模型介绍
使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的存储空间为高性能存储，查询与分析时序表中数据时会消耗计算资源。按量模式：时序模型计费项包括时间线数据和时间线元数据...
Spark Load
从hive-table中抽取待去重字段的去重值，生成一张新的Hive表，记为distinct-value-table。新建一张全局字典表，记为dict-table。一列为原始值，一列为编码后的值。将distinct-value-table与dict-table进行LEFT JOIN，计算出新增的去重值...
转换文件存储类型
示例代码 标准或低频访问类型转换为归档类型 以下代码用于将examplebucket根目录下名为exampleobject.txt的Object的存储类型从标准或低频访问类型转换为归档类型：OSSCopyObjectRequest*copy=[OSSCopyObjectRequest new];copy....
时序模型介绍
以下图为例，时序表中存储了温度（temperature）和湿度（humidity）两种度量类别的数据。图中度量名称（measurement）、数据源（data source）和标签（tags）组成了一个时间线标识。此外，您还可以通过接口更新某个时间序列的元数据属性...
创建Hadoop计算源
说明 集群存储为OSS-HDFS时，不支持配置HDFS认证方式。将默认使用core-site.xml文件中的AccessKey。如果Hadoop集群有Kerberos认证，则需要开启HDFS Kerberos并上传Keytab File认证文件与配置Principal。Keytab File：上传keytab文件，您...
通过EMR运行基于OSS-HDFS服务的TPC-DS Benchmark
为适用于大数据分析场景，您需要准备以下工具和EMR集群：Hive TPC-DS Benchmark测试工具 该工具由Hortonworks开发，专为Hadoop生态系统中的Hive及Spark等组件定制，能够有效模拟大数据查询挑战，并支持在集群环境下生成和执行TPC-DS以及TPC...
Iceberg数据源
Iceberg Catalog的作用是保存Iceberg表和其存储路径的映射关系。属性 是否必选 说明 type 是 数据源类型，取值为 iceberg。iceberg.catalog.type 是 Iceberg中Catalog的类型。使用Hive MetaStore则设置该参数为 HIVE。iceberg.catalog.hive...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
为表级别的路径，分区路径会在这个路径下自动创建。是-c"<condition>"/-fullTable 分区过滤条件表达式。支持基本运算符，不支持UDF。否-b/before根据分区创建时间，创建时间超过给定天数的分区才进行移动。否-p/-parallel整个MoveTo任务的...
在EMR集群运行TPC-DS Benchmark
hive-f./hive-testbench-hdp3/ddl-tpcds/bin_partitioned/analyze.sql \-hiveconf hive.execution.engine=tez \-database tpcds_bin_partitioned_orc_$SF 说明 因为同时使用了数据湖构建（DLF）来保存Hive表的元数据，所以数据生成后，您...
在EMR Hive或Spark中访问OSS-HDFS
EMR-3.42及后续版本或EMR-5.8.0及后续版本的集群，支持OSS-HDFS（JindoFS服务）作为数据存储，提供缓存加速服务和Ranger鉴权功能，使得在Hive或Spark等大数据ETL场景将获得更好的性能和HDFS平迁能力。本文为您介绍E-MapReduce（简称EMR）...
Iceberg数据源
Iceberg Catalog的作用是保存Iceberg表和其存储路径的映射关系。不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 iceberg。iceberg.catalog.type 是 Iceberg中Catalog的类型。使用Hive ...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
转换存储类型
当Bucket同时配置了转换为低频访问、转换为归档存储、转换为冷归档存储以及转换为深度冷归档存储的策略，其转换周期必须满足以下条件：转换为低频访问的周期<转换为归档的周期<转换为冷归档的周期<转换为深度冷归档的周期 同城冗余存储...
更新分析存储的数据生命周期
前提条件 已创建时序表并为时序表创建了分析存储。具体操作，请参见 创建时序表 和 创建分析存储。已初始化TimeseriesClient。具体操作，请参见 初始化TimeseriesClient。注意事项 分析存储的同步选项不支持更新。分析存储的生命周期最短为...
MMA概述
数据迁移原理 Hive数据迁移原理 Hive数据迁移包含通过Hive UDTF迁移数据到MaxCompute、通过OSS迁移Hive数据到MaxCompute，本文为您介绍两种数据迁移方式的原理。通过Hive UDTF迁移数据到MaxCompute。该场景通过Hive的分布式能⼒，实现Hive...
- 产品推荐
- 这些文档可能帮助您