开启native查询加速
不支持分区列存储在文件中的分区表。不支持EMR 5.X及后续版本的EMR集群。不支持代码spark.read.schema（userDefinedSchema），userDefinedSchema不同于文件schema issue。支持Date类型区间为1400-01-01到9999-12-31。同一个表中查询列不...
功能特性
索引加速 文件分析 云数据库 SelectDB 版支持表函数功能（Table-Value-Function或TVF），可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过...
Hive连接器
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。本文为您介绍Hive连接器相关的内容和操作。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，...
使用EasyRec读取Hive表
EasyRec支持csv和Parquet两种Hive文件存储格式。本文通过示例为您介绍，如何基于Hive在Data Science集群进行EasyRec模型训练、评估和预测。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建DataScience集群，且选择了EasyRec和...
功能特性
数据库文件存储 功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件...
配置Hive输出组件
Hive输出组件用于向Hive数据源写入数据。同步其他数据源的数据至Hive数据源的场景中，完成源数据源的信息配置后，需要配置Hive输出组件写入数据的目标数据源。本文为您介绍如何配置Hive输出组件。使用限制 Hive输出组件支持写入文件格式为 ...
使用教程
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
配置连接器
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
SingleColumnValueFilter
当某些列中存储了自定义格式数据（例如JSON格式字符串）时，如果用户希望通过某个子字段值来过滤查询该列数据，则需要设置此参数。相关操作 条件更新 PutRow UpdateRow DeleteRow BatchWriteRow 过滤器 GetRow GetRange BatchGetRow
如何理解主键、数据分区和数据分区键
列ToAddr、MailSize、Subject、Read分别表示收件人、邮件大小、邮件主题和邮件是否已读，这些为普通的列，存储邮件的相关信息。图中表格存储把UserID为U0001和U0002的用户信息划在一个数据分区中，而把UserID为U0003和U0004的用户信息划分...
产品优势
多元索引：基于倒排索引和列式存储，支持多字段自由组合查询、模糊查询、地理位置查询、全文检索等，可解决大数据的复杂查询难题。多计算生态接入 表格存储 支持接入开源生态体系与阿里自研生态体系。表格存储 支持对接MaxCompute、Spark等...
时序分析存储概述
高数据压缩率存储 列存储能更好地利用数据重复性，结合RLE、DICTIONARY、DELTA、BIT-PACKING等方法进行压缩编码，将数据进行压缩，存储空间利用率高，从而节省存储成本。灵活分层的TTL设置 在同一张时序表上，时序数据存储和时序分析存储...
使用表格存储过程中返回503错误码
问题描述 在使用表格存储的过程中，偶尔会出现503错误，详细错误信息请参见下表。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
使用冷存储
更改表属性为热存储 如果表的列存储类型为冷存储，想更改为热存储，可以通过修改表属性的方式实现。如果这个列簇中已经有数据，那么只有在major compaction之后，数据才会回到热存储中 HBase Shell hbase(main):014:0>alter 'coldTable',{...
配置连接器
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
操作指南FAQ
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理？云存储网关升级失败了该如何处理？本地部署FAQ 如何检测网关网络的联通性？如何在本地数据中心部署云存储网关？云存储网关升级失败了该如何处理...
配置连接器
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
计费概述
文件存储NAS支持创建不同类型的NAS文件系统，不同类型的文件系统计费标准不同，本文介绍文件存储NAS的计费情况。付费方式 付费模式 说明 按量付费 默认付费方式。先使用，后付费，适用于业务用量经常有变化的场景。通用型NAS按照各计费项的...
功能概述
表格存储 面向海量结构化数据提供Serverless表存储服务，适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。基本概念 在使用 ...
概述
使用Spark计算引擎访问表格存储时，您可以通过E-MapReduce SQL或者DataFrame编程方式对表格存储中数据进行复杂的计算和高效的分析。应用场景 功能特性 对于批计算，除了基础功能外，Tablestore On Spark提供了如下核心优化功能：索引选择：...
为什么使用表格存储过程中会有少量的500错误
不少用户在使用表格存储的过程中偶尔会接到一些500错误，主要错误码如下。HTTPStatus ErrorCode ErrorMsg 503 OTSPartitionUnavailable The partition is not available.503 OTSServerUnavailable Server is not available.503 ...
计费概述
在使用文件存储CPFS过程中，除了文件存储CPFS收费的计费项之外，还可能涉及以下费用支出。CPFS-POSIX管理节点费用 在文件存储控制台为CPFS文件系统添加POSIX挂载点时创建的3个用于客户端管理的ECS实例，将根据云服务器ECS的产品价格计费。...
原子计数器
假设您需要使用表格存储来存储图片元信息并统计图片数信息，数据表内每一行对应某一个用户ID，行上的其中一列用于存储上传的图片，另一列用于实时统计上传的图片数。使用UpdateRow接口增加一张新图片时，原子计数器+1。使用UpdateRow接口...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
EMR Hive数据整库离线同步至MaxCompute
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
多元索引介绍
多元索引基于倒排索引和列式存储，可以解决大数据的复杂查询难题，包括非主键列查询、全文检索、前缀查询、模糊查询、多字段自由组合查询、嵌套查询、地理位置查询、统计聚合（max、min、count、sum）等功能。多元索引在车联网场景中主要...
ListBucketInventory
ListBucketInventory 用于批量获取某个存储空间（Bucket）中的所有清单（Inventory）任务。说明 单次请求最多可获取100条清单配置项内容。若需获取超过100条清单配置项，则需发送多次请求，并保留相应的token，作为下一次请求的参数。调用...
产品计费
其他费用 在使用云存储网关过程中，除了云存储网关收费的计费项之外，还有其他费用支出。OSS使用费用 云存储网关中的OSS资源归您所有，网关访问OSS产生的费用由OSS产品向您收取，这些费用包括存储费用、流量费用、请求费用和数据取回费用，...
EMR-5.12.x版本说明
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-5.12.0 服务 变更点 Kyuubi 升级到1.7.1版本...
EMR-3.46.x版本说明
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-3.46.0 服务 变更点 Kyuubi 升级到1.7.1版本...
Hive数据源
The directory for caching permission data,needs to be writable<property><name>ranger.plugin.hive.policy.cache.dir</name><value>/mnt/datadisk0/zhangdong/rangerdata</value></property>#The time interval for ...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
开启native查询加速
引擎 ORC Parquet Spark2 支持 支持 Spark3 支持 支持 Presto 支持 支持 Hive2 不支持 支持 Hive3 不支持 支持 Spark、Hive和Presto服务支持的引擎和存储文件系统如下所示。引擎 OSS JFS HDFS Spark2 支持 支持 支持 Presto 支持 支持 支持...
索引介绍
表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作HBase的RowKey，每一列其实都只是整体主键的一部分。采用多列主键主要原因如下：业务常需要多个字段来构成...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
CDH6数据迁移
为了保证在更换文件存储系统的过程中文件数据不丢失，需要暂停数据处理服务（例如：YARN服务、Hive服务、Spark服务、HBase服务等），HDFS服务仍需保持运行。此处以停止Hive服务为例进行说明。在CDH Web主页，找到Hive服务，在右侧的操作...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
EMR元数据迁移DLF最佳实践
本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品时，元数据迁移可以参考该文档。从阿里云EMR老...
- 产品推荐
- 这些文档可能帮助您