JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
JindoTable使用说明
JindoTable提供表或分区级别的热度统计、存储分层和表文件优化的功能。本文为您介绍JindoTable的使用方法。前提条件 本地安装了Java JDK 8。已创建EMR-3.30.0或后续版本的集群，详情请参见 创建集群。使用JindoTable 常见命令如下：...
自定义分区
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 自定义分区的支持转换范围。自定义 range 分区 自定义 range 分区 range_partition_desc 的语法如下：PARTITION[partition]range_values_clause...
何时使用Range-Hash分区
Range-Hash分区是一级分区为Range分区，二级分区为Hash分区的组合分区类型。Range-Hash分区对于存储历史数据的大表很常见，并且经常与其他大表连接。对于这些类型的表（典型的数据仓库系统)，组合Range-Hash分区提供了在Range级别进行分区...
CREATE TABLE
设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的数据分布策略 建表前，您可以通过下图中的示例，了解关于表的几个重要概念，包括分片、分区、聚集索引。...
库表
执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_size-...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
Hudi存储
同时Apache Hudi还支持多版本的⽂件管理协议，提供⼊湖和分析过程中的增量数据实时写⼊、ACID事务、小⽂件⾃动合并优化、元信息校验和Schema演进、⾼效的列式分析格式、⾼效的索引优化、超⼤分区表存储等能⼒。AnalyticDB MySQL 团队基于...
一级分区
本文为您介绍迁移 Oracle 数据库的数据至 OceanBase 数据库 Oracle 租户时，CREATE TABLE DDL 一级分区的支持转换范围。range 分区 range 分区 range_partitions 的语法如下：PARTITION BY RANGE(column[,column].)[INTERVAL(expr)[STORE ...
分区表索引
每个索引分区都与基础表的一个分区相关联，因此索引分区中的所有键仅引用单个表分区中存储的行。因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对...
分区表索引
每个索引分区都与基础表的一个分区相关联，因此索引分区中的所有键仅引用单个表分区中存储的行。因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对...
分区表索引
每个索引分区都与基础表的一个分区相关联，因此索引分区中的所有键仅引用单个表分区中存储的行。因此数据库会自动将索引分区与其关联的表分区同步，从而使每个表索引相互独立。本地索引通过指定 LOCAL 属性创建。在与基础表相同的列上对...
数据引入层（ODS）
采用全量存储方式，在1月1日这个分区中存储t1和t2两条记录，在1月2日这个分区中存储更新后的t1以及t2、t3记录。说明 对于小数据量的缓慢变化维度数据，例如商品类目，可直接使用全量存储。拉链存储 拉链存储通过新增两个时间戳字段（start_...
数据引入层（ODS）
采用全量存储方式，在1月1日这个分区中存储t1和t2两条记录，在1月2日这个分区中存储更新后的t1以及t2、t3记录。说明 对于小数据量的缓慢变化维度数据，例如商品类目，可直接使用全量存储。拉链存储 拉链存储通过新增两个时间戳字段（start_...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
实例选型和集群规划
行存储与列存储 云原生数据仓库AnalyticDB PostgreSQL版在表数据存储格式上支持行存储和列存储，二者在不同使用场景下各有优劣势，直接关系到实例的性能和存储空间。用户在创建表时，支持指定数据存储格式，即支持按行组织存储，也支持按列...
分区和列操作
合并分区 对分区表的分区进行合并，即同一个分区表下的多个分区合并成一个分区，同时删除被合并的分区维度的信息，把数据移动到指定分区。清空分区数据 清空指定分区的数据。列操作 添加列或注释 为已存在的非分区表或分区表添加列或注释。...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
表格存储建表注意事项
主键的第一列为分区键，可以理解为当表的数据量达到一个设定值时，表格存储会根据分区键列值的范围来进行分区的操作，通过分区来达到数据访问负载均衡的目的。建表时，表内的数据默认拥有一个分区，即该表的所有数据在一个数据分区上。当表...
CREATE TABLE.PARTITION BY
使用CREATE TABLE命令的PARTITION BY子句来创建一个分区表，这个分区表中的数据分配在一个或多个分区（和子分区）中。语法介绍 CREATE TABLE命令语法有下面的三种形式：列表分区语法 使用第一种形式创建一个列表分区表：CREATE TABLE...
分区表命令列表
本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...
数据分层存储
动态管理分区表的存储介质 为了更智能的管理表分区的存储介质，可以使用动态分区功能来设置数据冷热转换规则，实现智能冷热分层存储，有效的平衡成本和性能。更多对于动态管理分区表的信息，详情请参见 动态分区管理。查询存储介质状态 ...
创建和管理自定义存储表
物联网平台数据服务提供离线数据存储功能，支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源，可以作为数据解析、SQL分析任务的结果输出表，可以集成时序表数据到实时计算...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
测试模型
表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载...
如何理解主键、数据分区和数据分区键
数据分区和分区键 表格存储会自动把表分成不同的数据分区，以达到对其存储数据的负载均衡。数据分区的划分粒度为主键的第一列，该列即为数据分区键。拥有相同数据分区键的行必然在同一个数据分区中。表格存储能够保证对具有同一数据分区键...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
表设计
说明 有一种局部热点情况，假设10.10.0.0/16这个网段的机器写入量很大，而表格存储是按照分区键的一个范围进行分区的，刚好这些机器又都分在一个分区内，会不会产生热点呢？如果写入压力超过或接近单分区的上限，确实是一个热点，但是表格...
BigQuery数据迁移至MaxCompute
如果您没有相关环境及数据集，可参考如下内容准备：BigQuery：BigQuery快速入门 和 创建数据集 Cloud Storage：Cloud Storage快速入门 和 创建存储分区 阿里云 已开通MaxCompute、DataWorks服务并创建项目空间。以 印度尼西亚（雅加达）...
何时选择LIST分区
以下示例为北京、天津、内蒙、河北的所有客户存储在一个分区中，其他省市的客户存储在不同的分区中。按区域分析账户的管理人员可以利用分区剪枝。区域 编号 华北（p_cn_north）1:BJ,2:TJ,3:HB,4:NM 华南（p_cn_south）5:GD,6:GX,7:HN 华东...
主键与唯一键（AUTO模式）
沿用示例12中的表range_tbl，该表已经存在两行 serial_id 相同的数据，一行存储在p1分区，另一行存储在p2分区。尝试执行变更表类型的DDL，使range_tbl表从手动分区表变成单表，这将引发range_tbl表内的数据重分布。ALTER TABLE range_tbl ...
存储费用
日存储量平均值=采集到的存储量之和÷24 当低频存储的表或者分区转成标准存储或者长期存储时，会收取当前整张表或者分区的低频存储访问费。当长期存储的表或者分区转成标准存储或者低频存储时，会收取当前整张表或者分区的长期存储访问费。...
动态分区管理
Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。同时，还支持将符合条件的分区数据迁移到低频存储设备，在保证查询性能的同时，有效降低存储费用。功能介绍 动态分区...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
概述
当执行包含 WHERE 子句的 SELECT 语句时，查询计划会决定要存储记录的分区，并发送查询碎片给这个分区，然后从执行计划中剪去不能包含记录的分区。如果您不使用分区表功能，则建议禁用排除约束，从而提高性能。快速剪枝 和排除约束类似，...
数据源
智能推荐引擎每小时会产出一个新分区，产出分区的 ds 和 hh 分别为前一小时的日期和小时。3、不建议您自行修改生命周期。如您因MaxCompute存储问题等原因需要修改分区生命周期，可参见 生命周期操作，或联系AIRec答疑同学。4、减小表分区的...
- 产品推荐
- 这些文档可能帮助您