Quick Audience数据导入中调度任务执行...提示表分区无数据
问题描述 Quick Audience数据导入中调度任务执行失败，报错提示表分区无数据是什么原因？问题原因 调度任务查询的分区日期是当天，而Dataphin中的业务数据日期是前一天。解决方案 数据导入的任务调度的分区日期与业务数据分区日期保持一致...
COALESCE PARTITION
num 减少的分区数，需要小于表分区总数。示例 减少 sales_hash_hash 表中的2个分区数：ALTER TABLE sales_hash_hash COALESCE PARTITION 2;减少 sales_key_key 表中的2个分区数：ALTER TABLE sales_key_key COALESCE PARTITION 2;
库表
执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_size-...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
常见问题
Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询Hudi数据重复，如何处理？问题原因：出现Spark查询hudi数据重复，通常是因为Hudi不支持Spark DataSource...
分区表常见问题
PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和性能的增强，详情请参考 分区表概述。PolarDB MySQL版 一张表最多支持多少个分区？最多支持8192个分区。如果定义了二级分区，则是所有二级分区的...
附加/分离分区
概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来，成为一个普通表。它避免了将分区表中的数据直接删除，而是将其分离出来作为一个普通表移至别处。语法说明 ...
分区
使用限制 单表分区层级最多为6级。单表分区数最大值为60000个。单次查询允许查询最多的分区个数为10000个。STRING分区类型的分区值不支持使用中文。使用说明 分区数据不宜过小，如果创建很多过小分区，会导致计算查询性能下降。建议单分区...
附加/分离分区
概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来，成为一个普通表。它避免了将分区表中的数据直接删除，而是将其分离出来作为一个普通表移至别处。语法说明 ...
分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。...相关文档 表分区定义
REMOVE PARTITIONING
语法 ALTER TABLE.REMOVE PARTITIONING 命令用于删除分区和子分区表的分区结构，并转化成单表，且不丢失数据：ALTER TABLE table_name REMOVE PARTITIONING 示例 删除 sales_range_list 表中所有的分区结构：ALTER TABLE sales_range_list ...
附加/分离分区
概述 附加（Attach）分区：将一个普通表附加到分区表中，成为分区表的一个分区。分离（Detach）分区：将一个分区表的分区分离出来，成为一个普通表。它避免了将分区表中的数据直接删除，而是将其分离出来作为一个普通表移至别处。语法说明 ...
分布表
例如，如果一个表被按照月和城市划分并且有24个月以及100个城市，那么表分区的总数就是2400。特别对于列存表，会把每一列存在一个物理表中，因此如果这个表有100个列，系统就需要为该表管理十多万个文件。因此，在分区表设计之初首先需要...
自定义分区
示例如下：SUBPARTITION VALUES LESS THAN(MAXVALUE)不支持 read_only_clause 指定以只读或读/写模式创建表、分区或子分区，忽略该 option。不支持 indexing_clause 设置表、表分区或表子分区的索引属性，忽略该 option。不支持 ...
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
分区表命令列表
ALTER TABLE…RENAME PARTITION 重命名表分区。ALTER TABLE…SPLIT PARTITION 将一个分区划分为两个分区，并重新分配新分区的内容。ALTER TABLE…SPLIT SUBPARTITION 将一个子分区划分为两个子分区，并重新分配子分区的内容。ALTER TABLE…...
普通表快速转换为RANGE分区表
背景信息 PolarDB 普通表快速转RANGE分区表时，普通表的数据不经校验直接作为分区表的第一个分区的数据，其他分区为空分区。PolarDB 普通表快速转RANGE分区表通常用于想把历史数据放入第一个分区，同时避免使用普通的 ALTER PARTITION BY ...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
高度兼容性
PolarDB PostgreSQL版（兼容Oracle）兼容了丰富的表分区功能包括常用的RANGE分区、INTERVAL分区、分区SPLIT和MERGE、分区模版等，基于表分区的全局索引可以极大的提升用户的查询性能。存储过程开发语言 存储过程开发语言是业务应用常用的一...
表分区定义
支持的表分区类型 范围（RANGE）分区：基于一个数值型范围划分数据，例如按日期区间定义。值（LIST）分区：基于一个值列表划分数据，例如按城市属性定义。多级分区表：范围分区和值分区的多级组合。创建范围（RANGE）分区表 您可以指定一个...
普通表转换为分区表
当单张普通表的数据量超过1亿或者1 TB时，建议使用分区表。本文介绍了使用 ALTER 语法将单张普通表转换为分区表的注意事项以及示例。前提条件 普通表中的主键或唯一键需要包含分区表中的分区键字段。注意事项 普通表转换为分区表的过程中，...
分区表简介
您可以一次移动一个表分区。如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量...
分区表简介
您可以一次移动一个表分区。如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量...
分区表简介
您可以一次移动一个表分区。如果出现问题，则只需重做分区移动，而不是表移动。此外，如果分区设计中考虑了使用模式，则可以通过添加或删除分区来完成批量加载和删除。使用DROP TABLE删除单个分区或执行ALTER TABLE DETACH PARTITION比批量...
Dataphin同步任务同步多层分区表
问题描述 用户需要将二级分区表同步至一级分区表，分区字段填写一个总是报错。解决方案 例如一级分区ds，二级分区city，可以如下图配置：适用于 Dataphin 同步任务
ODPS-0123031
ODPS-0123031:Partition exception-a single instance cannot output data to more than 10000 partitions 错误描述 在INSERT INTO或INSERT OVERWRITE操作时，虽然单个MaxCompute表允许有6万个分区，但是单个作业涉及的输出表分区数量只...
概述
分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每一个分区在存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种，您需要指定分区键，根据分区键字段的值...
ACID语义
数据对象：指持有实际数据的对象，例如非分区表、分区。INTO类作业：指INSERT INTO、DYNAMIC INSERT INTO等包含关键字INTO的SQL作业。OVERWRITE类作业：指INSERT OVERWRITE、DYNAMIC INSERT OVERWRITE等包含关键字OVERWRITE的SQL作业。...
REORGANIZE PARTITION
示例 拆分 sales_range_range 表分区 p_2021 为 p_2021_1、p_2021_2，及其对应的所有子分区：ALTER TABLE sales_range_range REORGANIZE PARTITION p_2021 INTO(PARTITION p_2021_1 VALUES LESS THAN(2021)(SUBPARTITION q1_2021_1 VALUES ...
USER_PART_TABLES
partitioning_type TEXT 用于定义表分区的分区类型。subpartitioning_type TEXT 用于定义表二级分区的二级分区类型。partition_count BIGINT 表中分区的数量。def_subpartition_count INTEGER 表中二级分区的数量。partitioning_key_count ...
PartitionedTable Scan Node
用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 PolarDB PostgreSQL版（兼容Oracle）内核小版本需为V1.1.32及以上。PartitionedTableScan目前仅支持 select，不支持DML语句。PartitionedTableScan不支持partitionwise_join,...
PartitionedTable Scan Node
用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 PolarDB PostgreSQL版（兼容Oracle）内核小版本需为V1.1.32及以上。PartitionedTableScan目前仅支持 select，不支持DML语句。PartitionedTableScan不支持partitionwise_join,...
ALL_PART_TABLES
partitioning_type TEXT 用于定义表分区的分区类型。subpartitioning_type TEXT 用于定义表二级分区的二级分区类型。partition_count BIGINT 表中分区的数量。def_subpartition_count INTEGER 表中二级分区的数量。partitioning_key_count ...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
pg_partitioned_table
目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区...
原理
分区表管理原理 分区表管理是分区表另一个核心的组成部分，相比于普通表，分区表有更丰富的管理方式。分区表的管理可以分为以下10个主要模块：MODIFY：管理分区，是一类操作的集合，对象是一个一级分区，可以通过该指令管理这个分区下的二...
DBA_PART_TABLES
partitioning_type TEXT 用于定义表分区的类型。subpartitioning_type TEXT 用于定义表二级分区的二级分区类型。partition_count BIGINT 表中分区的数量。def_subpartition_count INTEGER 表中二级分区的数量。partitioning_key_count ...
全局二级索引
但是借助全局二级索引，可以仅仅扫描相应卖家所在的索引表分区，便可快速找到所需的订单信息。示例2：全局唯一约束。例如，假设用户表是一张分布式表，按照用户ID分区。如果要求用户手机号需要全局唯一，那么本地索引无法满足，必须构建...
INTERVAL RANGE简介
例如，您可以创建一个INTERVAL RANGE分区表，该表分区范围为1个月且当前的转换点为2021年9月15日。如果您尝试为2021年12月10日插入数据，那么将创建2021年9月15日至12月15日所需的3个分区，并将数据插入该分区。使用限制 INTERVAL RANGE...
- 产品推荐
- 这些文档可能帮助您