手动分区
分区表 分区表有多个分区并分布到多个DN节点，且每个分区对应一个物理表。适用于高并发高吞吐的数据大的表。读写压力能按分区列条件自动路由到不同DN节点，实现负载均衡。方式一：手动指定所有表的分区方案 手动创建单表 语法 CREATE TABLE...
DROP PARTITION TABLE
使用限制 删除分区表父表时，默认同时删除分区表子表。PARTITION TABLE 为需要删除的目标分区表。语法 删除分区表的语法如下。DROP TABLE[IF EXISTS]table_name[,.];说明 DROP TABLE 支持一次删除多个表。参数说明如下表所示。参数 描述 IF...
分区表命令列表
ALTER TABLE…RENAME PARTITION 重命名表分区。ALTER TABLE…SPLIT PARTITION 将一个分区划分为两个分区，并重新分配新分区的内容。ALTER TABLE…SPLIT SUBPARTITION 将一个子分区划分为两个子分区，并重新分配子分区的内容。ALTER TABLE…...
动态分区
本文介绍 云数据库 SelectDB 版 动态分区相关的概念和示例，帮助您进行分区的动态管理，降低您的使用成本。概述 在某些场景下，可能会将数据库表按照天进行分区划分。如果需要手动管理分区，可能由于没有创建分区导致数据导入失败，这给...
ALTER TABLE…MERGE PARTITION
该SQL命令仅支持在LIST分区表和RANGE分区表中使用，不支持在HASH分区表中使用。如果表中已经创建索引，将在新分区中也创建该索引。语法 ALTER TABLE table_name MERGE PARTITIONS partition_name,partition_name INTO PARTITION new_part...
分区剪裁合理性评估
分区剪裁是指对分区列指定过滤条件，使得SQL执行时只用读取表分区的部分数据，避免全表扫描引起的数据错误及资源浪费。但是分区失效的情况会经常发生。本文将从以下两方面介绍分区剪裁：判断分区剪裁是否生效。分区剪裁失效的场景分析。...
常见问题
本文汇总了Hudi使用时的常见问题。Spark查询Hudi数据重复，如何处理？Hive查询Hudi数据重复，如何处理？Spark查询Hudi表分区裁剪不生效？使用Spark的alter table语句时，报错xxx is only supported with v2 tables，如何处理？Spark查询...
EXCHANGE PARTITION
语法 ALTER TABLE.EXCHANGE PARTITION 命令用于将一个分区或子分区与单表进行交换，可以将一个与分区表的表结构相同的单表交换为分区表中的一个分区或子分区。语法如下：ALTER TABLE target_table EXCHANGE PARTITION target_partition ...
PARTITION_EXISTS
按照表分区列的顺序依次写出分区值，分区值数目必须与分区列数目一致。返回值说明 返回BOOLEAN类型。如果指定的分区存在返回True，否则返回False。使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string...
数据建模
数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较方式包括：>、、>=、、=和!数据唯一性 表分区所选字段值去重后的count数与表分区总记录数的比率与一个固定值进行比较，...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
ALTER TABLE.MERGE SUBPARTITION
该SQL命令仅支持在LIST分区表和RANGE分区表中使用，不支持在HASH分区表中使用。如果表中已经创建索引，将在新分区中也创建该索引。语法 ALTER TABLE table_name MERGE SUBPARTITIONS partition_name,partition_name INTO SUBPARTITION new_...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
数据质量入门
步骤二：创建质量规则 确定校验的表分区后，需为其创建校验该表分区数据的质量规则。您可直接使用数据质量提供的模板规则，也可自定义规则。DataWorks支持自定义规则强弱，控制规则产生的影响，当数据质量校验不符合预期时，用于决定是否...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
PartitionedTable Scan Node
本文介绍了 PartitionedTable Scan Node的使用方法以及性能对比等内容。背景信息 查询算子Append是分区表的常用算子，但是...如果您在业务中分区表分区的数量较多，且plantime很慢时，我们建议您使用PartitionedTableScan进行一定程度的优化。
PartitionedTable Scan Node
本文介绍了 PartitionedTable Scan Node的使用方法以及性能对比等内容。背景信息 查询算子Append是分区表的常用算子，但是...如果您在业务中分区表分区的数量较多，且plantime很慢时，我们建议您使用PartitionedTableScan进行一定程度的优化。
ODPS-0123031
ODPS-0123031:Partition exception-a single instance cannot output data to more than 10000 partitions 错误描述 在INSERT INTO或INSERT OVERWRITE操作时，虽然单个MaxCompute表允许有6万个分区，但是单个作业涉及的输出表分区数量只...
使用说明
使用限制 DLM功能目前仅支持分区表，分区表不能包含二级分区。分区方式需要为 RANGE COLUMN 类型。暂不支持在创建 全局二级索引（GSI）的分区表上使用DLM功能。PolarDB MySQL版 不支持修改DLM策略，您可以先删除原有策略，再创建策略。当前...
管理分区计划
本文档旨在介绍如何在 ODC 上使用分区计划，包括对新建和删除的表分区进行自动管理。背景信息 分区计划是专门针对 Range 分区的扩展功能，ODC 支持依据用户设置的分区策略对 Range 分区表进行自动管理，用户无需手动创建新分区，以方便维护...
如何确定分区个数
LIST DEFAULT HASH分区 以SaaS的多租户业务表为例，您可以参考以下两种方案来确定分区个数：一个租户使用一个LIST分区，或者几个租户共用一个LIST分区。您可以评估下数据量，每个分区大约500万至1000万条数据。假设每个租户最大数据量为100...
RDS迁移至MaxCompute实现动态分区
本文为您介绍如何使用DataWorks数据集成同步功能自动创建分区，动态地将RDS中的数据迁移至MaxCompute大数据计算服务。前提条件 准备DataWorks环境 开通MaxCompute。在DataWorks上完成创建业务流程，本例使用DataWorks简单模式。详情请参见 ...
高度兼容性
PolarDB PostgreSQL版（兼容Oracle）兼容了丰富的表分区功能包括常用的RANGE分区、INTERVAL分区、分区SPLIT和MERGE、分区模版等，基于表分区的全局索引可以极大的提升用户的查询性能。存储过程开发语言 存储过程开发语言是业务应用常用的一...
数据表管理
创建普通表 CREATE TABLE命令用于创建一个表，创建表时可以定义以下内容：表的列以及 数据类型 表约束的定义 表分布定义 表存储格式 分区表定义 使用 CREATE TABLE 命令创建表，格式如下：CREATE TABLE table_name([{ column_name data_...
在线分区维护
使用说明及示例 在线分区维护功能，使得分区表的数据访问和分区维护相互不影响，用户可以更自由的进行分区维护，而不影响分区表业务流量，使用示例及效果如下：#在客户端1上输出tr表结构 SHOW CREATE TABLE tr\G*1.row*Table:tr Create ...
分区策略使用示例
设置 OceanBase MySQL 类型的表分区策略 示例：在数据源 mysql424 下数据库 test_424 中，对 order 表设置创建分区策略和删除分区策略。信息项 示例值 项目名称 odc_4.2.0 所属数据源 mysql424 数据库名称 test_424 表名称 order 在 SQL ...
何时选择间隔（Interval）分区
例如，您可以创建一个INTERVAL RANGE分区表，该表分区范围为1个月且当前的转换点为2021年9月15日。如果您尝试为2021年12月10日插入数据，那么将创建2021年9月15日至12月15日所需的3个分区，并将数据插入该分区。下列情况下建议您使用间隔...
表操作
类型 功能 角色 操作入口 创建表 创建非分区表、分区表、外部表或聚簇表。具备项目创建表权限（CreateTable）的用户。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接 使用DataWorks...
pg_partitioned_table
目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区...
概述
一级分区与二级分区完全正交 PolarDB-X 的一级分区与二级分区均支持使用以下的7种的分区策略：HASH分区 KEY分区 RANGE分区 RANGE COLUMNS分区 LIST分区 LIST COLUMNS分区 CO_HASH分区 因此，PolarDB-X 的一级分区与二级分区是完全正交的...
并发控制
可以通过将表分区为与操作条件中使用的列相同的列来使两组文件不相交。例如，UPDATE table WHERE date>'2010-01-01'.DELETE table WHERE date如果表未按日期分区，则这两个命令和将发生冲突，因为这两个命令都可以尝试修改相同的一组文件。...
分区和列操作
示例4：增加Delta Table表分区-创建delta table表 create table mf_tt(pk bigint not null primary key,val bigint not null)partitioned by(dd string,hh string)tblproperties("transactional"="true");添加分区 alter table mf_tt add ...
ALTER PARTITION TABLE
其中：与父表保持一致：即对应的属性分区子表必须和父表保持一致，若不一致，在分区子表绑定（ATTACH）父表时会报错，需要重新创建分区子表。不要求与父表一致：即对应的属性分区子表可以与父表不一致，如果子表没有显式指定属性，则会继承...
MaxCompute表的高级功能
表（分区）数据从最后一次更新时间算起，在指定的时间段（即生命周期）内如果没有变动，则此表（分区）将被MaxCompute自动回收。生命周期只能以表为单位进行设置。创建表test_lifecycle，指定其生命周期为100天。create table test_...
表操作
创建表 创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 ...
分区合并
执行以下SQL将表组mytg1的p1、p2合并成一个新分区p12（意味着tb1和tb2的分区p1、p2会同步的合并成一个新分区p12）：ALTER TABLEGROUP mytg1 MERGE PARTITIONS p1,p2 TO p12 List/List column 分区表分区合并 对于list/list column分区策略...
分区连接
当分区表之间使用分区键进行Join时，可以通过分区连接减少分区之间无效的连接，提升连接查询的性能。使用说明 可通过如下语句开启分区连接功能：set enable_partitionwise_join to on;示例 下文通过两个简单易理解的示例来详细介绍分区连接...
分区连接
当分区表之间使用分区键进行Join时，可以通过分区连接减少分区之间无效的连接，提升连接查询的性能。使用说明 可通过如下语句开启分区连接功能：set enable_partitionwise_join to on;示例 下文通过两个简单易理解的示例来详细介绍分区连接...
分区连接
当分区表之间使用分区键进行Join时，可以通过分区连接减少分区之间无效的连接，提升连接查询的性能。使用说明 可通过如下语句开启分区连接功能：SET enable_partitionwise_join to ON;示例 下文通过两个简单易理解的示例来详细介绍分区连接...
分区设计
按自增主键切分，若表分区方式为分区表，主键为自增，且该字段同时为分区键，则此时写入为随机分区，按照非主键查询时需要读取所有分区，适合有数据偏斜且写多读少的场景；至少保证在分区键上有一个索引。业务列 其它的列统归为此类，仅...
- 产品推荐
- 这些文档可能帮助您