并行查询
PolarDB PostgreSQL版（兼容Oracle）支持分区表的并行查询（Parallel Append）功能，可以更好地处理大规模数据的查询。概述 当代计算机往往有更多的核心可以使用，并行查询是现代数据库必不可少的能力。PolarDB PostgreSQL版（兼容Oracle）...
PyODPS读取分区表数据
本文为您介绍如何通过PyODPS读取分区表数据。前提条件 您需要完成以下操作：已 开通MaxCompute。已 开通DataWorks。在DataWorks上完成业务流程创建，本例使用DataWorks简单模式。详情请参见 创建业务流程。操作步骤 准备测试数据。创建表并...
数据膨胀、倾斜与索引统计
分区表名 分区表名称。表类型 表的存储类型，例如堆表或AO表。期望表大小 期望的表的大小，单位为Byte。期望表大小为 AnalyticDB PostgreSQL版 判断没有膨胀情况下的表大小。实际表大小 实际表的大小，单位为Byte。膨胀表大小 膨胀表的大小...
DISCARD PARTITION
其中，partition_name 为：{partition_name|subpartition_name} 参数 参数 参数说明 table_name 分区表的名称（可以采用模式限定的方式引用）。partition_name 要删除的分区名称。subpartition_name 要删除的子分区名称。示例 丢弃 sales_...
ALTER TABLE…ADD PARTITION
ALTER TABLE…ADD PARTITION命令用于将分区添加到现有的分区表中。语法介绍 使用ALTER TABLE…ADD PARTITION命令把分区添加到现有的分区表中。语法如下：ALTER TABLE table_name ADD PARTITION partition_definition;其中 partition_...
分区和列操作
添加列名或注释 为已存在的非分区表或分区表添加列或注释。修改列名或注释 修改非分区表或分区表的列名或注释。添加分区 为已存在的分区表新增分区。限制条件 MaxCompute单表支持的分区数量上限为6万个。对于有多级分区的表，如果需要添加...
DML语句
INSERT INTO 表示向分区表或非分区表插入数据。代码示例如下所示：向非分区表 h0 中插入数据。insert into h0 select 1,'a1',20;向静态分区表 h_p0 中插入数据。insert into h_p0 partition(dt='2021-01-02')select 1,'a1';向动态分区表 h_...
CREATE TABLE AS
从分区父表或者子表复制出一张新的非分区表，分区表只能复制成非分区表。准备一张分区表、分区子表以及表数据。BEGIN;CREATE TABLE public.src_table_partitioned("a"int NOT NULL,"b"text,PRIMARY KEY(a))PARTITION BY LIST(a);CREATE ...
归档为CSV或ORC格式
归档分区表 说明 归档分区表功能目前处于灰度阶段，如需使用，请前往 配额中心，根据 配额ID polardb_mysql_hybrid_partition 找到配额名称，在对应的操作列单击 申请 来开通该功能。企业版 集群版本为 PolarDB MySQL版 8.0.2版本且修订...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
数据规范
物品详情表应符合 数据表分区 规范，仅支持“依赖数据源产出新分区”调度策略，因此必须为分区表。Vector向量表 物品向量表要求有两个数据字段，其中一个字段为 主键，同时也是 分片字段，另一个字段为 向量。表中的记录和物品一一对应，...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
库表
如何修改二级分区表生命周期（lifecycle）？是否支持修改分布字段和分区字段？如何查看表的所有二级分区及分区的统计信息？分片数跟什么因素有关系，是否可以自己调整？如何删除索引？如何解决删除数据库时提示“schema is not empty.”？...
polar_ddl_manager
背景信息 在PostgreSQL中，增加分区表varchar列长度时，会自动重建被修改列相关的索引，导致 ALTER TABLE 执行效率很低。此外，ALTER TABLE 需要持有 ACCESS EXCLUSIVE 锁，会长时间阻塞其他连接对该表的访问。PolarDB PostgreSQL版 支持 ...
AUTO模式数据库与DRDS模式数据库
分区表的默认路由算法是基于range的一致性HASH算法，这种算法天然支持通过分裂、合并操作等变更分区，并且无须rehash所有数据，因此，AUTO模式的分区表具备分区级的变更能力。功能对比 与DRDS模式数据库相比，AUTO模式数据库新增了自动分区...
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
分区合并
对于非list/list column策略的分区表，只能合并相邻分区。名词解释 表组：分区列完全相同的一组逻辑表或全局索引表的集合。全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。语法 ALTER { TABLE tbl_name|...
清空分区
基于表名进行表组级的分区清空操作（注意，表组内的分区表不能是GSI表或含有GSI的分区表）ALTER TABLEGROUP BY TABLE r_t1/*表名*/TRUNCATE PARTITION p1;场景2：清空一个含有二级分区的一级分区 由于一级分区下含有二级分区，所以清空一级...
全局索引
全局索引（Global Index）是分区表上的一种索引技术，可以创建在分区表的非分区键上，也支持提供唯一约束。背景信息 分区表的Local Index，指每个分区都以一个Local Index分区，Local Index的分区规则和表的分区规则保持一致，因此Local ...
CREATE TABLE.PARTITION BY
使用CREATE TABLE命令的PARTITION BY子句来创建一个分区表，这个分区表中的数据分配在一个或多个分区（和子分区）中。语法介绍 CREATE TABLE命令语法有下面的三种形式：列表分区语法 使用第一种形式创建一个列表分区表：CREATE TABLE...
分区设计
分区键（Partition Key）用户的分区表必须按照一种维度进行数据划分，用户在按照分区键维度进行查询时，就能做到线性性能增长，分区键通常有如下选择方法：按业务ID切分，如用户ID、商品ID等，适合每个业务ID的数据较均匀且查询简单的场景...
ALTER TABLE…MERGE PARTITION
该SQL命令仅支持在LIST分区表和RANGE分区表中使用，不支持在HASH分区表中使用。如果表中已经创建索引，将在新分区中也创建该索引。语法 ALTER TABLE table_name MERGE PARTITIONS partition_name,partition_name INTO PARTITION new_part...
Hologres开发：周期性调度
因此，您可以将MaxCompute的分区表或非分区表导入Hologres的分区或非分区表，可以根据实际业务情况选择是否需要分区。前往DataWorks调度会产生一定的调度费用，详细收费情况，请参见 DataWorks资源组概述。如果需要实现写入更新，您需要...
新建分区
新建分区是指在已有的分区表上新增一个分区。本文介绍了新建分区的语法及其示例。语法说明 CREATE TABLE[IF NOT EXISTS]table_name PARTITION OF parent_table[({ column_name[WITH OPTIONS][column_constraint[.]]|table_constraint }[,.]...
PolarDB MySQL版8.0.2版本发布日志
修复分区表的所有分区在分区剪枝阶段都被裁剪掉的情况下，使用RANGE INDEX访问分区表的全局二级索引时，触发ASSERT CRASH（断言错误）的问题。修复将冷数据归档为ORC格式时，因表中存在Blob类型的字段导致归档失败的问题。修复MRR等场景下...
Dataphin中物理表丢失问题
问题描述 Dataphin中SQL执行时，发现物理表丢失。问题原因 由于创建非分区表的时候，误设置表生命周期，到期后自动回收了。新建test_lifecycle表，生命周期为100天。create table test_lifecycle(key string)lifecycle 100;解决方案 1.建非...
8.0.2版本发布说明
分区表能力增强 支持更多的分区表类型 组合分区（分区+子分区）支持更多的分区表类型RANGE-RANGE、RANGE-LIST、LIST-RANGE、LIST-LIST、HASH-HASH、HASH-KEY、HASH-RANGE、HASH-LIST、KEY-HASH、KEY-KEY、KEY-RANGE、KEY-LIST、LIST ...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
DDL语句
创建非分区表的示例如下所示：创建表类型为 cow，主键为 id 的非分区表。create table if not exists h0(id bigint,name string,price double)using hudi options(type='cow',primaryKey='id');创建表类型为 mor，主键为 id 和 name 的非...
计划加速
该参数有如下两个特殊取值：当 polar_num_parts_for_partitionedscan=-1 时，表示不管分区表的子分区数量是多少，都启用 PartitionedTableScan。当 polar_num_parts_for_partitionedscan=0 时，表示不管分区表的子分区数量是多少，都不会...
使用ODPS Foreign Table访问MaxCompute数据
末级分区外表 相对于非分区外表，末级分区外表，映射的是MaxCompute的末级分区表，需要设置正确的 partition 属性，多级分区时，末级分区外表只支持末级分区表，即 partition 属性需要包含多级分区完整路径。举例说明：在MaxCompute上创建...
计划加速
该参数有如下两个特殊取值：当 polar_num_parts_for_partitionedscan=-1 时，表示不管分区表的子分区数量是多少，都启用 PartitionedTableScan。当 polar_num_parts_for_partitionedscan=0 时，表示不管分区表的子分区数量是多少，都不会...
MaxCompute表的高级功能
MaxCompute会根据每张非分区表或者分区表中分区的LastModifiedTime和Lifecycle的设置，判断是否要进行回收操作。MaxCompute SQL提供TOUCH操作，将表或分区的LastModifiedTime值修改为当前时间。如果您使用TOUCH操作，MaxCompute会认为表或...
PARTITION_EXISTS
使用示例-创建分区表foo。create table foo(id bigint)partitioned by(ds string,hr string);为分区表foo新增分区。alter table foo add partition(ds='20190101',hr='1');查询分区ds='20190101'和hr='1'是否存在。返回结果为True。select ...
创建部分索引
您可以在 创建分区表的同时创建部分索引 或 在已创建好的分区表上创建部分索引。创建分区表的同时创建部分索引 语法 CREATE[TEMPORARY]TABLE[IF NOT EXISTS]table_name[(create_definition,.)][table_options]partition_options.其中，...
MAX_PT
返回分区表的一级分区中有数据的分区的最大值，按字母排序，且读取该分区下对应的数据。注意事项 max_pt 函数也可以使用标准SQL实现，select*from table where pt=max_pt("table");可以改写为 select*from table where pt=(select max(pt)...
DDL语句
修改表的注释 是 修改表的修改时间 是 修改表的聚簇属性 支持增加聚簇属性 不支持删除聚簇属性 重命名表 是 删除表 是 查看表或视图信息 是 查看分区信息 是 列出项目空间下的表和试图 是 列出所有分区 是 修改表的所有人 否 清空非分区...
- 产品推荐
- 这些文档可能帮助您