Node Labels特性使用
指定队列在指定可访问分区的可超用的最大资源容量。yarn.scheduler.capacity.<queue-path>.default-node-label-expression 分区名，默认为空字符串代表DEFAULT分区。指定队列所提交作业中没有特别指定分区的容器请求所使用的默认分区。必须...
AUTO模式数据库与DRDS模式数据库
自动分区与手动分区 自动分区 自动分区，指创建表时不指定任何分区定义（如分区键、分区策略等），PolarDB-X 能够自动选择分区键并对表及其索引进行水平分区的功能。AUTO模式数据库支持自动分区，而DRDS模式数据库不支持。示例如下：使用...
上下游存储
增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？MaxCompute连接器运行报错：ErrorMessage=Authorization Failed[4019],You have NO privilege 如何填写增量MaxCompute的startPartition参数？为什么带有增量...
使用说明
分区表一定要指定上传的分区，多级分区一定要指定到末级分区。更多信息请参见 Upload。Download：下载MaxCompute表或指定Instance执行结果至本地。只支持下载到单个文件，每一次下载只支持下载一张表或一个分区到一个文件。分区表一定要...
何时使用Range-Range分区
Range-Range分区是指一级分区是Range分区，二级分区也是Range分区的组合分区类型。Range-Range分区适用于在多个时间维度上存储与时间相关的数据应用程序，这些应用程序通常不使用某个特定的时间维度来访问数据，而是使用另一个时间维度，...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
通过外表导入至数仓版
说明 TABLE_PROPERTIES 中的 partition_column 属性必须声明分区列（本例中的p1、p2、p3）且 partition_column 属性里必须严格按照第1级、第2级、第3级的顺序声明（本例中p1为第1级分区，p2为第2级分区，p3为第3级分区）。列定义中必须定义...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
MaxCompute（原ODPS）数据源配置
2:分区过滤规则，支持指定多个分区字段的值，不同分区字段用逗号分隔，如：pt1=1,pt2=2,pt3=3 将匹配同时满足pt1=1，pt2=2，pt3=3的所有分区【多分区目前不支持function功能，即不支持%Y%m%d|-1 days这样的，单分区是可以支持的】。...
Hive数据源
ALTER PARTITION 如果是重命名，先删除旧名字的分区，再用新名字创建分区，否则令该分区的缓存失效。重要 当导入数据导致文件变更时，分区表会执行ALTER PARTITION的event逻辑，未分区表会执行ALTER TABL的event逻辑。如果绕过HMS直接操作...
INTERVAL RANGE简介
INTERVAL RANGE是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。前提条件 集群版本需为 PolarDB MySQL版 8.0.2版本且Revision version为8.0.2.2.0及以上。您可以通过 查询版本号 确认集群版本。...
何时选择RANGE分区
RANGE分区用边界定义了表或索引中分区的范围和分区间的顺序。RANGE分区通常用于在DATE类型的列上按时间间隔组织数据。因此，大多数访问RANGE分区的SQL语句都关注时间范围。这方面的一个例子是类似于“从特定时间段选择数据”的SQL语句。在...
概述
PolarDB MySQL版 支持在分区表上创建部分索引（Partial Index），即索引可以只创建在分区表的某一个或多个分区上，而不需要在所有分区上同时创建索引。您可以在各个分区上创建不同的索引，以满足对不同分区的查询要求，同时可以节省大量的...
为什么分区消费时间相差较大、滞后明显或乱序？
同一个 Group 的所有消费端实例，分区消费时间相差较大、滞后明显或乱序。现象 在 云消息队列 Kafka 版 控制台 的 Group 管理 页面，找到目标Group，在其 操作 列，选择 更多>消费状态。在 Group 详情 的 消费状态 页签，显示该Group订阅的...
创建APM Server实例
在 APM Server管理 页面查看创建成功的APM Server实例。您可以在 APM Server管理 页面，修改实例配置文件、变更实例配置、停止或删除实例等，详细信息请参见 管理APM Server实例。后续步骤 参见 登录Kibana控制台，登录APM Server关联的...
概述
List Default[Hash]分区类型 支持List Default[Hash]分区 LIST DEFAULT HASH 支持List Default[Hash]分区下面做二级分区 二级分区支持List Default分区 支持通过reorganize从default[Hash]分区分离出List分区 支持通过reorganize List分区...
原理
本文概述了分区表模块的主要实现原理，便于用户了解分区表在底层实现时的一些细节，从而能够更好地学习如何去使用分区表。分区表创建原理 分区表的创建主要涉及语法解析模块和执行模块。语法解析模块 分区表创建是分区表整个功能的核心部分...
存储成本优化
本文从数据分区、表生命周期和定期删除表3个方面为您介绍如何优化存储成本。对于存储优化而言，有三个关键点：合理地进行数据分区。设置合理的表生命周期。定期删除废表。合理设置数据分区 MaxCompute将分区列的每个值作为一个分区。您可以...
pg_partitioned_table
目录 pg_partitioned_table 存放有关表如何被分区的信息。列名称 列类型 描述 partrelid oid 这个分区表的 pg_class 项的OID。partstrat char 分区策略。取值范围如下：h：哈希分区表。l：列表分区表。r：范围分区表。partnatts int2 分区...
ADD PARTITION
本文档介绍了将分区和子分区添加到现有分区表中的方法。语法 ALTER TABLE…ADD PARTITION 命令用于将分区和子分区添加到现有的分区表中。ALTER TABLE table_name ADD PARTITION partition_definition;partition_definition 为：{list_...
在LIST或RANGE 分区表中处理偏离值
定义DEFAULT 分区 分区DEFAULT会捕获那些在LIST分区（或子分区）表中不适用于任何其他分区的记录。如果不包括一个DEFAULT规则，那么任何不匹配分区约束中的其中一个值的记录都会导致错误。每个LIST分区或子分区可能会有自己的DEFAULT规则。...
读数据表
本文介绍读数据表算子的...最新分区（仅MaxCompute）：在运行时，读取分区表的一级分区中分区值最大的分区里的数据，分区最大值按字母排序。区间：读取“开始分区”到“结束分区”之间的所有分区的数据。自定义：读取指定单个指定分区的数据。
Dataphin管道任务是否支持数据数仓的动态分区
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
分区迁移
注意事项 本文要求 PolarDB-X 实例版本必须为5.4.14-16539836及以上...场景 4：目标分区是非模板化的二级分区 和场景3不一样，当二级分区是非模板化分区时，迁移二级分区就是迁移具体的分区，语法请参见 场景3：目标分区是模板化的二级分区。
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个维度上利用分区修剪。二级分区允许将表、索引和索引组织的表细分为更小的块，从而能够以更细的粒度级别管理和访问这些数据库对象。例如可以为分区实现一个...
分区表常见问题
本文汇总了 PolarDB MySQL版 分区表相关的常见问题。说明 如需了解更多关于分区表的内容，请搜索钉钉群号加群进行咨询。钉钉群号：24490017825。PolarDB MySQL版 是否支持表分区?支持。目前 PolarDB MySQL版 100%兼容MySQL，同时做了功能和...
ALTER TABLE…MOVE PARTITION
使用ALTER TABLE…MOVE PARTITION命令可将分区或子分区移动到不同的表空间中。语法介绍 ALTER TABLE…MOVE PARTITION命令有两种形式：第一种形式是将分区移动到一个新的表空间中：ALTER TABLE table_name MOVE PARTITION partition_name ...
数据建模
波动率计算公式=【（源表当前分区的表行数-对比指定分区的表行数）/源表当前分区的表行数】*100%。比较方式默认为绝对值。数据完整率 表分区所选字段值全部非空的count数与表分区总记录数的比率与一个固定值进行比较，符合规则则通过。比较...
全局二级索引（GSI）
局部索引单个分区的数据由分区表单个分区的数据构建而成，且局部索引的分区与分区表的分区一一对应，所以，局部索引的索引数据只能保证在单个分区内有序，如果您想创建局部唯一索引，则索引字段必须包含全部的分区键。当分区表上只存在局部...
分区表管理（auto_partition）
AnalyticDB PostgreSQL版 支持将大表定义为分区表，并支持通过auto_partition插件对分区表进行自动删除或新增，当您进行条件查询时，系统只会扫描满足条件的分区，避免全表扫描，从而提升查询性能。新增分区的粒度包括小时，天，星期，月，...
重命名分区
注意事项 本文要求 PolarDB-X 实例版本必须为5.4.14-16539836及以上...场景 4：目标分区是非模板化的二级分区 和场景3不一样，当二级分区是非模板化分区时，重命名二级分区就是重命名具体的分区，语法同 场景3：目标分区是模板化的二级分区，
COALESCE PARTITION
本文档介绍了减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他分区和子分区中的方法。语法 ALTER TABLE…COALESCE PARTITION 命令用于减少基于HASH和KEY分区的分区数和对应分区的所有子分区，并将数据合并到其他...
ANALYZE PARTITION
语法 ALTER TABLE.ANALYZE PARTITION 命令用于更新分区或子分区的统计信息：ALTER TABLE table_name ANALYZE PARTITION {partition_names|ALL} 其中，partition_names 为：{partition_name|subpartition_name} 参数 参数 参数说明 table_...
Quick Audience标签导入任务如果是分区表做IDMapping...
概述 Quick Audience标签导入任务如果是分区表做IDMapping时是否会把分区字段作为关联条件。详细信息 分区表，IDMapping的时候只会取当天分区的数据进行Mapping，不存在是否会把时间分区字段作为关联条件的场景。适用于 Quick Audience
分区合并
执行以下SQL将表组mytg1的p1、p2合并成一个新分区p12（意味着tb1和tb2的分区p1、p2会同步的合并成一个新分区p12）：ALTER TABLEGROUP mytg1 MERGE PARTITIONS p1,p2 TO p12 List/List column 分区表分区合并 对于list/list column分区策略...
修改部分索引
修改分区表上的部分索引，即在分区粒度上添加、重建和删除二级索引。语法 为分区添加部分索引。ALTER TABLE table_name ALTET INDEX index_name ADD PARTITION partition_name0[,.];重建分区上的部分索引。ALTER TABLE table_name ALTET ...
ALTER TABLE…ADD PARTITION
ALTER TABLE…ADD PARTITION命令用于将分区添加到现有的分区表中。语法介绍 使用ALTER TABLE…ADD PARTITION命令把分区添加到现有的分区表中。语法如下：ALTER TABLE table_name ADD PARTITION partition_definition;其中 partition_...
Quick BI数据准备选择MaxCompute表，分区输入不合法
概述 本文主要描述了Quick BI数据准备选择MaxCompute表，分区输入不合法的解决方法。详细信息 分区的正确格式为：pt='${mydata}' 适用于 Quick BI v.4.3
移动分区
PolarDB PostgreSQL版（兼容Oracle）支持将分区或者子分区移动到新的表空间。语法说明 移动分区 ALTER TABLE<table_name>MOVE PARTITION<partition_name>TABLESPACE;移动子分区 ALTER TABLE<table_name>MOVE PARTITION<partition_name>...
REPAIR PARTITION
本文档介绍了修复损坏的分区或子分区的方法。语法 ALTER TABLE.REPAIR PARTITION 命令用于修复损坏的分区或子分区：ALTER TABLE table_name REPAIR PARTITION {partition_names|ALL} 其中，partition_names 为：{partition_name|...
- 产品推荐
- 这些文档可能帮助您