开发限制
PolarDB-X 高度兼容MySQL协议和语法，但由于分布式数据库和单机数据库存在较大的架构差异，存在SQL使用限制。本文将介绍数据库开发过程中的使用限制。常见标识符限制 类型 最大字符长度 取值范围 Database 32 大小写字母、数字和下划线（_...
RDS MySQL表分区的限制
RDS MySQL对表分区有以下限制：只能对数据表的整型列进行分区，或者数据列可以通过分区函数转化成整型列。最大分区数目不能超过1024。如果含有唯一索引或者主键，则分区列必须包含在所有的唯一索引或者主键内。不支持外键。不支持全文索引...
DDL操作常见问题
您可以重新创建一张分区表，使用动态分区SQL将源表数据导入至新分区表，详情请参见 插入或覆写动态分区数据（DYNAMIC PARTITION）。如何查看指定的分区是否存在？可以使用函数PARTITION_EXISTS查看指定的分区是否存在，更多函数信息，请...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
生命周期
MaxCompute表的生命周期（Lifecycle），指表（分区）数据从最后一次更新的时间算起，在经过指定的时间后没有变动，则此表（分区）将被MaxCompute自动回收。这个指定的时间就是生命周期。通过设置生命周期可以实现自动数据清理或数据保留，...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
COALESCE PARTITION
参数 参数 说明 table_name 分区表的名称（可以采用模式限定的方式引用）。num 减少的分区数，需要小于表分区总数。示例 减少 sales_hash_hash 表中的2个分区数：ALTER TABLE sales_hash_hash COALESCE PARTITION 2;减少 sales_key_key 表...
基本概念
CREATE DATABASE创建的就是逻辑数据库。一个 AnalyticDB for MySQL 集群最多可创建256个逻辑数据库。AnalyticDB for MySQL 文档中提到的数据库，都是指逻辑库。分片（Shard）根据分布键，将表数据水平分割后得到的子表，称为分片，英文名称...
Hologres结果表
false createparttable 当写入分区表时，是否根据分区值自动创建分区表。Blink独享 3.7及以上版本支持该功能。默认值为 false。重要 请您谨慎使用该功能，确保分区值不会出现脏数据，从而导致创建了错误的分区表。false 说明 ...
8.0.1和8.0.2版功能对比
PolarDB for MySQL 8.0.1版和8.0.2版在功能上存在一些差异，包括Warm Buffer Pool、Hash Join、弹性并行查询、执行器增强、优化器增强、分区表、多主集群（库表）、Blink Tree等方面的差异。本文介绍这两个版本的功能区别，以便您基于业务...
高度兼容性
PolarDB PostgreSQL版（兼容Oracle）兼容了丰富的表分区功能包括常用的RANGE分区、INTERVAL分区、分区SPLIT和MERGE、分区模版等，基于表分区的全局索引可以极大的提升用户的查询性能。存储过程开发语言 存储过程开发语言是业务应用常用的一...
新功能发布记录
云数据库RDS、云原生数据库PolarDB、云数据库MongoDB、云数据库Redis、云原生内存数据库Tair、云原生数据仓库AnalyticDB PostgreSQL版产品的备份恢复功能均由DBS提供，各产品功能动态详情如下。说明 更多产品动态详情，请参见 数据库备份...
INTERVAL RANGE分区
INTERVAL RANGE分区是RANGE分区的扩展，当新插入的数据超过现有分区的范围时，该分区允许数据库自动创建新分区。INTERVAL RANGE分区需要包含Interval子句并为新分区指定范围大小。范围划分的高值由范围划分键值决定，当插入的数据值超过了...
CREATE TABLE（AUTO模式）
DATABASE|CREATE DATABASE|+-+-+|part_db|CREATE DATABASE `part_db`/*MODE='auto'*/|+-+-+1 row in set(0.18 sec)创建数据库的语法详情，请参见 CREATE DATABASE。如果分区表的主键不含分区键，且不是自增主键，需要业务保证主键的唯一性...
数据膨胀、倾斜与索引统计
分区表名 分区表名称。表类型 表的存储类型，例如堆表或AO表。期望表大小 期望的表的大小，单位为Byte。期望表大小为 AnalyticDB PostgreSQL版 判断没有膨胀情况下的表大小。实际表大小 实际表的大小，单位为Byte。膨胀表大小 膨胀表的大小...
实施步骤
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版需要以下几个步骤：步骤一：创建DTS同步作业 步骤二：配置同步链路 步骤三：查看同步数据 步骤一：创建DTS同步作业 创建DTS同步作业需要用户支付一定的费用，DTS支持两种付费...
数据湖构建的审计事件
CreateTpcdsDatabase 新增TPCDS数据库。CreateUser 创建用户。CreateUserFeedback 创建用户反馈信息。DeleteBlueprintInstance 删除入湖任务。DeleteCatalog 删除数据湖目录。DeleteDatabase 删除元数据库。DeleteDataSource 删除入湖数据...
TRUNCATE
清空非分区表里的数据 将指定的非分区表中的数据清空。如果您需要清空分区表中单个或多个分区的数据，请参见 清空分区数据。命令格式 truncate table;参数说明 table_name：必填。待清空数据的非分区表的名称。清空分区数据 清空分区表中...
DML操作常见问题
如果表数据量较大，如何删除非分区表中的重复数据？执行INSERT操作过程中出现错误，会损坏原有数据吗？不会损坏原有数据。MaxCompute满足原子性，INSERT操作执行成功则更新数据，INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
读数据表
本文介绍读数据表算子的...最新分区（仅MaxCompute）：在运行时，读取分区表的一级分区中分区值最大的分区里的数据，分区最大值按字母排序。区间：读取“开始分区”到“结束分区”之间的所有分区的数据。自定义：读取指定单个指定分区的数据。
概述
分区表是将一个大的逻辑表，按照分区规则分割成多个小的物理表，大的逻辑表为分区表，小的物理表为分区，每一个分区在存储引擎上独立组织管理数据和索引。分区规则主要包括 RANGE、LIST、HASH 三种，您需要指定分区键，根据分区键字段的值...
分区表命令列表
本文总结了分区表的相关命令以及说明。分类 分区表命令 说明 创建 CREATE TABLE.PARTITION BY 创建一个分区表。CREATE TABLE.PARTITION BY HASH 创建指定分区数的HASH分区表。变更 ALTER TABLE…ADD PARTITION 将分区添加到现有的分区表中...
导出至MaxCompute
说明 导出数据到MaxCompute分区表时，需要明确指定待写入的分区，不支持同时导出到多个分区，您可以通过执行多个SQL的方式实现将数据导出到多个MaxCompute分区。MaxCompute最高支持6级分区，其他多级分区的操作步骤类似。一级分区表 CREATE...
分区
分区表是指拥有分区空间的表，即将表数据按照某个列或多个列进行划分，从而将表中的数据分散存储在不同的物理位置上。合理设计和使用分区，可以提高查询性能、简化数据管理，并支持更灵活的数据访问和操作。概述 分区可以理解为分类，通过...
2023年
本文介绍 PolarDB PostgreSQL版（兼容Oracle）的产品功能动态，分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版（兼容Oracle）的内核小版本的版本号：show polar_version;2023年12...
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
ODPS-0123031
错误码：ODPS-0123031:ODPS partition exception 错误1：maximum 60000 partitions allowed 错误信息示例 ODPS-0123031:ODPS partition exception-maximum 60000 partitions allowed 错误描述 每张MaxCompute的分区表最多允许存在 60000 个...
基本概念
新建数据库请参见 CREATE DATABASE。Schema Schema是数据库对象的集合，相当于文件系统中的目录。实例中的表和函数等对象存放于各个Schema中。成功创建数据库后，系统默认创建命名为 public 的Schema，您对实例对象的所有操作默认都在该...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
2021年
使用跨机并行查询进行分析型查询 支持对分区表使用跨机并行查询的功能，提升数据库性能。对分区表使用跨机并行查询 优化 基于RTO的crash recover时间改进 支持配置polar_crash_recovery_rto参数，指定实例期望的RTO时间，从而保证在发生...
配置MaxCompute输出
例如：配置MaxCompute表分区字段值来源为源端字段A，当A字段值为aa时，实时同步会将数据写入到MaxCompute表对应的aa分区中，当A字段值为bb时，实时同步会将数据写入到MaxCompute表对应的bb分区中。单击工具栏中的 图标。
分区表视图
您可以通过以下视图查询分区和子分区信息：ALL_PART_TABLES ALL_TAB_PARTITIONS ALL_TAB_SUBPARTITIONS ALL_PART_KEY_COLUMNS ALL_SUBPART_KEY_COLUMNS ALL_PART_TABLES ALL_PART_TABLES视图提供当前数据库中的所有分区表的信息。...
表格存储建表注意事项
放开表个数的需求一般有以下几种情况：数据量大、访问性能要求高 不同于传统的SQL数据库（例如MySQL）解决海量数据访问需求的方法是分库分表，表格存储作为分布式实现方式很好地解决了数据量及访问延迟的瓶颈。您可以将结构化或半结构化的...
分区合并
全局索引：使用另一个维度进行水平分区的数据与主表始终保持强一致的分区表。语法 ALTER { TABLE tbl_name|TABLEGROUP tg_name|TABLEGROUP BY TABLE tbl_name } merge_partition_specs_definition|merge_subpartition_specs_definition ...
概述
组合分区提供了二维分区的优点。从性能的角度来看，您可以根据SQL语句在一个或两个...数据库将二级分区表中的每个子分区存储为一个单独的物理表。因此，子分区的属性是独立的，可以与表的属性或子分区所属的一级分区不同，使用中更加灵活。
一级分区的规划和设计（2.0版）
如何评估表数据是否倾斜 登录 分析型数据库MySQL版控制台，单击 监控信息>DB表概览，查看 表明细 部分，对于存在数据倾斜的表已经标红处理，需要用户及时更换分区列。名字没有标红的表，用户也可以单击表名来查看数据分布。
创建表
基本信息配置：列配置：分区配置：二级分区为非必选项，为高级功能，详细介绍参见 二级分区表。高级属性：配置好上述参数后，单击保存。通过DDL语句创建表 详情，请参见 CREATE TABLE 注意事项 表名以字母开头，字母或数字结尾（不能以下...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
PartitionedTable Scan Node
背景信息 查询算子Append是分区表的常用算子，但是它的性能低下，为了解决这个问题，PolarDB 推出了PartitionedTable Scan算子，它是一个分区表的查询算子，比Append更加高效。用于解决分区表分区数量过多时，查询性能慢的问题。使用限制 ...
- 产品推荐
- 这些文档可能帮助您