数据写入方式概述
OSS外表为各个数据分区(Segment)并行读取，单分区从OSS加载的能力即可达到30 MB，整体加载速率随分区数线性扩展。方式一：INSERT语句 通过INSERT语句写入数据，为提升写入速度，建议单条INSERT语句拼装多个值VALUE执行，可实现每秒 MB数据...
CREATE TABLE
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
表的创建和使用
分区名（partition_name）必须是引擎内部统一分区值，可以通过如下的SQL语句获取某个表的所有分区（此SQL暂时无法获取分区信息，有需要请钉钉联系DBA）：select partition_name from information_schema.partitions where table_name='your...
表操作篇
表格存储会对表中的行按主键进行排序，合理设计主键可以让数据在分区上的分布更加均匀，从而能够充分地利用表格存储水平扩展的特点。选取分区键时，建议遵循以下几个原则：单个分区键值中的数据不宜过大，建议不超过 10 GB。说明 单个分区...
通道服务概述
数据消费能力水平扩展 通道服务提供了逻辑分区的自动负载均衡功能，负载均衡增加了消费端数量，从而提高水平扩展数据消费速度。注意事项 由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
扩容分区和文件系统（Windows）
在ECS控制台上扩容云盘（系统盘或数据盘）容量后，对应分区的文件系统并未扩容，您需要进入ECS实例内部继续扩容云盘的分区和文件系统。本文为您介绍如何将Windows实例的云盘扩容部分的容量用于扩容原有分区或者新增分区。前提条件 已在ECS...
分区格式化数据盘
MBR目前是最常用的分区形式，MBR只支持处理不大于2 TiB的数据盘，且只支持分4个主区，如果您要将磁盘分成更多的区，需要将某个主区作为扩展区并在其中创建逻辑分区。在 磁盘管理 对话框，右键单击 磁盘 1 的 未分配 区域，单击 新建简单卷...
扩容数据盘
右键单击 磁盘 1 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
升级配置
右键单击 磁盘 0 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
应用场景
而 OceanBase 数据库利用分区表的方案及其带来的水平扩展能力，完美地解决了这一问题。只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，...
技术原理
分布式线性扩展 PolarDB-X将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，...
手动创建分区表（AUTO模式）
PolarDB-X还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。更多详细内容请参见 分区类型介绍。二级分区 PolarDB-X 的二...
扩容数据盘分区
对于待分配的磁盘容量，您可以将扩容部分的容量用于扩容原有磁盘分区，也可以新增磁盘分区。本文为您介绍如何扩容已有数据盘分区。背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
索引介绍
不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作HBase的RowKey，每一列其实都只是整体...
LIST
本文档介绍了创建LIST分区表的方法。语法 创建LIST分区表。枚举类型分区，需要把每个分区的分区键的值枚举出来，枚举值不能重复。支持扩展类型LIST COLUMNS。CREATE TABLE.PARTITION BY LIST {(expr)|COLUMNS(column_list)}(partition_...
偏分析场景的实践和优化
同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联条件下推，避免数据被拉取到计算层做计算。尽可能选择值分布均匀的字段作为分区键，这样...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
HDFS受限于集群规模和成本因素，无法无限扩展，容量存在瓶颈。阿里云提供OSS/OSS-HDFS作为HDFS的替代或补充，扩展云上Hadoop平台的存储能力。JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍...
为什么使用表格存储过程中会有少量的500错误
表格存储使用上述的自动负载均衡机制实现表数据规模和访问并发的自动扩展，全程无需人工介入，当然在数据表新建立时，只有一个数据分区，该表上能够提供的读写并发有限，自动负载均衡机制也有一定的延时性，所以可以直接联系到我们的工程师...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
2023年
2023年01月 V6.3.10.9 类别 功能 功能描述 相关文档 新增 分区表 AnalyticDB PostgreSQL版 分区表新增如下功能：子分区支持重命名。分区时可以指定分区子表的名称。分区表支持DETACH和ATTACH命令。表分区定义 实例扩缩容 AnalyticDB ...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
pg_depend
例如：子分区索引与其所基于的分区表和父分区索引是分区相关的，因此只要其中一个删除，则子分区索引就消失，否则，就不消失。父索引上的依赖关系是主要的，故如果用户试图删除子分区索引，错误消息反而会建议删除父索引（不是表）。...
什么是EMR Serverless Milvus
它包含了数据分区分片、持久化、增量摄取、混合查询等高级功能，同时支持time travel操作，提供了直观的API和多语言SDK，适用于推荐系统、图像检索、视频分析、自然语言处理等多个AI领域。产品优势 云原生极速向量检索服务 集成了Vector...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
常见问题
控制台看到的最近消费时间是什么意思？如何查看哪些IP在消费消息？哪里可以找到消费最佳实践？消费端挂载NFS是否会影响消费速度？如何在控制台管理Consumer的offset？为什么在控制台看不到消费者的客户端信息？为什么在控制台看不到Group的...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版...
2024年
GANOS时空引擎扩展 缺陷修复 修复备份恢复的过程中恢复实例失败（Host key verification failed）的问题。修复对分区表使用分区键建立索引无法正确选择Index Scan的问题。修复在JOIN ON条件中，跨级别Sublink上拉导致生成错误执行计划的...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
表设计
这个表设计有很明显的热点问题，每次数据写入都是在表的末尾追加数据，而数据是按照分区键的范围进行分区的，也就是每次数据写入都会写入最后一个分区，而无法把写入负载平衡到多台机器上。这种情况下，单分区的写入能力就是整个表的写入...
6.0版本与7.0版本兼容性注意事项
partdefid oid pg_class.oid 分区表默认分区（子分区）的pg_class项的OID，如果分区表没有默认分区则为0。partattrs int2vector pg_attribute.attnum 长度为partnatts值的数组，指示分区键的组成部分。例如，取值 1 3 表示第一和第三个列...
表设计规范
分区设计与存储逻辑 一张表里有很多个一级分区，每个一级分区都会按时间存储二级分区，每个二级分区都会存储所有的列，如下图所示。分区设计需要注意：设置分区的数量上限。避免每个分区中只存少量数据。以方便数据查询和计算为前提设置...
PolarDB PostgreSQL版：ePQ架构详解
分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪的支持。除此之外，PolarDB PostgreSQL版 分布式ePQ执行引擎还支持分区表的Partition Wise Join。并行度弹性控制：包括全局级别、表...
PolarDB PostgreSQL版：ePQ架构详解
分区表支持：不仅包括对Hash/Range/List三种分区方式的完整支持，还包括对多级分区静态裁剪、分区动态裁剪的支持。除此之外，PolarDB PostgreSQL版（兼容Oracle）分布式ePQ执行引擎还支持分区表的Partition Wise Join。并行度弹性控制：...
2019年
2019-06-25 全部区域 UDT概述 UDTF和UDAF支持动态参数 UDAF和UDTF支持动态参数，扩展Resolve注解的语法，使UDF的开发更加灵活。2019-06-24 全部区域 UDAF和UDTF动态参数说明 UDF支持分区裁剪 UDF支持分区裁剪，为您降低计算成本。2019-06-...
DataWorks的审计事件
CheckEngineMetaPartition 检查计算引擎元数据表分区。CheckEngineMetaTable 检查计算引擎元数据表。CheckFileDeployment 检查待发布文件。CheckMetaPartition 检查分区是否存在。CheckMetaTable 检查表是否存在。CheckMetaTableTask 检查...
AUTO模式核心特性及典型场景
热点分裂——有效解决数据热点 对于热点数据，PolarDB-X 支持两种处理方式：第一种方案是将热点数据所在的分区数据迁移到特定的数据节点，让热点数据以独享存储资源的方式服务业务，能够实现热点数据不影响非热点数据的业务。具体操作步骤...
- 产品推荐
- 这些文档可能帮助您