OpenEvent概述
新增节点事件 更新节点事件 删除节点事件 扩展点事件：兼容普通事件特性，此外，该类型事件还支持将本地程序注册为DataWorks扩展程序，实现扩展程序对扩展点事件的自定义逻辑处理与流程管控。下线节点前置事件 冻结节点前置事件 解冻节点...
扩容分区和文件系统（Windows）
在ECS控制台上扩容云盘（系统盘或数据盘）容量后，对应分区的文件系统并未扩容，您需要进入ECS实例内部继续扩容云盘的分区和文件系统。本文为您介绍如何将Windows实例的云盘扩容部分的容量用于扩容原有分区或者新增分区。前提条件 已在ECS...
分区格式化数据盘
MBR目前是最常用的分区形式，MBR只支持处理不大于2 TiB的数据盘，且只支持分4个主区，如果您要将磁盘分成更多的区，需要将某个主区作为扩展区并在其中创建逻辑分区。在 磁盘管理 对话框，右键单击 磁盘 1 的 未分配 区域，单击 新建简单卷...
扩容数据盘
右键单击 磁盘 1 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
升级配置
右键单击 磁盘 0 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
开发部署扩展程序：自建服务方式
在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过自建服务开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 拥有 ...
应用场景
而 OceanBase 数据库利用分区表的方案及其带来的水平扩展能力，完美地解决了这一问题。只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，...
全局二级索引（GSI）
当查询语句不含分区键时会引起全分区扫描，即单个查询会被路由到所有分区，平均来看1个逻辑查询给单个存储节点施加的查询负载为1，单个存储节点的性能上限就是整个分布式数据库的性能上限，系统失去了线性扩展能力。PolarDB-X 提供了全局二...
技术原理
分布式线性扩展 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希...
手动分区
但是，手动分区可以让用户选择最适合应用场景的维度进行水平切分，因此，手动分区最能发挥出分布式数据库的扩展性与高性能。在实际应用的过程中，关于透明分布式的手动分区工作模式的适用场景，可以参考 最佳实践。创建使用手动分区的数据...
订阅者最佳实践
更多信息，请参见 为什么消费客户端频繁出现Rebalance？分区个数 分区个数主要影响的是消费者的并发数量。对于同一个Group内的消费者来说，一个分区最多只能被一个消费者消费。因此，消费实例的个数不要大于分区的数量，否则会有消费实例...
概述
分区类型介绍 PolarDB-X 数据库提供了多种不同类型的分区策略，用于数据库控制如何将数据放入分区，包括以下几种：Hash类型的分区策略 HASH（兼容社区MySQL的HASH分区语法）KEY（兼容社区MySQL的KEY分区语法）Range类型的分区策略 RANGE...
索引介绍
不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作HBase的RowKey，每一列其实都只是整体...
扩容数据盘分区
对于待分配的磁盘容量，您可以将扩容部分的容量用于扩容原有磁盘分区，也可以新增磁盘分区。本文为您介绍如何扩容已有数据盘分区。背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘...
LIST
本文档介绍了创建LIST分区表的方法。语法 创建LIST分区表。枚举类型分区，需要把每个分区的分区键的值枚举出来，枚举值不能重复。支持扩展类型LIST COLUMNS。CREATE TABLE.PARTITION BY LIST {(expr)|COLUMNS(column_list)}(partition_...
使用OSS Foreign Table分区表
例如，分区表需要按照year列划分一级分区，再按照month划分二级分区，其中某个一级分区为 year=2022、二级分区为 month=07，那么属于这个分区的数据文件必须要放在 oss:/bucket/year=2022/month=07 的目录下。创建OSS Server和创建OSS User...
开发部署扩展程序：函数计算方式
在DataWorks扩展程序中，您可以自定义逻辑以监管用户的操作行为，例如拦截和阻断不当行为，通过扩展程序对特定事件进行消息通知与流程管控。本文为您介绍如何通过函数计算方式开发部署扩展程序。权限说明 开放平台管理员 和 租户管理员 ...
偏分析场景的实践和优化
同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联条件下推，避免数据被拉取到计算层做计算。尽可能选择值分布均匀的字段作为分区键，这样...
常见问题
分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有明显的时间属性，例如查询语句携带一个时间字段作为过滤字段，建议设置时间分区属性。在业务查询场景中，多数情况...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
HDFS受限于集群规模和成本因素，无法无限扩展，容量存在瓶颈。阿里云提供OSS/OSS-HDFS作为HDFS的替代或补充，扩展云上Hadoop平台的存储能力。JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍...
为什么使用表格存储过程中会有少量的500错误
当某个数据分区的数据量过大，或者访问过热，如下图的数据分区P1，表格存储的动态负载均衡机制能够检测到这种情况的发生，并将数据分区分裂成两个数据分区P1和P5，并将该两个数据分区调度到负载较低的服务节点上。表格存储使用上述的自动...
冷数据归档常见问题
分区表：分区表中的分区显示ENGINE=CSV/ORC，则表示当前数据归档成功。在控制台上查看是否归档成功。登录 PolarDB控制台。在目标集群的 配置与管理>冷数据归档 路径下，查看是否存在对应的表名，若存在，则说明当前数据已经归档至OSS。如何...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
2023年
2023年01月 V6.3.10.9 类别 功能 功能描述 相关文档 新增 分区表 AnalyticDB PostgreSQL版 分区表新增如下功能：子分区支持重命名。分区时可以指定分区子表的名称。分区表支持DETACH和ATTACH命令。表分区定义 实例扩缩容 AnalyticDB ...
什么是EMR Serverless Milvus
它包含了数据分区分片、持久化、增量摄取、混合查询等高级功能，同时支持time travel操作，提供了直观的API和多语言SDK，适用于推荐系统、图像检索、视频分析、自然语言处理等多个AI领域。产品优势 云原生极速向量检索服务 集成了Vector...
选择使用低基数列作为分区键
本文介绍为什么建议在云数据库ClickHouse企业版中的表插入数据时选择一个低基数作为分区键。在云数据库ClickHouse企业版中，当您向没有使用分区键的表发送一个插入语句（插入许多行）时，插入该表所有的行数据将会在存储中写入一个新的Part...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
pg_depend
例如：子分区索引与其所基于的分区表和父分区索引是分区相关的，因此只要其中一个删除，则子分区索引就消失，否则，就不消失。父索引上的依赖关系是主要的，故如果用户试图删除子分区索引，错误消息反而会建议删除父索引（不是表）。...
源服务器迁移至轻量应用服务器
分区<N>：SMC能够根据迁移源的磁盘分区结果自动生成目标磁盘分区，单位为GiB。N的取值范围：0~14。变量表示第几个分区。如果迁移源的系统盘是单分区结构，则只会生成 分区0。数据盘 数据盘<0>：表示迁移后阿里云轻量应用服务器数据盘的大小...
源服务器迁移至轻量应用服务器
分区<N>：SMC能够根据迁移源的磁盘分区结果自动生成目标磁盘分区，单位为GiB。N的取值范围：0~14。变量表示第几个分区。如果迁移源的系统盘是单分区结构，则只会生成 分区0。数据盘 数据盘<0>：表示迁移后阿里云轻量应用服务器数据盘的大小...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
日志投递MaxCompute后，如何检查数据完整性
那么无论该日志是什么时刻写入服务端，这条日志会存入MaxCompute的 2017_05_19_10_00 分区，计算细节参考 投递日志到MaxCompute（旧版）。如果不考虑写入了历史数据等问题，在日志实时写入的情况下，有以下两种方法判断分区数据是否已完整...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版...
概述
当业务增长到需要分布式扩展的时候，架构原地升级成分布式形态，分布式组件无缝对接到原有的数据节点，不需要数据迁移，也不需要应用侧做改造，即可享受分布式带来的可用性与扩展性。下面针对 PolarDB-X 集中分布式一体化技术的几项核心...
2024年
GANOS时空引擎扩展 缺陷修复 修复备份恢复的过程中恢复实例失败（Host key verification failed）的问题。修复对分区表使用分区键建立索引无法正确选择Index Scan的问题。修复在JOIN ON条件中，跨级别Sublink上拉导致生成错误执行计划的...
表结构设计
A：执行以下SQL，可以查看表的所有二级分区及分区的统计信息：SELECT partition_id,-分区名 row_count,-分区总行数 local_data_size,-分区本地存储所占用空间大小 index_size,-分区的索引大小 pk_size,-分区的主键索引大小 remote_data_...
创建服务器迁移任务
更多信息，请参见 为什么新建迁移任务页面没有出现数据盘配置项？块复制 SMC会根据迁移源磁盘分区状态进行判断是否支持开启块复制。如果迁移源不支持分区开启 块复制，则该开关无法打开。使用默认的文件级别迁移，分区大小可修改。如果迁移...
计算节点发布说明
修复CoHash的Right分区函数计算结果不正确导致的分区路由问题，发布日期：2023-12-27 大版本：V5.4.18 小版本：17034692 类别 说明 新增&优化 新增支持AUTO模式数据库的co_hash分区策略。优化使用AB表方案进行事务日志清理的流程，避免一次...
分区表支持任意列作为主键
在PostgreSQL中，分区表的主键只能建立在分区键上，且不能作为外键引用。PolarDB PostgreSQL版 支持分区表使用任意列作为主键或者外键引用。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 14（内核小版本14.10.17.0及以上...
- 产品推荐
- 这些文档可能帮助您