表的创建和使用
分区名（partition_name）必须是引擎内部统一分区值，可以通过如下的SQL语句获取某个表的所有分区（此SQL暂时无法获取分区信息，有需要请钉钉联系DBA）：select partition_name from information_schema.partitions where table_name='your...
宽表模型介绍
使用宽表模型可以实现元数据、大数据等多种场景的解决方案，例如 搭建海量智能元数据管理系统、亿量级订单管理方案、基于多元索引搭建亿量级店铺搜索系统、表格存储结合Spark流批处理实现一体化存储和计算、表格存储结合实时计算Flink进行...
方案背景
本文以车联网场景中车辆元数据为例介绍基于设备接入平台与表格存储Tablestore搭建车辆元数据管理平台的场景需求以及方案架构。场景需求 车辆在行驶的过程中会定时上报大量的状态数据，例如车辆识别代码、行驶速度、发动机转速、车内温度等...
技术原理
分布式线性扩展 PolarDB-X将数据表以水平分区的方式，分布在多个存储节点（DN）中。数据分区方式由分区函数决定，PolarDB-X支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性的哈希，...
PolarDB PostgreSQL版：ePQ架构详解
使用256 GB内存的16个 PolarDB PostgreSQL版 集群作为RO节点，搭建1 TB的TPC-H环境进行对比测试。相较于单机并行，分布式ePQ并行充分利用了所有RO节点的计算资源和底层共享存储的I/O带宽，从根本上解决了前文提及的HTAP诸多挑战。在TPC-H的...
PolarDB PostgreSQL版：ePQ架构详解
使用256 GB内存的16个 PolarDB PostgreSQL版（兼容Oracle）集群作为RO节点，搭建1 TB的TPC-H环境进行对比测试。相较于单机并行，分布式ePQ并行充分利用了所有RO节点的计算资源和底层共享存储的I/O带宽，从根本上解决了前文提及的HTAP诸多...
Spark Connector
spark.sql.extensions 是 指定Spark会话扩展，值需要设置为 org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions。spark.sql.defaultCatalog 否 指定是否为默认Catalog，如果需要将MaxCompute设置为默认Catalog...
同步 OceanBase 数据库的数据至 Kafka
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台，数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步，扩展消息处理能力，广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
表操作篇
表格存储会对表中的行按主键进行排序，合理设计主键可以让数据在分区上的分布更加均匀，从而能够充分地利用表格存储水平扩展的特点。选取分区键时，建议遵循以下几个原则：单个分区键值中的数据不宜过大，建议不超过 10 GB。说明 单个分区...
通道服务概述
数据消费能力水平扩展 通道服务提供了逻辑分区的自动负载均衡功能，负载均衡增加了消费端数量，从而提高水平扩展数据消费速度。注意事项 由于Tunnel的增量日志最多会保留7天（具体的值和数据表的Stream的日志过期时间一致），因此在使用全...
PolarDB PostgreSQL（兼容Oracle）2.0版本与1.0版本...
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
PolarDB PostgreSQL（兼容Oracle）2.0版本商业化公告
支持Oracle兼容的分区表创建、修改、扩展功能 PolarDB PostgreSQL版（兼容Oracle）2.0版本 支持Oracle风格的分区表，包括一级、二级分区的创建，支持List、Range、Hash三种分区的创建。支持常见的CREATE、COALESCE、DROP、EXCHANGE、MERGE...
扩容分区和文件系统（Windows）
在ECS控制台上扩容云盘（系统盘或数据盘）容量后，对应分区的文件系统并未扩容，您需要进入ECS实例内部继续扩容云盘的分区和文件系统。本文为您介绍如何将Windows实例的云盘扩容部分的容量用于扩容原有分区或者新增分区。前提条件 已在ECS...
分区格式化数据盘
MBR目前是最常用的分区形式，MBR只支持处理不大于2 TiB的数据盘，且只支持分4个主区，如果您要将磁盘分成更多的区，需要将某个主区作为扩展区并在其中创建逻辑分区。在 磁盘管理 对话框，右键单击 磁盘 1 的 未分配 区域，单击 新建简单卷...
扩容数据盘
右键单击 磁盘 1 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
升级配置
右键单击 磁盘 0 主分区的空白处，然后单击 扩展卷。在 扩展卷向导 页面，保持默认配置完成扩展卷操作。完成扩展卷操作后，新增空间会自动合入原来的卷中，如下图所示。扩容完成后，您需要根据实际情况检查数据是否正常。如果扩容成功，...
应用场景
而 OceanBase 数据库利用分区表的方案及其带来的水平扩展能力，完美地解决了这一问题。只需要将原来的 N 份数据，每一份都通过分区表打散为 M 个数据分区，利用分区表打破单机的容量限制，就可以从数据层完成这一拆分过程，无需业务改造，...
Landing Zone搭建概述
基于大量企业上云、及云上管理治理的实践，提供了架构设计的方法论、最佳实践文档、工具和自动化部署的代码等，帮助企业规划云上资源结构、访问控制、网络架构、审计合规、运维管理等体系，帮助企业顺利搭建安全合规、可管理、可扩展的云上...
应用场景
快速开发分布式应用 SOFABoot 框架集成了所有 SOFA 中间件，以“依赖即服务”的调用形式实现快速配置，轻松搭建稳定、可靠、安全、可扩展的分布式应用，减少开发、测试、集成成本。兼容 Spring Boot 工程 对于基于 Spring Boot 框架开发的...
应用场景
通过微服务产品将传统金融业务系统拆分为模块化、标准化、松耦合、可插拔、可扩展的微服务架构，可缩短产品面世周期，快速上架，抢占市场先机，不仅可确保客户服务的效率，也降低了运营成本。传统应用微服务改造 通过微服务产品将传统金融...
应用场景
高性能：提供基于事件驱动的架构以及私有通信协议，轻松搭建低延迟、高吞吐的服务。可扩展性强：支持无限水平扩展，无性能、容量瓶颈，在蚂蚁金融科技内部已支撑数万个节点规模的分布式应用架构。可视化管理：在分布式系统中，面对爆发式...
手动创建分区表（AUTO模式）
PolarDB-X还针对比较常见的特定的应用场景新扩展了一种新的名为CoHash的哈希分区策略，该策略可有效解决一个表需要同时按多个不同的相互有协同关系的分区列进行水平分区的问题。更多详细内容请参见 分区类型介绍。二级分区 PolarDB-X 的二...
索引介绍
不同的数据分区可以加载到不同的机器上，实现水平扩展。如下图所示。表格存储的宽表模型包含多个主键列，多列主键列按照顺序共同构成一个主键，类似MySQL的联合主键，也可以把多个主键列拼接起来看作HBase的RowKey，每一列其实都只是整体...
扩容数据盘分区
对于待分配的磁盘容量，您可以将扩容部分的容量用于扩容原有磁盘分区，也可以新增磁盘分区。本文为您介绍如何扩容已有数据盘分区。背景信息 基于自定义镜像创建自定义云电脑模板时，如果云电脑模板选择的数据盘容量超过镜像对应的数据盘...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
LIST
本文档介绍了创建LIST分区表的方法。语法 创建LIST分区表。枚举类型分区，需要把每个分区的分区键的值枚举出来，枚举值不能重复。支持扩展类型LIST COLUMNS。CREATE TABLE.PARTITION BY LIST {(expr)|COLUMNS(column_list)}(partition_...
偏分析场景的实践和优化
同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联条件下推，避免数据被拉取到计算层做计算。尽可能选择值分布均匀的字段作为分区键，这样...
最佳实践概览
轻量应用服务器提供了部分最佳实践，包括搭建环境、搭建网站、数据传输、迁移服务器以及高可用架构等。您可以根据实际需求，参考相应文档完成服务器的搭建。搭建环境 阿里云轻量应用服务器提供了多种镜像，您可以通过应用镜像快速部署应用...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
HDFS受限于集群规模和成本因素，无法无限扩展，容量存在瓶颈。阿里云提供OSS/OSS-HDFS作为HDFS的替代或补充，扩展云上Hadoop平台的存储能力。JindoTable工具可以将Hive数据根据分区键规则筛选，在HDFS和OSS/OSS-HDFS之间转移分区。本文介绍...
为什么使用表格存储过程中会有少量的500错误
表格存储使用上述的自动负载均衡机制实现表数据规模和访问并发的自动扩展，全程无需人工介入，当然在数据表新建立时，只有一个数据分区，该表上能够提供的读写并发有限，自动负载均衡机制也有一定的延时性，所以可以直接联系到我们的工程师...
名称解释
分区表（一级分区）HybridDB for MySQL中的表从建模的维度看，可以分为事实表（fact table）和维度表（dimension table），事实表是指分区表（通常是一级分区表），即需要被拆分到不同节点去存储的表，在建表的时候指定分区键就可以生成...
2023年
2023年01月 V6.3.10.9 类别 功能 功能描述 相关文档 新增 分区表 AnalyticDB PostgreSQL版 分区表新增如下功能：子分区支持重命名。分区时可以指定分区子表的名称。分区表支持DETACH和ATTACH命令。表分区定义 实例扩缩容 AnalyticDB ...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版 ...
pg_depend
例如：子分区索引与其所基于的分区表和父分区索引是分区相关的，因此只要其中一个删除，则子分区索引就消失，否则，就不消失。父索引上的依赖关系是主要的，故如果用户试图删除子分区索引，错误消息反而会建议删除父索引（不是表）。...
分区表自动冷存
场景描述 带有时间序列的数据采用分区表存储，并按月进行分区，随着时间的推移，一段时间之前的数据访问频率大大降低（过期），为了降低存储成本，需要自动将超过某个固定时间的分区表进行冷存处理。对于这种场景，PolarDB PostgreSQL版...
常见问题
集成与扩展 魔笔移动端版本怎么接收url参数 运维中心 发布之后图片资源或者网站加载不出来 搭建中心 DataGrid自定义逻辑流搜索搭建步骤 DataGrid自定义逻辑流分页的搭建步骤 魔笔搭建中怎么判断列表为空 魔笔现在支持对NativeApp的支持 ...
2024年
GANOS时空引擎扩展 缺陷修复 修复备份恢复的过程中恢复实例失败（Host key verification failed）的问题。修复对分区表使用分区键建立索引无法正确选择Index Scan的问题。修复在JOIN ON条件中，跨级别Sublink上拉导致生成错误执行计划的...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
概述
为此，PolarDB-X 2.0的AUTO模式数据库分区表配套了非常完善的分区变更及管理能力，具体的分区管理能力包括以下几种：分裂分区 分裂热点 合并分区 迁移分区 重命名分区 增加分区 删除分区 修改分区 重组分区 清空分区 分区变更操作对不同...
- 产品推荐
- 这些文档可能帮助您