原理
分区表管理原理 分区表管理是分区表另一个核心的组成部分，相比于普通表，分区表有更丰富的管理方式。分区表的管理可以分为以下10个主要模块：MODIFY：管理分区，是一类操作的集合，对象是一个一级分区，可以通过该指令管理这个分区下的二...
流计算实现细节
RDD是Spark中最基本的数据抽象，它代表一个不可变、可分区、元素可并行计算的集合。在SourceRDD中将通道的channel和RDD的partition进行绑定，因此每个Channel都会在Spark的执行节点上分布式的进行数据并行转换和处理。执行自定义的Spark...
通过LOCALITY指定存储位置（AUTO模式）
创建逻辑表时指定存储位置 在创建逻辑表时指定存储位置以实现数据隔离，目前支持在单表和Range、Hash、List三种分区方式的分区表中使用Locality关键字。在实例中创建一个逻辑表，并指定其存储位置。详细语法参见 CREATE TABLE（AUTO模式）...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
使用pg_pathman插件
支持自动分区管理（通过函数接口创建分区，自动将主表数据迁移到分区表），或手工分区管理（通过函数实现，将已有的表绑定到分区表，或者从分区表剥离）。支持的分区字段类型包括int、float、date以及其他常用类型，包括自定义的domain。...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
并行查询
根据并行的方式，分区并行可分为分区间并行、分区内并行和混合并行。以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表...
并行查询
根据并行的方式，分区并行可分为分区间并行、分区内并行和混合并行。以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表...
并行查询
根据并行的方式，分区并行可分为分区间并行、分区内并行和混合并行。以上三种并行方式都有自己的代价模型，优化器会根据实际情况选择最优的一种。分区间并行 分区间并行是指每个worker查询一个分区，从而实现多个worker并行查询整个分区表...
自动化管理分区
您可以通过创建定时任务的方式来创建、删除或交换分区，以实现分区自动化管理。背景信息 在某些行业中，固定周期内可能会产生大量的数据，同时也会通过删除大量数据的方式来节省存储空间。如果新产生的数据和需要删除的数据保存在同一张表...
分布式线性扩展
数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性进行哈希...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
扩缩容最佳实践
设置临时变配 您的业务面临小规模、高频的促销或其它活动时，可选择通过临时变配的方式实现集群规格和容量暂时扩缩容，扩容期间产生的增量费用按小时收取。您可对套餐规格、存储规格分别或同时进行临时扩容的操作。具体操作参见 设置临时变...
概述
扩缩容维度 分类 扩缩容方式 使用场景 集群 标准变配 存储空间扩缩容 当随着您业务的不断运行，积累了更多的数据，需要更多存储空间时，可选择存储空间扩容。当您的业务对历史数据进行迁移或删除后，使用的存储空间变小，即可选择修改存储...
ODS层设计规范
数据存储及生命周期管理规范 数据表类型 存储方式 最长存储保留策略 ODS流水型全量表 按天分区 不可再生情况下，永久保存。日志（数据量非常大，例如一天数据量大于100 GB）数据保留24个月。自主设置是否保留历史月初数据。自主设置是否...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
STRUCT CREATE TYPE JSON JSON GEOGRAPHY CREATE TYPE/GEOGRAPHY DDL CREATE TABLE PARTITION BY（分区表）谷歌BigQuery的分区方式主要有以下三大类：整数范围分区 对应 AnalyticDB PostgreSQL版 的数字范围表分区，可以使用数字数据类型的...
分区投影
背景信息 当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而影响查询性能。通过使用分区投影功能，根据表的配置DLA Presto可以直接计算得出分区值和...
通过云存储网关挂载OSS
如果您无需进行权限管理，可选择任意映射方式。反向同步 反向同步会从云上OSS Bucket同步元数据到网关的缓存盘，以保证云上和网关缓存的一致性。如果您选择反向同步，还需要设置 反向同步时间间隔。重要 反向同步时间间隔最大为36000秒，...
开始使用OSS
本文为您介绍如何通过控制台、命令行管理工具ossutil、图形化管理工具ossbrowser、OSS SDK、REST API等多种方式管理OSS。开通OSS服务 打开 OSS开通页面。在OSS开通页面，按照界面指引完成开通操作。重要 开通OSS服务后，默认的计费方式是...
使用说明
自动归档冷数据功能Data Lifecycle Management（简称DLM）支持将低频使用的冷数据定期自动地从PolarStore转存到低成本的OSS存储介质上，以达到降本增效的效果。前提条件 集群版本需满足以下条件之一：PolarDB MySQL版 8.0.1版本且Revision ...
创建INTERVAL RANGE分区
间隔数值（expr）相近的1000个数字进入同一个分区，示例如下：INTERVAL(1000)时间类型 年（YEAR）以年为单位设置自动分区的间隔，每一年的数据进入同一个分区，示例如下：INTERVAL(YEAR,1)季度（QUARTER）以季度为单位设置自动分区的间隔，...
分区表简介
本文详细介绍了 PolarDB PostgreSQL版 分区表功能的优势和特性。概述 在 PolarDB PostgreSQL版...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
分区表简介
本文详细介绍了 PolarDB PostgreSQL版（兼容Oracle）分区表功能的优势和特性。...语法 关于各分区类型的分区表的相关命令及说明，例如创建分区表、添加分区至分区表、合并分区、拆分分区、删除分区等，请参见 分区表命令列表。
编辑资源队列
资源队列用于管理和调度集群资源，旨在实现资源的灵活分配和优化。通过阿里云EMR控制台，您可以方便地管理资源队列，并关联不同的分区。前提条件 已创建集群，且集群状态为运行中。创建集群详情，请参见 创建集群。使用限制 YARN调度器需...
EMR控制台管理YARN分区
EMR支持在控制台上通过可视化UI管理YARN分区，同时可以批量建立节点组与分区的映射，方便操作。您可以直接在节点组上配置分区属性，扩容和弹性伸缩后，EMR会自动为新增节点打上Node Label，无需重新配置新节点。本文为您介绍如何在EMR控制...
动态分区
本文介绍 云数据库 SelectDB 版 动态分区相关的概念和示例，帮助您进行分区的动态管理，降低您的使用成本。概述 在某些场景下，可能会将数据库表按照天进行分区划分。如果需要手动管理分区，可能由于没有创建分区导致数据导入失败，这给...
表管理
表管理功能用于定义DataWorks中的表分区字段、临时表、导入表的标识，方便您根据表名称即可判断该表的类别；同时，支持定义表的主题和物理层级，可基于功能、类型等多个维度，将同类型的表放置相同的主题或层级统一管理。使用限制 仅 空间...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
CDM明细层设计规范
数据存储及生命周期管理规范 CDM明细层的表的类型为事实表，存储方式为按天分区。事务型事实表一般永久保存。周期快照型事实表根据业务需求设置生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个月...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
概述
只将分区表中的过期子分区存储在OSS中，热分区存储在云盘中，这是比较典型的冷热分层模式。数据冷热分层场景 由于OSS访问延迟是云盘介质访问延迟的几百倍，数据一旦冷存处理后，其访问性能会降低。用户为了降低成本将数据冷存处理，但对冷...
配置概述
云数据库 OceanBase 通过支持标准变配和临时变配实现集群实例和租户实例的配置修改，您可通过修改实例配置实现实例扩缩容。原理介绍 与传统单机数据库相比，基于分布式架构的 OceanBase 数据库提供灵活的在线扩展性。在集群持续可用的前提...
CREATE PARTITION TABLE
CREATE PARTITION TABLE语句用于创建分区表。...动态分区管理 Hologres的动态分区功能无需预先设定所有分区信息，可依据创建分区表时配置的动态分区规则，自动创建并管理分区子表。关于动态分区的管理详情，请参见 动态分区管理。
Check节点
DataWorks的Check节点可用于检查目标对象（MaxCompute分区表、FTP文件或OSS文件）是否可用，当Check节点满足检查策略后会返回运行成功状态。如果某任务的运行依赖目标对象，您可使用Check节点检查目标对象，并设置该任务为Check节点的下游...
CDM汇总层设计规范
数据存储及生命周期管理规范 CDM汇总层的表的类型为事实表，存储方式为按天分区。事务型事实表一般会永久保存。周期快照型事实表根据业务需求设置生命周期管理。您可依据3个月内的最大需要访问的跨度设置保留策略，具体计算方式如下：当3个...
存储引擎
数据分区：支持数据多级分区，且可按Value或范围进行分区，常用场景为按时间进行分区，可明显降低IO数据量，同时分区支持混合存储，历史数据和活跃数据可分层冷热存储。排序及粗糙集过滤：建表时可指定排序字段，数据通过排序后，一方面可...
如何使用表分区？
使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以加入新数据分区）。AnalyticDB PostgreSQL版 支持Range ...
创建Partition
向量检索服务中，同一个Collection下的向量可通过不同的Partition进行分区，实现向量数据的分区管理。在查询过程中通过指定Partition来缩小查询范围，提高查询效率。前提条件 已 开通服务。已 创建Collection。控制台方式 登录 向量检索...
EMR Kafka磁盘故障运维
可选：通过设置reassign限流参数的方式来限制Broker上分区数据同步恢复时候的流量带宽，详情请参见 限制Kafka服务端运维流量。在EMR控制台重启Broker服务，详情请参见 操作步骤。说明 如果ECS的修复磁盘事件运维流程中需要重启ECS实例，则...
- 产品推荐
- 这些文档可能帮助您