创建OSS外部表
当数据文件以分区路径方式存储时，需要创建分区表；否则创建非分区表。更多读取分区数据信息，请参见 读取以分区方式存储的OSS数据。前提条件 在创建OSS外部表前，请确认执行操作的账号已满足如下条件：已授予访问OSS的权限。更多授权信息...
数据膨胀诊断
该方式的优缺点如下：优点：重新整理表数据，让表变成更紧凑，能减小之前由于Dead Tuple造成的表磁盘大小膨胀，可以减小磁盘上表的大小。缺点：重新整理表的Page储存时，需要ACCESS EXCLUSIVE锁模式。该模式是排他模式，意味着其他任何对该...
读取以分区方式存储的OSS数据
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
CREATE TABLE（AUTO模式）
Hash分区与Key分区是 原生MySQL的标准分区语法 之一，PolarDB-X 为提供灵活强大的分区管理能力（例如分裂、合并与迁移等）以及考虑支持向量分区键下热点散裂，PolarDB-X 不仅在语法上尽量兼容了MySQL的Hash分区与Key分区的建表语法...
变更表类型及分区策略（AUTO模式）
本文介绍了变更表类型（即在单表、广播表和分区表三者间进行相互转换）及分区策略（包括拆分函数或分区列）的相关语法和示例。本语法仅适用于AUTO模式数据库。前提条件 仅适用于分区模式为auto/partitioning的逻辑库（请参见 CREATE ...
通过LOCALITY指定存储位置（AUTO模式）
创建逻辑表时指定存储位置 在创建逻辑表时指定存储位置以实现数据隔离，目前支持在单表和Range、Hash、List三种分区方式的分区表中使用Locality关键字。在实例中创建一个逻辑表，并指定其存储位置。详细语法参见 CREATE TABLE（AUTO模式）...
分区裁剪
云原生数据仓库AnalyticDB PostgreSQL版 支持静态分区和动态分区裁剪。在扫描分区表前，能通过检查分区约束条件与每个分区的定义，提前排除不需要扫描的分区，大大减少从磁盘中读取的数据量，从而缩短运行时间，改善查询性能，减少资源浪费...
按扫描量付费
然后将GZIP格式的数据分区存储，将待扫描的数据存储在同一个分区中。DLA只扫描一个分区，扫描的数据量降低至0.2 TB。将1 TB的JSON文件转换为ORC格式，DLA只需按列扫描其中10%的数据，扫描的数据量降低至0.1 TB。经过数据格式转换、压缩和...
数据引入层（ODS）
采用全量存储方式，在1月1日这个分区中存储t1和t2两条记录，在1月2日这个分区中存储更新后的t1以及t2、t3记录。说明 对于小数据量的缓慢变化维度数据，例如商品类目，可直接使用全量存储。拉链存储 拉链存储通过新增两个时间戳字段（start_...
数据引入层（ODS）
采用全量存储方式，在1月1日这个分区中存储t1和t2两条记录，在1月2日这个分区中存储更新后的t1以及t2、t3记录。说明 对于小数据量的缓慢变化维度数据，例如商品类目，可直接使用全量存储。拉链存储 拉链存储通过新增两个时间戳字段（start_...
分布式线性扩展
数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的orders表根据每行数据的ID属性进行哈希...
变更表的表组（AUTO模式）
在 PolarDB-X 的AUTO模式数据库中，所有表都从属且只属于一个表组，同一个表组内的表分区方式一致，同一表组内的表之间的关联查询可以下推到存储节点执行，执行效率得到了很大的提高。本语法仅适用于AUTO模式数据库。为了方便将表关联到同...
什么是TTL功能
基本原理 TTL表的每个物理表都会按照时间做Range分区，所有GSI的物理表跟主表的分区方式一致。随着时间的推移，新的分区会被创建，失效的分区会被删除，如下图所示：说明 PolarDB-X 默认会自动创建新分区和删除失效分区。您也可以在建表时...
谷歌BigQuery数据迁移至AnalyticDB PostgreSQL版
STRUCT CREATE TYPE JSON JSON GEOGRAPHY CREATE TYPE/GEOGRAPHY DDL CREATE TABLE PARTITION BY（分区表）谷歌BigQuery的分区方式主要有以下三大类：整数范围分区 对应 AnalyticDB PostgreSQL版 的数字范围表分区，可以使用数字数据类型的...
基本概念
三种模型的优缺点和适用场景：点模型利用索引进行实时查询的效率最高，但存储成本和二级索引代价高，适用于实时性要求较高的简单查询场景。轨迹线模型时空索引效率不高，存储成本和二级索引代价低，适用于离线分析型场景。轨迹分段线模型...
创建云盘
您可以使用云盒中的块存储资源创建云盘，并挂载到ECS实例上，以增加实例的存储空间。本文介绍如何使用云盒资源创建云盘，并提供云盘相关的操作指引。背景信息 使用云盒资源创建云盘时，云盘类型和容量由云盒中购买的块存储资源决定，您无需...
ALTER TABLE
云原生数据仓库AnalyticDB MySQL版 支持通过 ALTER TABLE 修改表结构，包括修改表名、列名、列类型、普通索引、聚集索引、外键索引、分区函数的格式、冷热分层存储策略。本文介绍 ALTER TABLE 语法。语法 ALTER TABLE table_name { ADD ANN...
CREATE INDEX（AUTO模式语法）
适用于纯一级分区或使用模板化子分区*/|PARTITION partition_name VALUES IN(list_bound_value)[[subpartitions_count][subpartition_specs_definition]]/*适用于定义一级分区下的非模板化子分区*/二级分区的List/List Columns分区定义 ...
流式下载
OSS iOS SDK没有提供stream类型的下载接口，但是提供了类似 NSURLSession 库的 didRecieveData 函数的分段回调功能。如果设置了分段回调，下载的结果中将不再包含实际数据。示例代码 以下代码用于流式下载：OSSGetObjectRequest*request=...
如何使用表分区？
使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以加入新数据分区）。AnalyticDB PostgreSQL版 支持Range ...
OPT_PARAM Hints
enable_partitionwise_join 允许或禁止查询规划器使用面向分区的连接，这使得分区表之间的连接以连接匹配分区的方式来执行。面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1...
OPT_PARAM Hints
enable_partitionwise_join 允许或禁止查询规划器使用面向分区的连接，这使得分区表之间的连接以连接匹配分区的方式来执行。面向分区的连接当前只适用于连接条件包括所有分区键的情况，连接条件必须是相同的数据类型并且子分区集合需要1对1...
使用DataX同步
由于DataX的实现方式是按照splitPk字段分段查询数据库表，那么splitPk字段的选取应该尽可能选择分布均匀且有索引的字段，例如主键ID、唯一键等字段。如果不指定splitPk字段，则DataX将不会进行数据的切分，并行度会变为1。说明 为了保证...
分区表常见问题
相对于HASH分区，优缺点如下：优点：新增分区时，每个新分区只可能由前一个确定分区分裂得到，增删分区时需要读写的数据比例很小。缺点：映射均匀性较差。按照租户ID进行分区的场景，如何选择分区类型和分区个数？按照租户ID进行分区的场景...
分区剪枝
PolarDB PostgreSQL版 支持分区剪枝功能，可以显著提高对分区表的查询速度。概述 PolarDB PostgreSQL版 提供了分区剪枝（Partition Pruning）功能，如果启用了分区剪枝，规划器将会检查每个分区的定义并且检验该分区是否因为不包含符合查询...
分区剪枝
PolarDB PostgreSQL版（兼容Oracle）支持分区剪枝功能，可以显著提高对分区表的查询速度。概述 PolarDB PostgreSQL版（兼容Oracle）提供了分区剪枝（Partition Pruning）功能，如果启用了分区剪枝，规划器将会检查每个分区的定义并且检验该...
Node Labels特性使用
本文为您介绍YARN Node Labels特性、使用方式和常见问题。基本介绍 YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。因为一个节点只能设置属于某一个Node Label，所以可以使用 Node Label将整个YARN集群划分为不相交的节点...
颜色映射
颜色模板样式 地图示例 分段映射 适用于在连续映射型映射的基础上，对连续的数值进行分区，将同一数值区间内的数据归为一类，并将此区间内的数据填充相同颜色的情况。使用分段映射型映射，可以减少颜色数量，避免视觉混乱。颜色模板样式 ...
大文件上传如何续传
由于 归档存储本身不提供上传的续传功能，对于超过100MB的文件，为了保证上传成功，推荐使用分段上传（Multipart Upload）方式。详细信息参见：归档存储 API手册-4.3章节：Multipart Upload 操作 如果问题还未能解决，请联系 售后技术支持...
CDN加速和OSS传输加速的区别
CDN加速和OSS传输加速的对比 CDN加速和OSS传输加速的使用场景不同，其优缺点对比如下：加速方式 实现方法 应用场景 优点 缺点 CDN加速OSS 通过全球分布的边缘节点缓存数据来实现加速。网站或应用中小文件 大文件的下载 视音频点播 CDN边缘...
在线分区维护
使用限制 目前支持DROP/EXCHANGE/REBUILD/REORGANIZE PARTITION操作、RANGE和LIST分区方式的ADD PARTITION操作的在线分区维护功能，其他DDL操作将在后续版本支持。由于隔离级别可以设置为session级别，如果 transaction-isolation 设置为...
使用ODPS Foreign Table访问MaxCompute数据
末级分区外表 相对于非分区外表，末级分区外表，映射的是MaxCompute的末级分区表，需要设置正确的 partition 属性，多级分区时，末级分区外表只支持末级分区表，即 partition 属性需要包含多级分区完整路径。举例说明：在MaxCompute上创建...
CREATE TABLE
使用范围或哈希分区时，分区键可以包含多个列或表达式（最多 32 个，但在构建 PolarDB时可以更改此限制），但对于列表分区，分区键必须由单个列或表达式组成。范围和列表分区需要 btree 运算符类，而哈希分区需要哈希运算符类。如果没有...
创建和使用CCI
主表："t_order"是分区表，分区的拆分方式为按照"order_id"列进行哈希。列存索引："cc_i_seller"按照"seller_id"列进行排序，按照"order_id"列进行哈希。索引定义子句：CLUSTERED COLUMNAR INDEX `cc_i_seller` ON t_order(`seller_id`)...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
表分区
由于分区表及其分区组成的分区层次仍然是一种继承层次，所以继承的普通规则也适用，不过有一些例外，尤其是：分区表的 CHECK 约束和 NOT NULL 约束总是会被其所有的分区所继承。不允许在分区表上创建标记为 NO INHERIT 的 CHECK 约束。只要...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
分区热力图
分区热力图功能支持查看各分区的访问情况和数据分布情况，可以帮助您快速发现数据过热的分区。注意事项 仅5.4.14及以上版本支持此功能。仅支持展示当前实例下所有AUTO模式数据库中的数据分布情况。当单个逻辑库下的总分区数超过8000时，则...
EMR Kafka磁盘写满运维
节点内分区迁移：将写满磁盘中的分区迁移到本节点的其他磁盘,适用于本Broker节点内磁盘使用率不均衡的场景，详情请参见 节点内分区迁移方式恢复。数据清理：清理写满磁盘的日志数据，适用于旧数据可以删除的场景，详情请参见 数据清理方式...
数据存储冷热分层
云原生数据仓库AnalyticDB PostgreSQL版 支持冷热分层存储，可以将访问频次低的热表转换为冷表存储到OSS中，以降低存储成本。本文介绍数据存储冷热分层的使用限制和使用方法。说明 本文中将存储在本地磁盘的数据表称为热表，将存储在远端...
- 产品推荐
- 这些文档可能帮助您