ALTER TABLE
ALTER TABLE 用于更改一个现有表的定义。简介 ALTER TABLE 更改一个现有表的定义。下文描述了几种形式。注意每一种形式所要求的锁级别可能不同。如果没有明确说明，将会获得一个 ACCESS EXCLUSIVE 锁。当给出多个子命令时，获得的锁将是子...
新建表
在创建虚拟列时需要定义虚拟列依赖的表达式，虚拟列包含 Virtual Column 和 Stored Column，仅在使用时会根据表达式计算出虚拟列的值，因此在向表中插入数据的时候，不能为虚拟列指定要插入的值。缺省值/表达式 该字段（列）的默认值/表达...
分区设计
用户存有海量数据的表应该按照数据规模进行拆解，表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，...
分区表常见问题
分区表或单表执行过INSTANT添加列或修改列操作后，再执行EXCHANGE PARTITION操作时报错，应该如何处理？执行过INSTANT添加列或修改列的分区表或单表，再执行EXCHANGE PARTITION操作时，报错信息如下：ERROR 1731(HY000):Non matching ...
参数说明
当您通过数据库统计信息、慢SQL等信息了解数据库当前的状态以及存在的问题后，可以针对发现的问题，进行调整和优化。PolarDB PostgreSQL版（兼容Oracle）默认的参数模板适用于大多数通用的数据库场景，对于一些特殊的数据库场景，默认模板...
分布式线性扩展
本文详细介绍了分布式线性扩展的特性。数据物理分布 PolarDB-X 将数据表以水平分区的方式，分布在多个存储节点（DN）上。数据分区方式由分区函数决定，PolarDB-X 支持哈希（Hash）、范围（Range）等常用的分区函数。以下图为例，shop库中的...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
优化内部表的性能
因为 tmp1 表未及时更新统计信息，导致Hologres选择 tmp1 表创建Hash表进行Hash Join，效率较低，并且可能造成OOM（Out Of Memory，内存溢出）。因此，需要参与Join的两张表均执行 analyze 收集统计信息，语句如下。analyze tmp;analyze ...
RDS MySQL助力MySQL 5.7升级8.0
在升级之前，需要使用 REPAIR TABLE 或逻辑导出加导入的方式对问题表进行修复。MySQL 8.0中，分区表的处理已由Server层下沉至引擎层，MySQL Server不再支持通用分区。Non-native的分区表在MySQL 8.0中被废弃，因此需要将这类分区表改为...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
外部表
名称 描述 对象存储OSS 提供标准、低频、归档存储类型，能够覆盖不同的存储场景。同时，OSS能够与Hadoop开源社区及EMR、批量计算、MaxCompute、机器学习和函数计算等产品进行深度结合。MaxCompute 大数据计算服务MaxCompute为您提供快速且...
导出全量数据到OSS
前缀冲突 当设置的文件名与OSS中已有文件名冲突时的处理方法。取值范围如下：替换：删除原始文件，重建一个同名文件。保留：保留原始文件，重建一个新文件，名称为原文件名加随机后缀。报错：同步任务停止执行。切分文件 当设置 文本类型 ...
CREATE INDEX
CREATE INDEX 在指定关系的指定列上构建一个索引。简介 CREATE INDEX 在指定关系的指定列上构建一个索引，该关系可以是一个表或者一个物化视图。索引主要被用来提升数据库性能（不过不当的使用会导致性能变差）。索引的键域被指定为列名...
如何优化Batch Insert
测试方法为对 PolarDB-X 中的单表进行Batch Insert操作，单表的数据只会存在一个数据存储节点中，PolarDB-X 会根据表定义将数据写入到对应的数据存储节点上。场景一：batch size 参数配置：并行度：16 列：4 gsi：无 sequence：无 测试项 ...
如何对JSON类型进行高效分析
传统数据库解决方案 传统关系型数据库（MySQL、PostgreSQL与ClickHouse等）在处理JSON数据时经常将原始JSON数据编码成二进制数据并存储到表的JSON类型列中，查询时使用JSON函数对整个JSON列数据进行实时解析与计算等。JSON作为半结构化数据...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
X-Engine引擎使用须知
RDS MySQL提供阿里云自研的X-Engine存储引擎，支持事务并且可以大幅降低磁盘空间占用。产品介绍 X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。作为自研数据库PolarDB的存储...
PolarDB MySQL版同步至AnalyticDB MySQL 3.0
如同步对象为表级别，且需进行编辑（如表列名映射），则单次同步任务仅支持同步至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待同步的表，分批配置多个任务，或者配置整库的同步任务。如需进行增量同步，需开启...
表分区
PolarDB支持基本的表划分。本节介绍为何以及怎样把划分实现为数据库设计的一部分。简介 划分指的是将逻辑上的一个大表分成一些小的物理上的片。划分有很多益处：在某些情况下查询性能能够显著提升，特别是当那些访问压力大的行在一个分区...
从RDS原生实时同步
多实例多库相同表同步至单表：目标表自动增加一个source_schema字段放在第一列，该字段存储通道信息、库信息、表信息，并作为联合主键，防止 多实例多库分库分表同步到一个目标表出现主键冲突。如果确定同步不会出现主键冲突，可以不使用这...
概览
产品形态 数据存储类型 企业级高级能力 描述 源表 结果表 维表 Hologres Binlog消费 Flink Catalog Schema Evolution Flink全托管 支持行存储及列存储，Binlog源表建议使用行存储或行列共存。支持行存储及列存储 建议使用行存储或行列共存 ...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
同步增量数据到OSS
前缀冲突 当设置的文件名与OSS中已有文件名冲突时的处理方法。取值范围如下：替换：删除原始文件，重建一个同名文件。保留：保留原始文件，重建一个新文件，名称为原文件名加随机后缀。报错：同步任务停止执行。切分文件 当设置 文本类型 ...
数据库
相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接到数据库的后端数量。这是在视图中唯一一个返回反映当前状态值的列。所有其他列返回从上次重置以来积累的值。xact_...
数据库
相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接到数据库的后端数量。这是在视图中唯一一个返回反映当前状态值的列。所有其他列返回从上次重置以来积累的值。xact_...
VACUUM
还有，虽然 VACUUM 通常处理指定分区表的所有分区，但如果分区表上的锁冲突，此选项将导致 VACUUM 跳过所有分区。INDEX_CLEANUP 规定 VACUUM 尝试删除指向死元组的索引条目。这通常是所需的行为，并且是默认行为，除非将 vacuum_index_...
表操作篇
为高效利用表格存储，在设计表格存储的表的主键时，需考虑表的分区键：分区方式 说明 使用 CardID 作为表的分区键 使用 CardID 作为表的分区键是一个比较好的选择。每天每张卡产生的消费记录数从总体上来讲是均匀的，每一个分区中的访问...
显式锁定
同样，大多数本数据库命令会自动要求恰当的锁以保证被引用的表在命令的执行过程中不会以一种不兼容的方式删除或修改（例如，TRUNCATE 无法安全地与同一表中上的其他操作并发地执行，因此它在表上获得一个排他锁来强制这种行为）。...
Join
表格存储默认的Join算法为INDEX JOIN，当右表进行Join的列不满足INDEX JOIN算法的使用条件时，系统会使用HASH JOIN算法。INDEX JOIN（默认）：从左表读取数据，根据左表的数据，利用右表的索引或主键，读取右表匹配的行进行连接。更多信息...
Iceberg连接器
本文为您介绍Iceberg连接器相关的内容和操作，具体如下：配置Iceberg连接器 示例：查询Iceberg表数据 SQL语法 分区表 按分区删除 回滚 系统表和列 Iceberg表属性 物化视图 前提条件 已创建DataLake集群或Hadoop集群，并选择了Presto服务，...
CreateDataFlow-创建数据流动
创建一个CPFS文件系统与源端存储的数据流动。接口说明 基础操作 文件存储 CPFS 2.2.0 及以上版本、智算 CPFS 2.4.0 及以上版本支持数据流动。文件存储 CPFS、CPFS 智算版状态为运行中，才能创建数据流动。一个文件存储 CPFS 或者 CPFS 智算...
外部表概述
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
列存索引技术架构介绍
同时，结合 PolarDB 基于共享存储一写多读的架构特征，其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其...
Join优化
Hash Join：在右表上根据等值Join列建立哈希表，左表流式的利用哈希表进行Join计算，这个算子只适用于等值Join。Nest Loop Join：通过两个for循环进行Join过程处理。它适用的场景是不等值的Join，例如大于小于或者是需要求笛卡尔积的场景。...
PolarDB HTAP实时数据分析技术解密
在按列进行海量数据分析时，按行从磁盘读取数据存在非常大的IO带宽浪费，其次，行式存储格式在处理大量数据时会大量拷贝不必要的列数据，对内存读写效率也存在冲击。PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel ...
Hash Clustering
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
线性模型特征重要性
线性模型特征重要性组件用于计算线性模型的特征重要性，包括线性回归和二分类逻辑回归，支持稀疏和稠密数据格式。本文为您介绍该组件的配置方法。使用限制 支持的计算引擎为MaxCompute。组件配置 您可以使用以下任意一种方式，配置线性模型...
数据脱敏
动态脱敏：对敏感数据进行实时的脱敏处理，只有在用户查询数据库时才对数据进行脱敏，而不对数据库中的源数据进行修改。动态脱敏通常用于生产环境，可以保持原始数据的完整性和准确性，同时避免了数据泄露的风险。动态脱敏的缺点是处理速度...
名称解释
逻辑分区与表 逻辑上，用户创建的数据库由多个数据逻辑分区（Partition）组成，用户创建的表（Table）的数据将分布在这些数据逻辑分区上，数据分布规则依照用户建表时指定的列（PartitionKey）进行Hash计算后来划分。逻辑分区的数量一旦...
- 产品推荐
- 这些文档可能帮助您