管理健康报告
通过 执行失败次数 查找对应的SQL失败原因，来发现潜在的问题。涉及字段说明如下。字段 说明 参数化SQL ID 参数化SQL的哈希值，用于标记参数化SQL。执行失败次数 参数化SQL执行失败的次数。执行次数 参数化SQL的执行总次数。参数化SQL文本 ...
算子级别诊断结果
表扫描数据量倾斜 问题 AnalyticDB MySQL版 是分布式执行架构，大表的数据一般需要指定分布字段，数据写入时根据分布字段分散到不同的存储节点上。如果分布字段的值分布不均匀，那么数据存储在各个节点上时也会不均匀，最终导致数据读取时...
JOIN实现类型
Hash Join：用于包含等值条件的join 将小表按连接键计算出一个hash表，然后从大表一条条抽取记录，计算hash值，根据hash到A表的hash来匹配符合条件的记录。SELECT t1.id,t2.id FROM tj_shop AS t1 JOIN tj_item AS t2 ON t1.id=t2.id 说明 ...
数据膨胀、倾斜与索引统计
表类型 表的存储类型，例如堆表或AO表。期望表大小 期望的表的大小，单位为Byte。期望表大小为 AnalyticDB PostgreSQL版 判断没有膨胀情况下的表大小。实际表大小 实际表的大小，单位为Byte。膨胀表大小 膨胀表的大小，为可释放的空间量，...
优化器（Analyze）
数据膨胀：当两个表Join key的ndv都比行数小很多时，证明数据大量重复，大概率存在数据膨胀，优化器可以采取相关措施来规避数据膨胀带来的问题。数据过滤：当小表的ndv比大表小很多时，说明执行JOIN操作后，大表的数据会被大量过滤。优化器...
全局二级索引（GSI）
当分区表上只存在局部索引时，使用分区表因受到分区键的限制，会遇到一些棘手的问题，如下：查询条件不包含分区键时，查询数据需要扫描分区表上的所有分区，这将带来明显的读放大问题，且分区越多，读放大越严重。查询结果对索引字段有顺序...
表分区
当查询或更新访问一个分区的大部分行时，可以通过该分区上的一个顺序扫描来取代分散到整个表上的索引和随机访问，这样可以改善性能。如果批量操作的需求是在分区设计时就规划好的，则批量装载和删除可以通过增加或者去除分区来完成。执行 ...
多表join引发的数据同步延迟
辅表更新触发主表更新量不能超过1000tps，否则可能造成主辅表均有延迟 当主辅表的join关系是N：1时，建议N值不超过10 主辅表join逻辑 这里以两张表为例：辅表更新逻辑 这里以两张表，并且主辅表对应关系为N：1为例：由上图可知：在主辅表...
概述
支持并行查询加速，为基于分区的大表方案提供成倍性能提升。加强数据管理能力。索引创建、删除和重建：以分区为单位进行索引的创建、删除和重建。备份和恢复：以分区粒度进行数据备份和恢复。降低成本。分区可以根据 数据重要性、数据存储...
ANALYZE
ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。简介 ANALYZE 收集一个数据库中的表的内容的统计信息，并且将结果存储在pg_statistic系统目录中。接下来，查询规划器会使用这些统计信息来帮助...
管理项目数据
本文为您介绍如何在MaxCompute Studio上查看项目空间中的表、视图、函数和资源。前提条件 已连接MaxCompute项目，详情请参见 管理项目连接。背景信息 您可以在 Project Explorer 区域查看已添加连接的MaxCompute项目中的表、视图、函数和...
ALTER TABLE
对于较大的表而言，这可能需要相当长的时间，并且会临时需要两倍的磁盘空间。添加CHECK或NOT NULL约束需要扫描表来验证现有行是否满足约束。DROP COLUMN格式不会实际删除列，而只是使列对SQL操作不可见。表中后面的插入和更新操作会为该列...
表统计信息查看与分析
场景3：查询占用磁盘空间较大表的近期总访问趋势-查看昨天占用磁盘空间最大的(10)个表的近一周总访问趋势 with tmp_table_info AS(SELECT db_name,schema_name,table_name,collect_time,hot_storage_size+cold_storage_size as total_...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
概述
支持并行查询加速，为基于分区的大表方案提供成倍的性能提升。支持灵活的分区调度管理，方便对不同分区数据进行隔离。与MySQL分区表的差异 对比项 PolarDB-X 分区表 MySQL分区表 分区分布位置 不同分区自动分布到不同的数据节点，实现单机...
CREATE TABLE
创建非分区表、分区表、外部表或聚簇表。限制条件 分区表的分区层级不能超过6级。例如某张表以日期为分区列，分区层级为 年/月/周/日/时/分。一张表允许的分区个数支持按照具体的项目配置，默认为6万个。更多表的限制条件，请参见 SQL使用...
2022年
本文介绍2022年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库...修复DTS同步任务因系统表不一致带来的异常问题。修复并发写入时因为复用了未清理cache的连接导致的catalog读取异常问题。
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
如何使用表分区？
对于数据库中的事实表以及一些比较大的表，建议您使用表分区。使用表分区功能，方便您定期进行数据删除（通过alter table drop partition命令可删除整个分区的数据）和导入（使用交换分区的方式，即alter table exchange partition命令可以...
查看内置规则模板
数据质量为您提供内置表级别、字段级别的监控模板。本文为您介绍数据质量的校检逻辑及内置模板规则。计算说明 计算波动率：您可以根据波动率计算公式（波动率=（样本-基准值）/基准值）计算结果。样本 当天采集的具体的样本的值。例如对于...
手动分区
这三种类型的表的物理表的拓扑各不一样，并分别适用于不同的场景，具体如下表所示：逻辑表类型 物理表托扑 适用场景 读写负载分析 单表 一个单表对应一张物理表。数据量较小、并发访问的小表。读写集中在一个DN节点 广播表 广播表在每个DN...
结构设计
控制修改字段数据类型 控制修改索引风险 控制删除主键 控制删除索引 控制主键更改为索引 控制修改主键包含列 控制修改普通索引 控制新增索引类型 控制SQL执行风险 控制核心实例风险 控制表存储引擎 控制锁表/大表变更风险 审批规则校验 ...
表
PyODPS支持对MaxCompute表的基本操作，包括创建表、创建表的Schema、同步表更新、获取表数据、删除表、表分区操作以及如何将表转换为DataFrame对象。背景信息 PyODPS提供对MaxCompute表的基本操作方法。操作 说明 基本操作 列出项目空间下...
数据重排
因为 ORDER BY 是全局排序，对计算性能的开销较大，而且集中在单个Reduce上排序并不能起到分布式处理的效果，所以可以通过 DISTRIBUTE BY+SORT BY 和 CLUSTER BY 两种方式来进行数据重排。注意事项 进行数据重排会占用和消耗计算资源，如果...
CLONE TABLE
当您需要将一张表中的数据复制到另一个表中时，可以使用MaxCompute的 clone table 功能，提高数据迁移效率。本文以具体示例为您介绍 clone table 功能的使用。功能介绍 clone table 支持高效地将源表中的数据复制到目标表中。将数据复制到...
使用HBase快照
重要 如果导入快照时您没有指定该参数，HBase会根据表的大小来计算该值，如果数量过大，则会影响HBase正在运行的任务。因此，建议您指定-mappers 或者-bandwidth 参数的值以限制导入快照使用的集群资源。导出快照 您可以使用命令行方式将...
2023年
decoder_raw 2024年1月 缺陷修复 优化大表并发访问的性能问题。2024年1月 优化RTO限流。2024年1月 修复语句级事务引发的逻辑复制缺陷等问题。2024年1月 14.9.15.0 内核小版本 类别 说明 相关文档 发布时间 新增 支持分区表扫描算子，加速...
画像分析-标签宽表
在线画像分析服务如果按照这样的数据模型组织标签数据，不可避免的需要Join多张标签表来完成多标签的过滤，这对于数据库产品开销太大。方案介绍 Hologres标签宽表的方案是指将相对稳定的属性表离线聚合成宽表，将多张表的关联操作转化成对...
使用须知
慎用扫全表、OR、Join和子查询 虽然Phoenix支持各种Join操作，但是Phoenix主要还是定位为在线数据库，复杂Join，比如子查询返回数据量特别大或者大表Join大表，在实际计算过程中十分消耗系统资源，会严重影响在线业务，甚至导致OutOfMemory...
V5.3.x系列实例版本说明
修复驱动表较大时BKAJoin的StackOverFlow的问题。修复因Union查询优化没及时关闭连接导致连接泄漏问题。修复特殊拆分规则导致拆分键大小写不匹配的问题。修复类型相关的元数据存在的内存泄漏问题。修复参数化缓存在SQL执行后没及时清空占用...
一级分区的规划和设计（2.0版）
数据倾斜带来的影响 如果一级分区列选择不合理会导致用户表数据倾斜，带来如SQL查询长尾、后台数据上线超时和单节点资源不足等诸多问题，对查询性能影响非常大也会给用户带来资源的浪费。如何评估表数据是否倾斜 登录 分析型数据库MySQL版...
Join优化
因为大表之间进行Join会带来很大的网络开销，会使得Shuffle的代价急剧升高。合理使用Runtime Filter。它在Join过滤率高的场景下效果非常显著，但它同时具有一定副作用，需要根据具体的SQL的粒度做开关。涉及到多表Join时，需要去判断Join的...
Stage级别诊断结果
如果 Tbig 表不做重分布，而只广播 Tsmall 表，会有如下的执行流程：如上图所示，只广播 Tsmall 这张小表，可以缓解数据倾斜带来的处理长尾问题。在某些场景下，例如统计信息过期，会导致预估的表大小有偏差，从而导致广播了大量数据，此时...
2023年
无 缺陷修复 修复智能诊断功能统计表大小时可能会出现数字溢出的问题，现已将统计表大小的列由integer数据类型修改为bigint数据类型。修复分区表UPDATE分布键列时出现 tuple already updated by self 错误信息的问题。修复Master节点不回收...
pg_repack
PolarDB PostgreSQL版（兼容Oracle）支持通过pg_repack插件对表空间进行重新“包装”，回收碎片空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。注意事项 pg_repack...
清理表空间（pg_repack）
RDS PostgreSQL支持通过插件pg_repack在线清理表空间，有效解决因对全表大量更新等操作引起的表膨胀问题。pg_repack无需获取排它锁，相比CLUSTER或VACUUM FULL更加轻量化。前提条件 请确保实例大版本满足要求，本插件具体支持的实例大版本...
Dataphin集成任务中多表同步是如何同步的
产品名称 Dataphin 产品模块 集成任务，多表同步 概述 本文为您介绍Dataphin管道集成任务中源表选择多表同步是怎样同步的 问题描述 集成任务同步数据中源表选择了多表同步，为什么右边的界面只显示了部分表的字段 问题原因 不清楚选择多表...
使用“optimize table”命令释放MySQL实例的表空间
对大表进行optimize table操作会带来突发的IO和Buffer使用量，可能导致锁表和抢占资源，业务高峰期可能会导致实例不可用以及监控断点。建议在业务低峰期操作。通过命令行操作 连接MySQL数据库，详情请参见 通过命令行、客户端连接RDS MySQL...
使用“optimize table”命令释放MySQL实例的表空间
对大表进行optimize table操作会带来突发的IO和Buffer使用量，可能导致锁表和抢占资源，业务高峰期可能会导致实例不可用以及监控断点。建议在业务低峰期操作。通过命令行操作 连接MySQL数据库，详情请参见 通过客户端、命令行连接RDS MySQL...
- 产品推荐
- 这些文档可能帮助您