如何查看表和数据库的数据量大小？
执行以下命令，查询一张表的总大小（单位为MB，包含表的索引和数据）：select pg_size_pretty(pg_total_relation_size('<schemaname>.<tablename>'));执行以下命令，查询表的数据大小（单位MB，不包括索引）：select pg_size_pretty(pg_...
topRegion分析
本文介绍如何通过集群管理系统查看热点分片分析结果。前提条件 已登录目标实例的集群管理...数据量Top：指定时间段内，总数据量最大的表及其所在分片。默认显示数据量Top10的表。（可选）单击目标表名前的 图标，可查看目标表所属分片的详情。
分区表常见问题
是的，分区表把数据切分成小的分片独立管理，从而使得拥有大数据量的表仍然拥有高性能和高可用。分区表的更多介绍请参见 分区表概述。业务上估算单张表的数据量为2 TB，选择使用 PolarDB MySQL版 还是PolarDB-X？PolarDB MySQL版 单表最大...
表设计规范
单个分区中数据量较大的情况下，MaxCompute执行任务时会进行分片处理而不影响分区裁剪的优势。单个分区中文件数较多时，会影响MaxCompute Instance数量，造成资源浪费和SQL性能的下降。采用多级分区时，建议先按日期分区，然后按交易类型...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
数据膨胀诊断
如果两个表的膨胀率相同时，数据量大的表更靠前。诊断信息表内部原理是基于PostgreSQL的Statistic Collector进程的统计信息来进行诊断的，Statistic Collector在PostgreSQL Server发生Crash时统计信息会重置（极小概率发生）。如果您发现...
数据倾斜诊断
复制分布方式通常只会用在数据量小的表中，如果数据量大的表使用复制分布方式，会导致数据急剧膨胀。哈希（HASH）分布 该分布方式会根据分布键HASH值将数据分布到各个计算节点上，该方式的关键在于如何选择分布键，分布键选择不正确时，...
一键诊断
不合理分区表详情 表分区不合理检测会先定位数据量最大的表，然后再检测这些表是否存在分区不合理的情况。节点在线状态检测 Worker节点压力较大或内部异常时，可能会导致Worker节点不健康，无法提供正常的服务，最终导致查询失败或者查询变...
表结构设计
FORMAT(column_name,'%Y%m'))将 column_name 的值转换为%Y 的日期格式（类似 2021）做分区，语法如下：PARTITION BY VALUE(DATE_FORMAT(column_name,'%Y'))注意事项 当数据量较大时，二级分区的选择至关重要，如果数据量大的表中没有二级...
数据归档
通过数据归档OSS功能，用户能够将低频访问、数据量大的表转储至OSS，并通过原生InnoDB的访问方式去读取冷表数据。ALTER TABLE$table_name ENGINE_ATTRIBUTE='{"OSS":"Y|N"}';RDS MySQL归档表保留了InnoDB完整的索引信息和事务性，具有快速...
调优集群性能
如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中数据量较小，那么当您查询这个大表时，较大概率会出现存储节点0需要处理的数据多，存储节点1上需要处理的数据少的情况，...
Query级别诊断结果
建议 先找到读取数据量较大的Stage以及相关的表扫描算子（TableScan）。您可以在 AnalyticDB MySQL版 SQL诊断的Stage层或算子层执行计划中的 统计信息 区域查看对应Stage 扫描行数、扫描量，或TableScan算子的 输入行数 和 输入大小 来判断...
多表连接
警告 对数据量比较大的数据表进行笛卡尔连接（不带连接条件的交叉连接），会因数据膨胀造成结果数据量巨大，影响节点的执行耗时，并占用较多的存储空间。连接条件 连接条件指定了两张数据表之间使用哪些字段进行连接，当数据表中某条数据...
性能调优
说明 对于数据量非常大的表，如果分片值太小，会导致分片数量过多，从而导致Tablestore服务压力增大，经常产生超时，影响数据写入链路的稳定性。如果当前要访问的Tablestore数据量大于10GB，则当前分片值建议为256MB；如果Tablestore数据量...
避免下盘
算子下盘常见原因 在数据量较大的表上执行SORT、JOIN、HASH等操作时，可能由于内存不足导致临时结果落盘。您通过观察执行计划（explain analyze）可以辨认发生了算子下盘：上图是一个发生了算子落盘的查询计划例子，执行计划中Workfile这一...
导入概述
异步导入 Spark Load 通过外部的Spark资源实现对导入数据的预处理，提高StarRocks大数据量的导入性能并且节省StarRocks集群的计算资源。Spark Load是一种异步导入方式，需要通过MySQL协议创建导入作业，并通过 SHOW LOAD 查看导入结果。...
同数据库归档
当数据库中表的数据量过大时，可能会影响查询数据速率，在不考虑将数据迁移到其他数据库的情况下，您可以将数据库中的历史数据或使用频率低的冷数据归档在当前数据库下的其他表中。同时，结合DMS提供的归档时清理源表功能，帮助您提升数据...
Hash Clustering
然后每个Instance对数据量小的一路建Hash表，数据量大的顺序读取Join。Sort Merge Join 如果Join的表数据更大一些，Shuffle Hash Join方法也用不了，因为内存已经不足以容纳建立一个Hash Table。这时的实现方法是：先按照Join Key做Hash ...
表设计最佳实践
如果终端较多但数据量不大，例如，一个终端的数据量小于1 TB但采集次数较多，则可以不对终端进行分区，设置终端信息为普通列。说明 对日志表进行分区设计时，可以按照日志采集的时间进行分区。在写入数据前进行数据的采集和整合，整合好后...
聚合支付方案
分析型需求 随着数据量的增大，数据查询涉及的量级呈指数级上升，针对商户等大数据量场景的分析查询，单体MySQL已无法满足需求。解决方案 阿里云通过多款云数据库产品为利楚扫呗制定以下解决方案：方案解读：使用DRDS分库分表将数据库进行...
深度解析PolarDB数据库并行查询技术
例如，对一个数据量很小的表，可能只是几行，如果也对它进行并行读取的话，并行执行所需要的多线程构建再加上线程间的数据同步等所需要的代价可能远大于所得到的收益，总体来说，并行执行会需要更多的资源和时间，这就得不偿失了。...
ListDoctorHDFSDirectories-批量获取HDFS目录分析结果
Day growth ratio of cold data size FreezeDataSizeDayGrowthRatio object 极冷数据的数据量大小日环比。极冷数据指的是 90 日以内都没有访问的数据。Name string 指标名称。freezeDataSizeDayGrowthRatio Value float 指标值。0.09 Unit ...
冷数据归档
如下所示：对于数据量最大的冷数据，时序引擎会自动根据用户设置的基于业务时间戳的冷热分界线自动将冷数据归档到冷存储中。当需要查询冷数据时，用户可以无感知地按正常查询的方式进行冷数据查询。开通冷存储 时序引擎实例创建后本身就...
技术发展趋势
而Fast Data在数据量的基础上，意味着速度和变化，客户可以更加实时化、更加快速地进行数据处理。IDC在新发布的一份白皮书中表示，随着全球连接的增多，更多数据将产生，其中实时数据所占比例将增加；到2025年，全球近30％的数据将是实时的...
基本概念
您可以在创建集群时购买EIU，也可以在高吞吐写入或大数据量扫描时购买或扩容EIU。EIU的性能指标，请参见 弹性IO资源（EIU）扩容。ACU ACU，全称为AnalyticDB Compute Unit，是 AnalyticDB for MySQL 湖仓版（3.0）计算资源和存储资源的最小...
计费常见问题
存储在MaxCompute的数据，例如表（Table）、资源（Resource），会占用存储空间，产生存储费用，MaxCompute会按照其数据量的大小计算费用，计费周期为天。更多存储计费信息，请参见 存储费用。删除MaxCompute项目中的几张大表后，显示的存储...
DISTRIBUTED MAPJOIN
注意事项 Join两侧的表数据量要求不同，大表侧数据在10 TB以上，中表侧数据在[1 GB,100 GB]范围内。小表侧的数据需要均匀分布，没有明显的长尾，否则单个分片会产生过多的数据，导致OOM（Out Of Memory）及RPC（Remote Procedure Call）...
功能特性
SQL窗口介绍 SQL Console初体验 SQL Console新交互模式下变更表数据和结构 数据工作站 数据集成 离线集成是一种低代码开发数据加工任务的工具，可以组合各类任务节点形成数据流，通过周期调度运行达到数据加工、数据同步的目的。...
基于MaxCompute实现拉链表
适用场景 在设计数据仓库的数据模型时，拉链存储技术可作为一种解决方案，满足以下需求：数据量较大。表中的部分字段被更新。例如，用户的地址、产品的描述信息、订单的状态和手机号码等。需要查看某一个时间点或时间段的历史快照信息。...
冷数据归档常见问题
暂不支持直接修改已归档到OSS上的冷数据，您可以通过 ALTER TABLE table_name ENGINE=InnoDB 语法将OSS上的表数据导回至PolarStore，修改完成后，再通过 ALTER TABLE t ENGINE=CSV STORAGE OSS;脚本将表数据归档至OSS。详情请参见 将OSS...
DML操作常见问题
如果表数据量较大，如何删除非分区表中的重复数据？执行INSERT操作过程中出现错误，会损坏原有数据吗？不会损坏原有数据。MaxCompute满足原子性，INSERT操作执行成功则更新数据，INSERT操作执行失败则回滚数据。执行INSERT INTO或INSERT ...
查看与减少数据备份
说明 如果当月全量备份数据量与增量备份数据量之和未超过每月备份数据量免费额度，则不额外收取备份费用，否则超出部分按量付费。更多信息，请参见 备份费用。如果使用了DBS内置存储，还将收取存储费用，更多信息，请参见 存储费用。备份...
冷热分离介绍
背景信息 在海量大数据场景下，一张表中往往存储着大量的历史数据，如订单数据或者监控数据。随着时间的推移，这些数据被访问的频率会逐渐降低，最终被搁置。减少这部分数据的存储成本，成为一个新的问题。为解决这一问题同时降低存储成本...
计费概述
适用于查询频率高、查询数据量较大的场景，同时也能够给您使用DLA的费用预算带来一定的确定性。说明 若您的业务量波动较大且频繁，每个月甚至每周都可能要变更集群配置，推荐您购买按量付费集群并搭配资源包使用。按计算资源付费（CU版计费...
监控
本文汇总了 AnalyticDB for MySQL 中监控的常见问题及解决方法。说明 当常见问题场景中未明确产品系列时，表明该问题仅适用于 ...查询结束后，如果返回结果数据量大，会在前端节点缓存返回结果，产生结果集缓存耗时。SQL耗时如下图所示：
配置离线数据集成节点
使用限制 系统在计算数据量过大且缺失主键的表时，会导致内存溢出或内存耗尽（OOM）。周期调度节点最近一次运行成功后，若连续运行失败10次及以上，离线集成任务直接执行失败，且不会再提交Spark任务。此时，您需要手动运行成功该任务节点...
数据服务系统配置
指定redis实例：将缓存数据存储到指定的Redis，适用于大量API开启缓存，缓存数据量较大的场景。如需添加Redis实例，请参见 创建Redis数据源。重要 请勿删除作为API缓存数据的Redis实例，否则缓存数据存储将失败且API开启的缓存将失效。单击...
算子级别诊断结果
AnalyticDB MySQL版 在预估左右表数据量时，由于统计信息过期等原因导致估计错误。建议 建议将Left Join优化改写成Right Join。改写方法，请参见 Left Join优化改写为Right Join。存在Cross Join 问题 Cross Join，即没有Join条件的Join...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
常见问题
分区索引的适用场景：单表数据量较大，例如超过10亿，或查询RT和查询QPS无法满足要求时，推荐您使用分区索引。分区索引主要由HASH分区、时间分区或HASH分区和时间分区的组合组成，您可以根据以下场景和建议合理设置分区索引：业务数据有...
- 产品推荐
- 这些文档可能帮助您