DDL操作常见问题
MaxCompute限制单个作业中最多不能超过一定数量的Instance，而作业中的Instance数量和输入的数据量以及分区数量是密切相关的，所以您需要根据业务情况，选择合适的分区策略。如果源表没有分区字段，是否可以增加或更改分区？MaxCompute不...
CPU使用率高排查方法
参考以下命令，查询具备一定规模数据量（元组约为10万个）且使用全表扫描获取到的元组数量最多的5张表。SELECT*FROM pg_stat_user_tables WHERE n_live_tup>100000 AND seq_scan>0 ORDER BY seq_tup_read DESC LIMIT 5;定位长时间执行不...
管理健康报告
扫描字节数 SQL执行过程中访问的数据量大小。单位：bytes。扫描行数 SQL执行过程中访问的数据行数。返回行数 SQL执行后返回的结果行数。SQL文本 被执行的具体SQL语句文本。参数化SQL分析 参数化SQL是指将SQL语句中的常量替换成?参数，同时...
JOIN优化和执行
由于Hash Join的内表需要用于构造内存中的哈希表，内表的数据量一般小于外表。通常优化器可以自动选择出最优的JOIN顺序。如果需要手动控制，也可以通过下面的Hint。通过如下Hint可以强制 PolarDB-X 使用Hash Join以及确定JOIN顺序：/*+TDDL...
使用说明
Sysbench测试数据量为2千张表，每张表1万行数据。集群规格分别为4核8 GB和8核32 GB。集群规格为4核8 GB时的性能对比如下：db-ps-mode=disable oltp_read_only db-ps-mode=auto oltp_read_write 集群规格为8核32 GB时的性能对比如下：db-ps-...
分区表常见问题
业务上估算单张表的数据量为2 TB，选择使用 PolarDB MySQL版 还是PolarDB-X？PolarDB MySQL版 单表最大支持到64 TB，2 TB的数据量相对较小，所以推荐使用 PolarDB MySQL版。因为数据量超过1 TB，建议使用分区表。PolarDB MySQL版 分区表...
新功能发布记录
访问OSS-HDFS数据源 空间总览 AnalyticDB for MySQL 支持在空间总览页面快速查看集群级别和表级别的数据量。存储空间分析 V3.1.10 类别 名称 说明 相关文档 新增 主外键约束 AnalyticDB for MySQL 支持使用主外键约束减少不必要的JOIN操作...
数据倾斜诊断
设置智能诊断参数 设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;...
功能概述
由于只返回符合条件的数据行，所以在大部分场景下，可以有效降低网络传输的数据量，减少响应时间。过滤器 二级索引 通过创建一张或多张索引表，使用索引表的主键列查询，相当于把数据表的主键查询能力扩展到了不同的列。二级索引包括全局二...
数据膨胀诊断
设置数据量阈值 默认情况下，智能诊断功能会过滤小于1 GB的表，如需调整过滤的表的阈值大小，可以通过如下语句进行设置：ALTER DATABASE<数据库名称>SET adb_diagnose_table_threshold_size to<表的数据量，单位为字节>;例如，您需要诊断...
PyODPS常见问题
为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，如何解决？使用from odps import options options.sql.settings设置MaxCompute...
Python SDK常见问题
为什么DataWorks PyODPS节点上查出的数据量要少于本地运行的结果？DataFrame如何获得Count实际数字？使用PyODPS时，报错sourceIP is not in the white list，如何解决？使用from odps import options options.sql.settings设置MaxCompute...
算子级别诊断结果
聚合算子聚合度低 过滤条件没有下推 Join存在数据膨胀 Join的右表过大 存在Cross Join 扫描算子读取字段个数较多 表扫描数据量倾斜 索引不高效 聚合算子聚合度低 问题 聚合算子的聚合度一般指GROUP BY分组聚合操作中的输入数据量和输出数据...
调优集群性能
导致CPU使用率倾斜可能存在如下原因：源表倾斜 通常是建表时选择的分布键不均匀，导致不同Shard上的数据量存在较大差异。如下图所示，某个大表分布不均，存储节点0上的Shard_0和Shard_1中数据量较大，而在存储节点1上的Shard_2和Shard_3中...
常见问题
单个Shard（分片）的数据量通常控制在3千万到1亿条之间（一般在30 GB以内），实际数据量控制需要根据实际业务情况确定。分片数对查询或写入性能的影响，请参见 分片数量对查询和写入性能有什么影响？如果单表数据量超过10亿，或查询RT和...
深度解析PolarDB数据库并行查询技术
另外一处在计划树的中间位置，它其实是在worker线程的执行计划上，在每个worker线程中在排序完成后也会进行一次limit，这样就可以极大减少worker返回给session线程的数据量，从而提升整体性能。通常来说，每个worker只有所有数据的一个分片...
Stage级别诊断结果
较大的数据量被广播 Stage输入数据倾斜 Stage输出数据倾斜 较大的数据量被广播 问题 广播（Broadcast）是在两个相邻的Stage间，上游向下游Stage传输数据时所用的一种方法（更多详情，请参见 数据输出类型）。如果某个Stage广播了较多数据，...
Query级别诊断结果
查询返回客户端的数据量较大 查询消耗的内存资源较大 查询生成的Stage个数较多 查询读取的数据量较大 查询返回客户端的数据量较大 问题 大量数据返回到客户端会导致慢查询，还会占用部分网络前端资源。说明 您可以在查询详情页面的 查询...
存储空间分析
查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷数据量、以及 最近24小时 和 近一周日均 的 数据增长量。登录 云原生数据仓库AnalyticDB MySQL控制台，在左上角选择集群所在地域。在左侧导航栏，单击 集群...
文档更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。更新说明 创建FTP数据源 创建Salesforce数据源 创建OSS数据源 管理...
SQL其他常见问题
定时（例如每天）对ODS层的增量数据做数据清洗，复杂字段拆分为多个简单字段，然后存储在CDM层的表中，便于统计和分析数据。在执行MaxCompute SQL过程中，报错partitions exceeds the specified limit，如何解决？问题现象 在执行...
PolarDB HTAP实时数据分析技术解密
在存储计算分离架构下，减少网络读取的数据量，可以缩短对查询处理的响应时间。列式存储同样能提高CPU在处理数据时的执行效率。首先，列存的紧凑排列方式可提升CPU访问内存效率，减少L1/L2 Cache miss导致的执行停顿。其次，在列式存储上...
通过文件管理优化性能
我们以一张Delta表的x列为例，假设给定的表文件x列的最小值为5，最大值为10，如果查询条件为 where x，则根据表文件的统计信息，我们可以得出结论：该表文件中一定不包含我们需要的数据，因此我们可以直接跳过该表文件，减少扫描的数据量，...
功能更新动态（2023年）
支持配置数据源编码，配置数据源编码后，可在Flink SQL任务中通过 数据源编码.table 或 数据源编码.schema.table 的格式引用MySQL、Hologres和MaxCompute数据源中的表。创建FTP数据源 创建Salesforce数据源 创建OSS数据源 安全设置 安全...
其它操作
本文为您介绍使用MaxCompute SQL开发过程中会使用的其它常用命令。计量预估 基于一条SQL作业的输入数据量大小、UDF个数以及SQL复杂等级估算作业执行费用。需要注意的是，如果UDF涉及分区裁剪，由于无法确定...Input：表示SQL扫描的数据量。
如何统计表行数
通过HBase Shell工具统计表行数 使用HBase RowCounter统计表行数 通过Lindorm SQL统计表行数 如果您要粗略查询Lindorm宽表的行数，可以通过Lindorm集群管理系统的 表概览 页面进行查看，详情请参见 通过集群管理系统粗略查看表行数。...
MaxCompute后付费消费突增排查
说明 一次SQL计算费用=计算输入数据量×SQL复杂度×单价（0.3元/GB）。示例中的 task_type='SQL' 表示SQL作业；task_type='SQLRT' 表示SQL查询加速作业。查看消费较高SQL作业的 SKYNET_ID（DataWorks调度任务ID）。如果有ID，请在DataWorks...
常见问题
Q：对比原生MySQL，PolarDB 单表最多支持存储多少数据量？A：PolarDB 不限制单表大小，但单表大小受磁盘空间大小限制，详情请参见 使用限制。兼容性 Q：是否兼容社区版MySQL？A：PolarDB MySQL版 可以100%兼容社区版MySQL。Q：支持哪些事务...
列存索引技术架构介绍
优化器在确定一个表的访问方式时，会根据需要访问的数据量来决定是否启用并行执行，如果确定启用并行执行，则会参考一系列状态数据（包括当前系统可用的CPU/Memory/IO资源、目前已经调度和在排队的任务信息、统计信息、query的复杂程度、...
新功能发布记录
优化逻辑表备份恢复支持的表数量至 200 张。发起恢复 备份策略 实例回收站 2023 年 8 月 22 日 功能名称 功能描述 相关文档 新增功能 存储自动扩容 支持用户配置存储自动扩容规则，实现资源自动扩容，自动可扩容上限由用户设定。当存储即将...
8.0.1和8.0.2版功能对比
SQL Trace/Detail PolarDB for MySQL 提供的SQL Trace功能，用于跟踪SQL语句的执行信息，如：执行计划和执行统计信息（包括扫描行数、执行时间等），可以帮助您快速地发现因执行计划变更而引发的性能变化，并统计当前集群中占用内存最多的...
免费体验DMS Data Copilot智能助手
随着信息化不断深入，不同岗位角色的数据需求越来越多，为数据管理和SQL开发效率带来了较大挑战。DMS Data Copilot是DMS基于阿里云大模型构建的数据智能助手。其结合了DMS熟练的数据管理、数据使用能力，可帮助开发、运维、产品、运营、...
时序引擎版本说明
新增了表写入数据量的统计，支持通过Lindorm-cli查询。字符串处理修改为字节数组，并支持proxy对于字符串的压缩。创建Database支持指定分区数量。功能优化 修复时间分区切分导致的Flush阻塞问题。修复Database在创建或者删除时的稳定性问题...
Bucket Shuffle Join
Shuffle Join：Shuffle Join会根据哈希计算，将A、B两张表的数据分散到集群的节点之中，所以这次操作的网络开销为 A表数据量+B表数据量，内存开销为B表数据量。FE中保存了SelectDB每个表的数据分布信息。如果Join语句命中了表的数据分布列...
查看数据迁移项目的详情
在 表对象 页签，您可以查看对象名称、源库、目标库、预估数据量、已完成数据量和对应的状态。在 表索引 页签，您可以查看表对象、源库、目标库、创建时间、结束时间、耗时及其对应的状态。同时，您可以查看索引的创建语法、重试单个或全部...
通过整库迁移配置集成任务
离线整库迁移可用于将本地数据中心或在ECS上自建的数据库同步数据至大数据计算服务，包括MaxCompute、Hive、TDH Inceptor等数据源。本文为您介绍如何新建并配置整库迁移任务。前提条件 已完成所需迁移的数据源创建。整库迁移支持MySQL、...
公开数据集概述
如果您已开通MaxCompute服务，可以通过MaxComputeSQL分析连接查询公开数据集中的表，以便您快速试用MaxCompute。本文为您介绍公开数据集信息，并指导您如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别...
使用说明
您可 导出 全量请求统计 的数据，单次最多可 导出 1000万行数据。说明 执行耗时分布：执行耗时分布 展示了选定时间范围内，所有SQL的执行耗时分布，将执行耗时分为了7个区间，每分钟计算一次，分别是：[0,1]ms 是指满足0ms≤执行耗时≤1ms ...
错误码
有很多跨库查询（例如聚合统计类查询，未带分库条件的查询）同时执行，占用大量连接。解决方法建议如下：尽量使用框架访问数据库，如Spring JDBC、MyBatis等；按性能分析报告与DBA建议优化业务SQL语句；使用 PolarDB-X 读写分离将跨库查询...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
- 产品推荐
- 这些文档可能帮助您