数据查询最佳实践
经验总结 编写和优化SQL的经验总结如下：SQL编写原则为追求简单 一般情况下，数据库性能会随SQL复杂度而下降。例如，单表查询（冗余设计）优于表关联查询。SQL优化核心方法是减少I/O 尽可能少的进行列扫描，返回最小数据量，减少I/O同时也...
2023年
2023年12月 V6.3.10.26 类别 功能 功能描述 相关文档 优化 优化器 优化多表JOIN场景，放大join_collapse_limit（连接操作能合并的最大表数限制）后，时间与内存大幅度增长。无 优化器 优化分区非常多的分区表与ODPS外表 JOIN时，Explain...
连续查询
说明 连续查询归属于指定的数据库，当数据库删除时，该数据库下的所有连续查询也将被自动删除。如果不指定数据库，则在当前数据库（对应USE DATABASE语句指定的数据库）下创建连续查询。连续查询的删除 从指定的Database下删除一个已存在的...
JOIN优化和执行
shardCount=8,sql="SELECT*FROM `supplier` AS `supplier`")Hash Join常出现在JOIN数据量较大的复杂查询、且无法通过索引Lookup来改善，这种情况下Hash Join是最优的选择。例如上面的例子中，partsupp表和supplier表均为全表扫描，数据量...
查询优化建议
Join使用的指导原则 采用事实表与维度表Join，会有较高的性能。Join的两张表尽量按一级分区键作为join key，会有较高的性能。如果有非一级分区的列要join，那最好增加where条件减少参与join的数据量。如果有非一级分区的列要join，要考虑...
配置流程
数据库传输服务DTS为数据同步过程提供了流式的ETL功能，您可以在源库和目标库之间添加各种转换组件，实现丰富的转换操作，并将处理后的数据实时写入目标库。例如将两张流表做JOIN操作后形成一张大表，写入目标库；或者给源表新增一个字段，...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
对分区表使用跨机并行查询
通过对分区表使用跨机并行查询，提升数据库的性能。功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。...
基本概念
数据库 database 表示数据访问代理的逻辑数据库。以这个作为访问的入口，通过分库分表、读写分离等规则可以请求到后端真实的物理数据库。数据表 data table 表示数据访问代理的逻辑表，应用访问数据访问代理时 SQL 中的表即数据表。一个...
扩展性原理
计算扩展性 无论是水平拆分还是垂直拆分，PolarDB-X 1.0 常常碰到需要对远超单机容量数据进行复杂计算的需求，例如需要执行多表JOIN、多层嵌套子查询、Grouping、Sorting、Aggregation等组合的SQL操作语句。针对这类在线数据库上复杂SQL的...
恢复MongoDB数据库
已选择的恢复时间点 选择需要恢复的时间，设置的时间必须在可恢复的时间范围内 恢复目标数据库 数据库所在位置 选择恢复目标数据库所在位置，支持类型如下：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入的...
CREATE DATABASE
CREATE DATABASE 用于创建一个新的PolarDB数据库。简介 CREATE DATABASE 创建一个新的PolarDB数据库。要创建一个数据库，你必须是一个超级用户或者具有特殊的 CREATEDB 特权。默认情况下，新数据库将通过克隆标准系统数据库 template1 被...
手动调整Join顺序
功能介绍 AnalyticDB MySQL版 支持复杂的联表（Join）查询且默认提供了自动调整Join顺序的功能。但查询语句和表的过滤条件随时可能发生变化，而且如果数据特征复杂，自动调整Join顺序功能不一定在所有场景下都能很好地预估查询特征，并选择...
JOIN与子查询的优化和执行
shardCount=8,sql="SELECT*FROM `supplier` AS `supplier`")Hash Join常出现在JOIN数据量较大的复杂查询、且无法通过索引Lookup来改善，这种情况下Hash Join是最优的选择。例如上面的例子中，partsupp表和supplier表均为全表扫描，数据量...
数据清理
背景信息 ODC 支持在源数据库中的数据归档到目标数据库后，删除源数据库中的数据，以提高数据库查询性能，降低在线存储成本。本文档旨在介绍如何通过提交数据清理工单实现归档数据。原理介绍 前提条件 清理的表中必须包含主键。注意事项 ...
列存索引测试方法
TPC-H查询包含8张数据表、22条复杂的SQL查询，大多数查询包含若干表Join、子查询和Group By聚合等。安装TPC-H工具 git clone https://github.com/yubinr/benchtpch.git cd benchtpch/dbgen-src make 命令执行完成后，benchtpch/dbgen-src ...
一般SQL优化方法
在SQL语句中可以使用SQL优化，如添加索引、选择合适数据类型、避免使用 SELECT*、使用临时表暂存中间结果等方法，提高查询性能和简化数据库操作。优化能力 控制IN条件或OR条件的条目数量，过多的条目会导致RCA优化时间加长。尽量避免在...
库表级恢复
数据库备份DBS 支持表级别的数据恢复能力。当发生数据误删除时，您可以选择只对单个表或数据库进行恢复，而无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时，以数据库对象...
库表级恢复
数据库备份DBS 支持表级别的数据恢复能力。当发生数据误删除时，您可以选择只对单个表或数据库进行恢复，而无需恢复全部数据，可用于误操作后的快速订正，以及分析历史数据等场景。功能介绍 数据库备份DBS 在执行逻辑备份时，以数据库对象...
常见问题以及改进措施
但由于还有多表Join的中间结果，以及Join Type等因素影响，Join的左右表的选择也不能单纯依赖表过滤后的大小来选择。Join Order Join Order的优化是优化器的核心挑战之一，也是经典的NP-hard问题。AnalyticDB MySQL版 优化器对于不同的负载...
SKEWJOIN HINT
当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据...
SKEWJOIN HINT
当两张表Join存在热点，导致出现长尾问题时，您可以通过取出热点key，将数据分为热点数据和非热点数据两部分处理，最后合并的方式，提高Join效率。SkewJoin Hint可以通过自动或手动方式获取两张表的热点key，分别计算热点数据和非热点数据...
查询改写与下推
此外，任意表JOIN广播表总是可以下推。EXPLAIN OPTIMIZER select*from t1,t2 where t1.id=t2.id;一条SQL的执行计划在如下生成过程中，JOIN下推到LogicalView算子里面。可以达到计算离存储更近，并行执行加速的效果。子查询下推 一条SQL的...
查询改写与下推
此外，任意表JOIN广播表总是可以下推。explain optimizer select*from t1,t2 where t1.id=t2.id;一条SQL的执行计划在如下生成过程中，JOIN下推到 LogicalView 算子里面。JOIN下推可以达到计算离存储更近，并行执行加速的效果。...
DescribeSynDbTables-查看同步数据库与表
查看同步数据库与表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 ...
恢复PostgreSQL数据库
恢复目标数据库 数据库所在位置 本例中将备份集恢复至提前新建的 RDS实例 实例中，请确保目标数据库服务正在运行中，同时还支持恢复至如下数据库实例所在位置：有公网IP:Port的自建数据库 ECS上的自建数据库 通过专线/VPN网关/智能网关接入...
数据库对象的逻辑结构
AnalyticDB PostgreSQL 数据库由许多数据库对象组成，包括表（table）、索引（index）、序列（sequence）、视图（view）、以及数据库（database），数据库对象在逻辑上是彼此分离，相互之间可以有包含关系。一个 AnalyticDB PostgreSQL ...
恢复PolarDB MySQL版数据库
本文介绍如何通过 数据库备份DBS 恢复已完成备份的 PolarDB MySQL版 数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。相关操作，请参见 PolarDB MySQL版逻辑备份。操作步骤 登录 DBS控制台。单击左侧导航栏...
Db2 for LUW同步至云原生数据仓库 AnalyticDB ...
注意事项 说明 在库表结构同步过程中，DTS会将源数据库中的外键同步到目标数据库。在全量同步和增量同步过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。...
使用须知
慎用扫全表、OR、Join和子查询 虽然Phoenix支持各种Join操作，但是Phoenix主要还是定位为在线数据库，复杂Join，比如子查询返回数据量特别大或者大表Join大表，在实际计算过程中十分消耗系统资源，会严重影响在线业务，甚至导致OutOfMemory...
恢复Redis数据库
本文介绍如何在 数据库备份DBS 中恢复已完成逻辑备份的Redis数据库，可用于误操作后恢复以及分析历史数据等场景。前提条件 已完成数据库备份。具体操作，请参见 Redis逻辑备份。操作步骤 本例中备份集将恢复到提前新建的 云数据库Redis ...
自建MySQL迁移至PolarDB MySQL版
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
Leading Hint
优化器在生成多表Join顺序时，对于有连接条件的表，会尽量先尝试与其有连接关系的表Join，如果这其中没有可以执行路径产生，才会去尝试生成Cartesian Product。因此，在使用Leading Hint时，对于有Join条件的表，紧跟着的表应尽可能是与前...
PolarDB MySQL版迁移至RDS MySQL
由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。请确认DTS对数据类型为FLOAT或DOUBLE的列的迁移精度是否符合业务预期。DTS会通过 ROUND(COLUMN,...
DropDatabase
说明 此API接口无法删除数据库里面表的数据。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 ...
分区裁剪
分区裁剪（Partition Pruning）是数据库分区表中常用的性能优化手段。使用限制 仅支持分区表。仅支持在Range或List分区列上使用范围、等式和IN列表谓词。AnalyticDB PostgreSQL 7.0版 支持Hash分区，Hash分区只能通过等值条件进行裁剪。...
Leading Hint
优化器在生成多表Join顺序时，对于有连接条件的表，会尽量先尝试与其有连接关系的表Join，如果这其中没有可以执行路径产生，才会去尝试生成Cartesian Product。因此，在使用Leading Hint时，对于有Join条件的表，紧跟着的表应尽可能是与前...
数据迁移方案概览
从自建Db2迁移至RDS MySQL 使用mysqldump迁移MySQL数据 从自建Oracle迁移至阿里云 数据导入 从CSV文件、TXT文件或SQL脚本导入数据到RDS 将第三方云数据库迁移至阿里云 腾讯云云数据库MySQL迁移到阿里云 Google Cloud SQL for MySQL数据库...
同步时源库为Db2 for LUW的注意事项及限制
Db2 for LUW同步至PolarDB-X 2.0 说明 DTS默认同步到目标数据库中时会取消外键约束，因此源数据库的级联、删除等操作不会同步到目标数据库。类型 说明 源库限制 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据同步速率。待...
同步方案概览
源为自建SQL Server或RDS SQL Server的同步方案 源为自建MongoDB或云数据库MongoDB的同步方案 源为自建Redis或云数据库Tair/Redis的同步方案 源为MariaDB的同步方案 源为TiDB的同步方案 源为Db2 for LUW的同步方案 源为Db2 for i（AS/400）...
- 产品推荐
- 这些文档可能帮助您