JOIN实现类型
SELECT t1.id,t2.id FROM tj_shop AS t1 JOIN tj_item AS t2 ON t1.id=t2.id 说明 iquan默认生成的优化计划不一定是hash join，可通过 Hint 指定hash join 说明 链接的表类型为KV/KKV/Summary时，该表的查询条件中必须包含PK等值条件，参考...
查询优化器介绍
本文将介绍查询优化器的基本原理，以及什么是关系代数运算符、查询改写（RBO阶段）和查询计划枚举（CBO阶段）。PolarDB-X 接收到一条SQL后的执行过程大致如下：语法解析器（Parser）将SQL文本解析成抽象语法树（AST）。语法树被转化成基于...
查询计划概述
生成逻辑计划的过程中，数据引擎会改写部分逻辑操作，使逻辑计划对SQL引擎后续的优化和执行更加友好。例如，将常量表达式直接改写为一个计算后的常量、将AVG聚合改写为SUM聚合或COUNT聚合等等。您可以通过在 EXPLAIN 语句中添加深度表达式...
网络计费方式优化-CDT-公网
操作说明 登录“用户中心”，进入“成本管理-成本优化”页，点击“网络计费方式优化-CDT-公网”，可进入购买优化页查看公网流量的优化建议。进入购买优化页后，可查看以下内容：优化建议范围：可在“优化建议范围”部分，查看计费优化对应...
BERT模型优化案例：使用Blade优化基于TensorFlow的...
然而BERT模型存在巨大的参数规模和计算量，因此实际生产中对该模型具有强烈的优化需求。本文主要介绍如何使用Blade优化通过TensorFlow训练的BERT模型。使用限制 本文使用的环境需要满足以下版本要求：系统环境：Linux系统中使用Python 3.6...
使用资源目录和共享VPC实现多账号网络互通
VPC数量增多导致网络复杂度提升 为了满足企业的业务需要，VPC数量会不断攀升，随之而来的是网络复杂度、管理难度和配额（例如：CEN可挂载的VPC数量限制）等问题。针对上述问题，您可以使用 资源目录 实现多账号集中管理，结合 资源共享 和 ...
安全体系概述
安全体系 专有网络原理 专有网络VPC是一个隔离的网络环境，专有网络之间逻辑上彻底隔离。基于目前主流的隧道技术，专有网络隔离了虚拟网络。每个VPC都有一个独立的隧道号，一个隧道号对应着一个虚拟化网络。一个VPC内的ECS（Elastic ...
计费方式优化-节省计划
支持范围 当前支持节省计划、数据库节省计划、转发路由器节省计划的购买方案测算。适用场景 在支持范围内，存在按量付费的费用，可使用此工具测算如何调整节省计划小时承付款来优化整体的费用。数据时效：每天刷新一次方案，支持3天之前的...
PolarDB处理TPC-H查询的挑战和机遇
本文深入分析了TPC-H查询中，可能存在的性能优化点和对应的优化思路，以及MySQL的现状和 PolarDB 做的一些改进工作。背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序，只要是和查询处理过程相关的任务，大多会使用TPC-H作为...
专家成长计划服务内容说明
30人 阿里云网络产品运维 8 通过深入介绍阿里云网络族产品介绍，包括SLB、VPC、VPN、混合云、云解析、全球加速等产品的原理、架构、操作使用和运维详解，使学习者全面了解物理网络和虚拟网络，快速具备网络产品的操作使用和深入故障处理和...
Explain和Explain Analyze
当SQL查询性能不佳或查询结果不符合预期时，Hologres提供了Explain和Explain Analyze命令用于分析查询语句执行计划，可以帮助您了解Hologres如何执行查询语句，以便您对查询语句或数据库结构进行调整优化。本文介绍在Hologres中通过Explain...
功能发布记录
2021-12-24 跨账号网络实例授权 2021年11月 功能名称 变更类型 功能描述 发布时间 相关文档 流日志 新增 流日志支持捕获转发路由器之间的跨地域流量信息，您可以根据捕获的流量信息分析跨地域业务流量、排查网络故障以及优化流量使用成本。...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
优化内部表的性能
OOM的优化手段 当实例计算内存不足时通常会出现OOM，常见的报错如下。产生OOM的原因有多种，比如计算复杂、并发量高等，可以根据不同的原因进行针对性优化，从而减少OOM。详情请参见 OOM常见问题排查指南。Total memory used by all ...
调优原理和执行计划
本文介绍了 PolarDB-X 处理SQL的基本原理及执行计划的概念。分布式数据库架构相对单机数据库有差异，所以在单机数据库调优方法的基础上分布式数据库又有着自身的特点。PolarDB-X 可以基于统计信息、执行计划、并发策略和执行之后反馈的运行...
列存索引技术架构介绍
除物理算子需要支持并行外，IMCI的优化器也支持生成并行执行计划，优化器在确定一个表的访问方式时，会根据需要访问的数据量来决定是否启用并行执行，如果确定启用并行执行，则会参考一系列状态数据（包括当前系统可用的CPU/Memory/IO资源...
高性能Flink SQL优化技巧
增加元数据（或者统计信息）：一些统计数据对于查询来说是动态的，例如已扫描的表索引、一些shuffle keys的倾斜信息等，从planner获得的计划元数据可能不准确，此时可以使用提示来配置它们。动态表配置选项：动态表选项允许用户动态地指定...
Dynamic Join Filter
Dynamic Join Filter原理示意图如下：关闭或开启Dynamic Join Filter功能 Dynamic Join Filter功能默认为开启状态，您可以通过修改 adbpg_enable_dynamic_join_filter 参数关闭或开启Dynamic Join Filter功能，操作方法如下：会话级别关闭...
自动SQL优化
数据库自治服务DAS支持自动SQL优化，相比传统的优化方式，能够自动识别问题SQL，生成索引优化建议，并在不引发锁表的情况下自动创建索引。前提条件 目标数据库实例为：RDS MySQL 高可用系列、三节点企业系列、集群系列。PolarDB MySQL版 的...
Runtime Filter
Hologres从V2.0版本开始支持Runtime Filter，在多表Join场景下自动优化Join过程的过滤行为，提升Join的查询性能。本文为您介绍在Hologres中Runtime Filter的使用。背景信息 应用场景 Hologres从V2.0版本开始支持Runtime Filter，通常应用在...
SQL调优方法与实战
但是，实际上2019-11-15这一天总价低于10元的订单数量很小，只有几条，这时候用BKAJOIN是比Hash JOIN更好的选择（关于BKAJOIN和Hash JOIN的介绍，请参见 JOIN与子查询的优化和执行）。通过如下/*+TDDL:BKA_JOIN(orders,customer)*/Hint...
偏高并发场景的实践和优化
使用GSI优化查询的原理与LSI相同，首先查到主键然后回表获得完整记录，主要区别在于GSI本身也是一张分区表，数据与主表保存在不同DN上，回表操作大概率需要经过网络，回表代价高于单机数据库。因此，PolarDB-X 支持创建聚簇索引来消除回表...
全链路专家服务内容说明
服务阶段 服务说明 评估阶段 需求交流 业务调研 技术架构调研 云资源盘点 检查阶段 健康检查 风险评估 专场咨询 具体产品问题的专家诊断与优化 具体需求方案及支持 方案支持 质量优化 安全加固 安全巡检 架构改造 压测调优 验收阶段《项目...
查询性能优化指导
执行计划的整体结构如上所述，具体执行计划会随查询语句的不同发生变化。消除分布式（Motion）算子提升性能 在进行连接或聚集操作时，AnalyticDB PostgreSQL 会根据数据分布情况添加分布式算子，对数据进行重分布（Redistribute Motion）或...
专家成长计划技术培训课程
专家成长 计划 技术培训课程详情 课程类别 课程名称 标准课程天数 班级容量 内容简介&概要 课程形式 云计算技术基础 云计算服务基础综述 1天 30人 内容主要包括云计算概述、阿里云简介、阿里云的云平台架构、阿里云解决方案。通过专题的...
智能索引推荐
索引优化通常需要依赖运维或开发人员对数据库引擎内部优化和执行原理的深入理解。为优化体验和降低操作门槛，PolarDB-X 推出了基于代价优化器的索引推荐功能，可根据查询语句分析并推荐索引，帮助您降低查询耗时，提升数据库性能。注意事项...
智能索引推荐
索引优化通常需要依赖运维或开发人员对数据库引擎内部优化和执行原理的深入理解。为优化体验和降低操作门槛，PolarDB-X 1.0 推出了基于代价优化器的索引推荐功能，可根据查询语句分析并推荐索引，帮助您降低查询耗时，提升数据库性能。注意...
调优实践
找出需要调优的慢SQL后，可以先通过 EXPLAIN 查看执行计划，然后通过如下方法进行优化：对表结构进行优化以便下推更多计算至存储层MySQL、适当增加索引、优化执行计划和增加并行度。下推更多的计算 PolarDB-X 会尽可能将更多的计算下推到...
国际站移动测试网络说明
技术上目前云手机的视频流和操作流是经过云上的代理服务的，目前有一个问题是直连中国香港机房的adb connect设备调试，中国香港以外地区会有明显的网络问题，这也是后续优化项。阿里云的网络加速和阿里云的代理服务的说明如下：加速指的是...
设置优化器的Join Reorder
为了提高列存索引（IMCI）处理复杂查询的能力，列存索引优化器通过结合变换规则与表中各个列的统计信息，基于代价生成高效的执行计划，以此来增强自身的优化器能力。本文介绍列存索引查询优化功能的工作原理、使用方法以及使用限制等内容。...
功能特性
图像处理 网络优化 功能集 功能 功能描述 参考文档 网络优化 Websocket WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工（full-duplex）通信，即允许服务器主动发送信息给客户端。因此，在WebSocket中，浏览器和...
成本优化
成本健康度各项分值，每日上午8点完成更新，覆盖当日已更新的优化项；极端场景下部分优化项晚于8点更新数据，则此优化项延后一天参与健康分更新。成本优化建议 可在下方查看各个可进行的优化建议列表，点击折叠按钮，可将列表展开以及折叠...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
HTAP中的行列混存查询优化
列存索引查询优化 行存Plan优化及其限制 MySQL的优化器有一套清晰的优化流程，其查询优化流程如下：应用一些基于规则的优化，规则通常会让plan变得更优，不涉及代价计算。将部分outer join转换为inner join。等值推导。如 c1=5 and c1=c2 ...
使用EXPLAIN阅读查询计划
最顶层的计划节点通常是数据库的移动（MOTION）节点：重分布（REDISTRIBUTE)、广播（BROADCAST）或者收集（GATHER）节点。这些操作在查询处理时在实例节点之间移动数据。EXPLAIN的输出对于查询计划中的每个节点都显示为一行并显示该节点...
执行计划
最顶层的计划节点通常是数据库的移动（MOTION）节点：重分布（REDISTRIBUTE）、广播（BROADCAST）或者收集（GATHER）节点，这些操作在查询处理时在实例节点之间移动数据。EXPLAIN的输出对于执行计划中的每个节点都显示为一行并显示该节点...
作业优先级管理与成本优化
本文为您介绍MaxCompute作业优先级管理与成本优化。作业优先级 MaxCompute的包年包月计算资源有限，在实际数据开发过程中，系统需要优先保障重要作业的计算资源。您可以通过MaxCompute设置使用包年包月计算资源Project的作业优先级，优先...
成本优化概述
本文介绍了成本优化的流程。MaxCompute的成本优化是一个持续不断的过程。由于大数据的动态性和不断变化的性质，企业用户成本优化的活动应该持续不断的进行。您可以参考以下流程进行优化：在使用MaxCompute之前，建议您详细了解付费策略以及...
VPC常见问题
专有网络与经典网络有以下区别：经典网络类型的云产品，统一部署在阿里云的公共基础网络内，由阿里云统一规划和管理，更适合对网络易用性要求比较高的用户。专有网络是指用户在阿里云的基础网络内建立一个可以自定义的专有隔离网络。与经典...
Cost-based SQL诊断引擎
上图是SQL诊断优化引擎的核心架构，它实现一套独立于数据库之外的优化器，包括自适应的统计信息收集以及执行计划的代价计算，以此为基础弥补WHAT-IF内核能力缺失，自适应的统计信息收集弥补统计信息缺失。其具体的工作过程如下：SQL解析与...
- 产品推荐
- 这些文档可能帮助您