NFS文件系统传输加密
工作原理 NAS客户端工具定义了一个网络文件系统类型alinas，与标准 mount 命令兼容。在ECS实例挂载alinas类型文件系统时，如果指定 tls 参数，NAS客户端工具会启动一个Stunnel监听进程，该进程转发并加密ECS实例对NAS服务器的访问，同时会...
什么是阿里云PCDN
充分发挥P2P技术特点，在并行传输、弱网优化、下载加速等方面优势明显。体验优质 支持主流终端平台、主流内容格式的内容加速分发，均可达到等于或略高于CDN的用户体验指标。针对移动端进行多重优化，支持纯内存模式，不必读写TF或ROM，极低...
AutoML工作原理
AutoML实现自动化调试参数的工作原理，是通过实验、Trial、训练任务进行循环迭代，来找到最优的超参组合。AutoML的工作机制如下图。您设定好超参数的值域、搜索算法、停止条件配置后，AutoML将其作为一次实验（experiment）传入到后端进行...
工作原理
工作原理 本地安装一个数据库网关代理（database gateway agent）。数据库网关代理负责与数据库网关云端服务（database gateway cloud service）建立安全的、可信任的通道。不同账号、不同网关所建立的通道彼此隔离。通道建立后，当您...
并行安全性
规划器把查询中涉及的操作分类成 并行安全、并行受限 或者 并行不安全。并行安全的操作不会与并行查询的使用产生冲突。并行受限的操作不能在并行工作者中执行，但是能够在并行查询的领导者中执行。因此，并行受限的操作不能出现在 Gather ...
淘宝App在短视频场景下的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
DCDN为淘宝App短视频场景加速的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
参数说明
注意并行查询可能消耗比非并行查询更多的资源，因为每一个工作者进程时一个完全独立的进程，它对系统产生的影响大致和一个额外的用户会话相同。max_parallel_workers_per_gather 设置单个Gather或者Gather Merge节点能够开始的工作者的最大...
VACUUM
要禁用此功能，可以使用 PARALLEL 选项并将并行工作程序指定为零。VACUUM FULL 将表的整个内容重写到一个新的磁盘文件中，并且不包含额外的空间，这使得没有被使用的空间被还给操作系统。这种形式的命令更慢并且在其被处理时要求在每个表上...
PolarDB并行查询
并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早布局云计算的厂商，阿里云也在2018年推出了自己的云原生关系数据库 PolarDB，和Aurora的理念一致，PolarDB 深度...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
使用DBS和DG备份本地或第三方云数据库
详细的原理介绍请参见 工作原理。前提条件 已创建数据库网关。创建方法请参见 新建数据库网关。已在网关中添加目标数据库。添加方法请参见 添加数据库。已创建DBS备份计划。创建方法请参见 购买备份计划。注意事项 确保网关程序所在的机器...
ECS实例数据传输的实现方式
文件传输原理 文件传输是信息传输的一种形式，它是在数据源和数据宿之间传送文件数据的过程，也称为文件数据通信。操作系统把文件数据提取到内存中做暂存，再复制到目的地，加密是在文件外加了一个壳，文件本身仍然是一个整体，复制只是把...
PolarDB MySQL版8.0.1版本发布日志
修复并行查询将GROUP BY下推到Worker上去并行执行时，在有分区表的情况下，返回结果集中存在分组重复的问题。修复执行 EXCHANGE PARTITION 操作时，因索引顺序不同导致索引损坏，无法访问表数据的问题。修复主键不包含分区键的分区表在使用...
创建倍速转码任务
倍速转码方案原理 在不考虑排队、传输带宽问题时，通常 视频流处理 是 花费时间最多的环节，也是转码提速攻克的重点。针对带有视频流转码的任务，媒体处理MPS基于智能转码引擎和强大的云上资源调度能力，通过将视频源切分为多个较小的片段...
PolarDB处理TPC-H查询的挑战和机遇
本文深入分析了TPC-H查询中，可能存在的性能优化点和对应的优化思路，以及MySQL的现状和 PolarDB 做的一些改进工作。背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序，只要是和查询处理过程相关的任务，大多会使用TPC-H作为...
PolarDB PostgreSQL版架构介绍
Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-H性能：加速比 TPC-H性能：和传统MPP数仓对比...
PolarDB PostgreSQL版架构介绍
存储计算分离架构详解 Shared-Storage带来的挑战 架构原理 数据一致性 低延迟复制 Recovery优化 PolarDB PostgreSQL版（兼容Oracle）HTAP架构详解 HTAP架构原理 分布式优化器 算子并行化 消除数据倾斜问题 SQL级别弹性扩展 事务一致性 TPC-...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
产品架构
数据迁移工作原理 数据迁移过程包括三个阶段，即结构迁移、全量数据迁移和增量数据迁移。如果需要在迁移期间保持源数据库的正常运行，当您在配置迁移任务时，必须将结构迁移、全量数据迁移和增量数据迁移都选为所需的迁移类型。结构迁移：...
管理工作流定义
执行策略 支持以下策略：并行：如果由同一个工作流定义生成了多个工作流实例，则并行执行工作流实例。串行等待：如果由同一个工作流定义生成了多个工作流实例，则串行执行工作流实例。全局变量 是指针对整个工作流的所有任务节点都有效的...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
并行INSERT
原理介绍 并行查询和并行写入以流水线的形式同时进行。执行过程如下图所示：ePQ 对并行 INSERT 的执行过程如下：ePQ优化器以查询解析得到的语法树作为输入，产生计划树。ePQ执行器将计划树分发到各计算节点，并创建并行查询/并行写入进程，...
并行INSERT
原理介绍 并行查询和并行写入以流水线的形式同时进行。执行过程如下图所示：ePQ 对并行 INSERT 的执行过程如下：ePQ优化器以查询解析得到的语法树作为输入，产生计划树。ePQ执行器将计划树分发到各计算节点，并创建并行查询/并行写入进程，...
常见问题
云工作流的工作原理是什么？云工作流的优势是什么？云工作流最长执行多长时间？怎么执行云工作流？云工作流使用什么语言编写流程？云工作流是集成了云监控？云工作流是否集成了事件源？什么是 云工作流？云工作流 是一个用来协调多个分布式...
多级分区表静态裁剪与并行扫描
PX Worker：参与ePQ跨机并行查询的工作进程角色。Worker ID：唯一标识一个PX Worker的编号。原理介绍 在多级分区表中，每一级分区表的分区维度可以不同，如下图所示：例如，一级分区表按照时间（date）维度分区，二级分区表按照地域...
CREATE PACKAGE BODY
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。设置为 UNSAFE 时，存储过程或函数不能以并行模式执行。存在此类存储过程或函数时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。设置...
包正文
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。设置为 UNSAFE 时，过程或函数不能以并行模式执行。存在此类过程或函数时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。设置为 ...
创建存储过程
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。如果设置为 UNSAFE，则该存储过程不能以并行模式执行。存在此类存储过程时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。如果设置为 ...
创建函数
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。设置为 UNSAFE 时，函数不能以并行模式执行。SQL 语句中存在此类函数时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。设置为 ...
CREATE FUNCTION
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。设置为 UNSAFE 时，函数不能以并行模式执行。SQL 语句中存在此类函数时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。设置为 ...
CREATE PROCEDURE
在查询期间，相比串行顺序扫描，并行顺序扫描使用多个工作线程并行扫描一个关系。如果设置为 UNSAFE，则该存储过程不能以并行模式执行。存在此类存储过程时，会强制执行串行执行计划。如果省略 PARALLEL 子句，则这是默认设置。如果设置为 ...
ANALYZE分析工具
原理介绍 在ePQ优化器产生的分布式并行查询计划中，计划树中的每个算子可能被多个PX Worker执行。例如，一个 Seq Scan 计划节点会被多个PX Worker执行，每个PX Worker负责扫描一部分数据。因此，相比于现有的 EXPLAIN ANALYZE 工具，PX的 ...
使用跨机并行查询加速索引创建
本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍 PolarDB PostgreSQL版（兼容Oracle）在执行索引构建时，会首先扫描待构建索引的基表构造出索引项，然后再进一步的根据索引项完成整棵索引树的构建过程。当使用跨机并行查询功能...
并行操作
并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程，通过多个CPU并行计算raster对象中的子集内容，从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行，当所有子集执行完成，...
并行操作
并行操作Raster对象 原理 通常情况下raster对象并行操作技术可以应用于单个raster对象的操作过程，通过多个CPU并行计算raster对象中的子集内容，从而降低整个raster对象的操作时间。每个子集内容的计算均独立运行，当所有子集执行完成，...
使用跨机并行查询加速索引创建
本文介绍工作原理以及如何使用该功能加速索引构建。原理介绍 PolarDB PostgreSQL版（兼容Oracle）在执行索引构建时，会首先扫描待构建索引的基表构造出索引项，然后再进一步的根据索引项完成整棵索引树的构建过程。当使用跨机并行查询功能...
- 产品推荐
- 这些文档可能帮助您