Hash Join的并行加速
PolarDB MySQL版 8.0版本提供了对Hash Join的并行执行支持，并不断丰富其并行执行策略。本文介绍如何在 PolarDB 的并行查询中使用Hash Join功能。简单并行Hash Join 前提条件 集群版本需为 PolarDB MySQL版 8.0 集群版，且Revision version...
期望实例数
并行伸缩活动 存在执行中的并行伸缩活动时，可以执行其他并行伸缩活动。包括通过以下方式触发的伸缩活动：手动执行伸缩规则、通过定时任务执行伸缩规则。手动添加实例、手动移出实例。系统自动进行的期望实例数检查任务、实例健康检查任务...
灵骏常见问题
最适合GPU的计算类型是可以并行完成的计算，您可以使用并行编程方法和GPU加速计算。而神经网络是高度并行的，非常适合用GPU进行计算。最典型的例子比如卷积，每个卷积计算都独立于其他卷积计算，这意味着任何计算都不依赖于其他计算的结果...
基本概念
SSL 安全套接层SSL（Secure Sockets Layer）协议是一种可实现网络通信加密的安全协议，可在浏览器和网站之间建立加密通道，保障数据在传输的过程中不被篡改或窃取。SSL证书 SSL证书采用SSL协议进行通信，是由权威机构颁发给网站的可信凭证...
基本介绍
也可以是复杂的控制步骤，如选择（choice）、并行（parallel）和并行循环（foreach）等。这些步骤可以组合使用以构建复杂的业务逻辑，例如一个并行步骤的分支可以是一个顺序步骤。同时，步骤执行可能出现错误，但是FDL提供了错误重试...
身份管理
推荐的做法是使用RAM身份（即RAM用户和RAM角色）来访问云数据传输。RAM用户 RAM用户需要由阿里云账号（主账号）或拥有管理员权限的RAM用户、RAM角色来创建，且必须在获得授权后才能登录控制台或使用API访问阿里云账号下的资源。对于RAM用户...
LLM on DLC-Megatron on DLC最佳实践
也可以直接将llmacc作为工具算出可能的并行配置：python \-m llmacc.pretrain \-task-type llmacc.megatron.GPT \-world-size 64#64 GPUs in total \-local-world-size 8#8 GPUs for each node \-max-global-batch-size 16 \#megatron ...
流程定义介绍
并行（Parallel）：通过并行（Parallel）状态并行执行多个分支，这些分支共享同一份输入。循环（Map）：通过循环（Map）状态并行处理数组数据。成功（Succeed）：通过成功（Succeed）状态提前终止流程。失败（Fail）：通过失败（Fail）状态...
查询改写与下推
查询改写的一项重要目的是利用 PolarDB-X 的拆分信息来优化执行计划，使得算子尽量下推，能够达到提前过滤数据、减少网络传输、并行执行加速等效果。背景信息 根据 PolarDB-X SQL语句优化的基本原则，可以下推更多的计算到存储层MySQL上...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
并行操作
并行度参数 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。每个支持并行...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
OSS/OSS-HDFS的性能优化最佳实践
对于高吞吐量传输，您可以根据您的ECS规格和应用程序，调整特定参数，在多个线程或多个实例中控制上传和下载数据的并发或并行度来优化吞吐量。测量性能指标 根据CPU、网络吞吐量的要求来评估不同的ECS实例规格。有关实例规格的更多信息，请...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
对分区表使用跨机并行查询
功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。支持分区表join查询。支持多级分区的并行查询 使用...
对分区表使用跨机并行查询
功能介绍 当前对分区表使用跨机并行查询支持的功能如下所示：支持range分区的并行查询。支持list分区的并行查询。支持hash分区的并行查询。支持分区裁剪。支持带有索引的分区表并行查询。支持分区表join查询。支持多级分区的并行查询 使用...
并行操作
设置并行度 如果支持并行操作的函数未指定并行度或指定并行度为0，则使用GUC（Grand Unified Configuration）参数 ganos.parallel.degree 的值作为默认的并行度。ganos.parallel.degree 参数默认值为1，表示不支持并行执行。您也可以在支持...
使用跨机并行查询加速索引创建
当使用跨机并行查询功能加速Btree索引构建时，系统会自动构建出一个QC进程完成对基表项的并行扫描，并由索引构建进程接收QC进程扫描结果完成后续的索引创建逻辑。注意事项 当前仅支持简单场景，对普通列类型的索引构建过程，暂不支持...
使用跨机并行查询加速索引创建
当使用跨机并行查询功能加速Btree索引构建时，系统会自动构建出一个QC进程完成对基表项的并行扫描，并由索引构建进程接收QC进程扫描结果完成后续的索引创建逻辑。注意事项 当前仅支持简单场景，对普通列类型的索引构建过程，暂不支持...
查询改写与下推
下推是查询改写的一项重要优化，利用 PolarDB-X 1.0 的拆分信息来优化执行计划，使得算子尽量下推以达到提前过滤数据、减少网络传输、并行计算等目的。背景信息 根据 PolarDB-X 1.0 的SQL语句优化的基本原则，可以下推尽量更多的计算到存储...
弹性并行查询（ePQ）发布说明
PolarDB MySQL版 重磅推出了弹性并行查询（ePQ）引擎，可以将分析型查询的计算任务分发到集群内的任意节点执行，提升集群资源的利用率，从而大幅提升数据库的整体查询性能。简介 对于复杂分析型查询场景，PolarDB MySQL版 已支持的 单机...
使用数据订阅功能传输数据后日期数据格式发生变化
概述 本文主要介绍MySQL中数据类型为Date的数据，通过数据订阅传输数据后，数据格式由 YYYY-MM-DD 格式变化为 YYYY:MM:DD 的原因。详细信息 DTS默认数据存储格式为 YYYY:MM:DD，YYYY-MM-DD 是展现出来的格式，实际存储是 YYYY:MM:DD 格式。...
产品优势
数据传输服务DTS（Data Transmission Service）支持RDBMS、NoSQL、OLAP等多种数据源之间的数据传输。它提供了数据迁移、实时数据订阅及数据实时同步等多种数据传输方式。相对于第三方数据流工具，DTS提供丰富多样、高性能、高安全可靠的...
低成本跨境文件传输
本文介绍如何通过 Serverless 工作流、函数计算、对象存储、专用网络、云服务器及弹性公网IP的组合方案，实现低成本跨境文件的传输。应用场景 跨境对象存储数据传输。对数据的跨境传输成本有严格的控制。对文件同步延时不敏感，能接受一定...
淘宝App在短视频场景下的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
DCDN为淘宝App短视频场景加速的IETF QUIC最佳实践
多路复用：相比于HTTP/2，真正的单通道并行传输，彻底解决TCP协议中队头阻塞问题。拥塞算法：拥塞算法灵活，不需要基于内核或操作系统，可直接在应用层改造 持续在线：频繁切换网络的情况下，不会断线，不需要重连，用户无任何感知。阿里云...
0028-00000004
问题描述 目标Bucket不存在对应的传输加速配置。问题原因 您发起了GetBucketTransferAcceleration请求来获取目标Bucket的传输加速配置，但是该Bucket没有配置传输加速。问题示例 比如您发起了如下请求：GET/?transferAcceleration ...
Window Function的并行加速
如下是 employee_salaries 表的并行查询计划：explain format=tree select ROW_NUMBER()OVER(partition by dept order by salary desc)AS 'row_number' from employee_salaries\G*1.row*EXPLAIN:>Gather(slice:1;workers:4)(cost=26.42 ...
推荐的性能设计模式
对于高吞吐量传输，建议您在多个线程或多个实例中同时启动多个请求连接来并行上传和下载数据。对于某些应用程序，您可以通过在不同的线程或实例中同时启动多个请求来实现并行连接。扩展策略取决于您的应用程序和您访问的对象的结构。当您要...
并行计划
因为每个工作者只执行完成计划的并行部分，所以不可能简单地产生一个普通查询计划并使用多个工作者运行它。每个工作者都会产生输出结果集的一个完全拷贝，因而查询并不会比普通查询运行得更快甚至还会产生不正确的结果。相反，计划的并行...
使用跨机并行查询进行分析型查询
polar_px_dop_per_node 设置当前会话并行查询的并行度，默认为1，推荐值为当前CPU总核数。若设置该参数为N，则一个会话在每个节点上将会启用N个px workers进程，用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表...
使用跨机并行查询进行分析型查询
polar_px_dop_per_node 设置当前会话并行查询的并行度，默认为1，推荐值为当前CPU总核数。若设置该参数为N，则一个会话在每个节点上将会启用N个px workers进程，用于处理当前的跨机并行查询逻辑。px_workers 指定跨机并行查询是否对特定表...
GetBucketTransferAcceleration
GetBucketTransferAcceleration 接口用于获取目标存储空间（Bucket）的传输加速配置。注意事项 只有Bucket拥有者以及被授予 oss:GetBucketTransferAcceleration 权限的RAM用户才能发起获取传输加速配置的请求。如果Bucket未配置过传输加速...
数据加密
安全传输层协议（SSL/TLS）用于在两个通信应用程序之间提供保密性和数据完整性。Logtail加密传输 Logtail是日志服务提供的日志采集Agent。为保证您的数据在发送过程中不会被篡改，Logtail会通过HTTPS通道从服务端获取私密Token，并对所有...
并行资源控制策略配置
PolarDB 支持通过多种策略控制单个查询或全局的总并行度，以保证在资源负载允许的情况下选择合理的并行度。并行查询排队策略参数 max_parallel_workers 为单个节点内允许同时运行的最大并行worker线程数，超过 max_parallel_workers 后新的...
PutBucketTransferAcceleration
PutBucketTransferAcceleration 接口用于为存储空间（Bucket）配置传输加速。开启传输加速后，可提升全球各地用户对OSS的访问速度，适用于远距离数据传输、GB或TB级大文件上传和下载的场景。注意事项 只有Bucket拥有者以及被授予 oss:...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
概述
结合 PolarDB PostgreSQL版（兼容Oracle）存储计算分离的架构，可以做到弹性扩展：当算力不够时，可以弹性地增加只读节点，新增的只读节点加入分布式的并行计算中，而不需数据重新分片（Reshard）。不会出现数据倾斜问题。使用场景 日常...
- 产品推荐
- 这些文档可能帮助您