迁移工具
更多信息，请参见 什么是数据传输服务DTS。将MySQL数据同步到表格存储 canal canal基于MySQL数据库增量日志解析，提供增量数据订阅和消费功能，是阿里开源CDC工具，它可以获取MySQL binlog数据并解析，然后将数据变动传输给下游。基于canal...
社交互动最佳实践
什么是IP应用加速、什么是WebSocket？图文/视频上传 业务挑战：生活分享、视频聊天等场景中，用户需要上传图片、视频等内容到中心服务器，对内容上传的及时性有极高要求。方案优势：阿里云DCDN全球覆盖3200+节点，可为用户就近高速分发内容...
【20231204】函数计算公网出流量将切换为CDT计费模式...
如需了解更多详细信息，请参见 什么是云数据传输CDT。切换为CDT计费模式后，您在函数计算产品上使用的公网出流量将执行CDT公网流量价格，统一由CDT出账。CDT支持函数计算公网出流量与其他产品的公网流量一同累计阶梯计费，用量越大单价越低...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
并行查询
混合并行 混合并行是指分区间和分区内都可以并行执行，以达到分区表整体的并行执行，这是并行度最高的一种并行查询。EXPLAIN(COSTS OFF)select*from prt1;QUERY PLAN-Gather Workers Planned:8->Parallel Append->Parallel Seq Scan on prt...
深度解析PolarDB数据库并行查询技术
分析统计的复杂算子的并行 对于一个分析统计的需求，GROUP BY操作是不可避免的操作，尤其对大量的JOIN结果再做GROUP BY操作，是整个SQL中最费时的一个过程，因此GROUP BY的并行也是并行查询引擎必须优先解决的问题。以年度消费TOP10客户的...
PolarDB并行查询
本文介绍 PolarDB MySQL版 在并行查询这一企业级查询加速特性上做的技术探索、形态演进和相关组件的实现原理。并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早...
ECS实例数据传输的实现方式
文件传输原理 文件传输是信息传输的一种形式，它是在数据源和数据宿之间传送文件数据的过程，也称为文件数据通信。操作系统把文件数据提取到内存中做暂存，再复制到目的地，加密是在文件外加了一个壳，文件本身仍然是一个整体，复制只是把...
并行安全性
为函数和聚集加并行标签 规划器无法自动判定一个用户定义的函数或者聚集是并行安全、并行受限还是并行不安全，因为这需要预测函数可能执行的每一个操作。一般而言，这就相当于一个停机问题，因此是不可能的。甚至对于可以做到判定的简单...
使用多机MPP对海量数据分析提速
本文介绍了多机并行执行能力的技术背景、技术原理、适用场景以及使用说明等内容。背景信息 列存索引（IMCI）是PolarDB的HTAP解决方案。随着用户查询数据量、查询复杂度以及对OSS等外部表的查询需求的增加，单个只读列存节点已无法满足海量...
Hash Join的并行加速
并行策略 上图中是并行度为4的并行查询计划（即 PolarDB 会启用4个Worker来执行查询）。其中 t1 表会执行Parallel Scan，即由4个Worker分别扫描这个表。每个Worker使用 t1 的一部分数据建立各自的Hash表，再和整个 t2 表执行JOIN操作，最后...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 PolarDB PostgreSQL版 支持分区表的 并行查询，它能很好的处理大规模数据的查询。...
计划加速
QUERY PLAN-PartitionedTableScan on prt1(cost=0.00.1.00 rows=1 width=40)->Seq Scan on prt1(cost=0.00.1.00 rows=1 width=40)(2 rows)并行查询 支持分区表的 并行查询，它能很好的处理大规模数据的查询。和 Append 一样，...
并行步骤
并行步骤包含以下属性：（必需）type：parallel表示该步骤是并行步骤。（必需）name：步骤名称。（必需）branches：多个分支，数组类型，每个元素对应一个分支。（必需）steps：定义了分支所对应的多个串行步骤。（可选）end：当前步骤结束...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行INSERT
趋于平缓的原因是并行写入只能在读写节点上进行，写入速度因多个写入进程对表页面扩展锁的争抢而跟不上查询速度，成为瓶颈。示例 创建两张表 t1 和 t2，并向 t1 中插入数据。CREATE TABLE t1(id INT);CREATE TABLE t2(id INT);INSERT INTO ...
并行（Parallel）
请参见 输入构造器 Branches ParallelBranch 是 并行分支。详见 ParallelBranch OutputConstructor map[string]any 否 输出构造器。请参见 输出构造器 Next string 否 当前状态的下一状态。当End取值为true时，无需指定。my-next-state End...
迁移 PolarDB-X 2.0 数据库的数据至 OceanBase 数据库...
详情请参见 什么是云原生数据库 PolarDB 分布式版。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为源端 PolarDB-X 2.0 数据库和目标端 OceanBase 数据库 MySQL 租户创建专用于数据迁移的数据库用户，并...
LLM on DLC-Megatron on DLC最佳实践
附录：PTD-P并行技术原理介绍 大规模并行训练的一个关键因素是并行训练策略的选择。在 Efficient Large-Scale Language Model Training on GPU Clusters Using Megatron-LM 和 Reducing Activation Recomputation in Large Transformer ...
传输加速
如果您希望实现Bucket远距离数据传输加速，例如从中国内地向非中国内地Bucket请求加速上传或下载文件，您可以开启传输加速。传输加速利用全球分布的云机房，将全球各地用户对Bucket的访问，经过智能路由解析至就近的接入点，使用优化后的...
如何解决使用CEN将数据库实例接入DTS时报错？
更多关于云企业网CEN的信息，请参见 什么是云企业网。操作步骤 收集报错的源或目标实例信息。收集的实例信息如下表所示：参数 说明 实例地区 自建数据库实例所属的地域。云企业网实例ID 自建数据库实例所属云企业网的实例ID。已和源库互联...
CreateProject-创建项目
本接口用于创建数据迁移或...null ThrottleIOPS integer 否 全量传输阶段限制能达到的最大传输流量，单位为字节/秒。输入 null 时，表示不限制 IOPS。null EnableIncrTransfer boolean 否 是否开启增量同步。true EnableReverseIncrTransfer ...
金融行业最佳实践
背景信息 随着银行、证券、保险等传统金融业务的数字化水平不断提升，和互联网金融的崛起，推动了网上银行、电子支付、网络...切换加速区域 相关链接 购买套餐资源包 开通DCDN服务 计费概述 什么是DCDN DCDN与CDN的区别 使用DCDN为ECS业务提效
PolarDB处理TPC-H查询的挑战和机遇
Detecting Correlation cardinality estimation存在以下问题：如何捕获2列之间的相关性->目标列是什么？如何量化衡量2列间的相关性->如何描述相关性？针对第一个问题，一般会采用查询反馈的方案。也就是在初始时，并不假定其相关性，然后在...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
并行查询
功能介绍 并行查询是基于图化架构对查询功能的扩展，将一次查询任务拆分给多个线程，来减少整体查询的延时。用户可以在query中指定并行查询的并发度。并行查询功能适用于容易发生seek timeout，导致召回结果不完全的搜索场景，例如：存在...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
开启时空并行查询
并行查询原理 PG并行查询是表级的并行，其并行查询示意图如下。注意事项 并行查询的worker数量越大，查询时CPU负载越重，对于CPU负载本身较重的场景建议woker数量设置为2较合适，即max_parallel_workers_per_gather=2。对于服务器内存有限...
数据导入优化建议
导入并发和资源说明 单张表的导入会在系统内部串行，不同表之间的导入任务会并行，默认并行度是2。以MaxCompute表导入HybridDB for MySQL为例，同一张表的不同分区导入实际上会排队串行执行。不同表的导入，同时提交，有并行度的n个任务...
云数据传输自定义权限策略参考
什么是自定义权限策略 在基于RAM的访问控制体系中，自定义权限策略是指在系统权限策略之外，您可以自主创建、更新和删除的权限策略。自定义权限策略的版本更新需由您来维护。创建自定义权限策略后，需为RAM用户、用户组或RAM角色绑定权限...
游戏行业最佳实践
背景信息 纵观全球，中国游戏产业腾飞，游戏玩家呈现指数级增长，快速、稳定、安全的用户体验成为游戏市场决胜的关键因素。...切换加速区域 相关文档 购买套餐资源包 开通DCDN服务 计费概述 什么是DCDN DCDN与CDN的区别 使用DCDN为ECS业务提效
技术原理
当优化器判断对于某一个特定的查询，并行查询是最快的执行策略时，优化器将创建一个查询计划。该计划包括一个 Gather 或者 Gather Merge 节点。下面是一个简单的例子：EXPLAIN SELECT*FROM pgbench_accounts WHERE filler LIKE '%x%';QUERY...
SQL调优
并行度优化 并行度是衡量并行计算并行程度的一个指标，从执行计划上来看，例如ID为M1的任务，使用1000个Instance来执行，我们就说M1的并行度是 1000。需要注意的是：调整并行度不一定是越多越好，Instance数量过多会从如下两个方面影响执行...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
开启GPU加速计算
加速原理 数据库中GPU并行加速是指对象级的并行，将单个字段的对象转换为适合并行计算的模型，利用GPU超多核心的能力并行计算。注意事项 对于并发数较大的场景，单个GPU设备会存在资源受限的情况，所以建议在会话中关闭GPU加速计算功能。...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
Parallelism Hints
PARALLEL optimizer hint用于强制执行并行扫描；NO_PARALLEL optimizer hint阻止使用并行扫描。摘要 PARALLEL(table[parallel_degree|DEFAULT])NO_PARALLEL(table)说明 并行扫描是指使用多个后台工作线程同时执行给定查询的表（即并行）...
- 产品推荐
- 这些文档可能帮助您