概览
支持 使用OSS外表高速导入OSS数据 AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从OSS云存储导入到 AnalyticDB PostgreSQL版。支持 Hadoop生态外表联邦分析 您可以在 AnalyticDB PostgreSQL版 中通过gphdfs协议...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
2021年
无 2021年5月 时空数据库（V3.7）类别 名称 描述 相关文档 发布时间 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多...
2021年
无 时空数据库（V3.7）类别 名称 描述 相关文档 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI...
时空引擎版本发布记录
修复由于栅格数据带有 NAN 和 INF 等数据，在导入和统计值会出错的问题。4.3 新特性 ST_PixelAsPolygon：将栅格像素转换为Polygon对象。ST_PixelAsPolygons：将栅格像素转换为Polygon对象集合。ST_PixelAsPoint：将栅格像素转换为基于点...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
异构数据源访问
功能说明 外部数据源管理提供高性能的结构化和非结构化数据并行传输服务。其中，异构数据源访问支持通过 AnalyticDB PostgreSQL版 数据库以统一的SQL接口查询和分析存储在外部系统中的数据。提供以下功能：多种数据存储访问：支持多种数据...
填充数据库
第一次填充数据库时可能需要插入大量的数据。本节包含一些如何让这个处理尽可能高效的建议。1.禁用自动提交 在使用多个 INSERT 时，关闭自动提交并且只在最后做一次提交（在普通 SQL 中，这意味着在开始发出 BEGIN 并且在结束时发出 COMMIT...
并行查询
测试示例 用于测试的 AnalyticDB PostgreSQL 实例规格如下：Segment节点规格：4C32G Segment节点数量：4 在数据库中导入10 GB测试数据，并行加速前后的单表查询时间耗时如下：并行加速前 并行加速后 并行加速前 并行加速后 17456.066ms ...
使用\COPY命令导入本地数据
注意事项 由于\COPY命令需要通过Master节点进行串行数据写入处理，因此无法实现并行写入大批量数据。如果要进行大量数据的并行写入，请使用基于OSS的数据导入方式。通过OSS导入数据，请参见 使用OSS外表高速导入OSS数据。\COPY与COPY命令的...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的目的在于加速复杂查询的处理效率，并且无论是否使用分区表都可以使用并行查询，并行查询也支持在分区表上使用。关于分区表和并行查询的更多介绍请参见 分区表 和 弹性并行查询。连接PolarDB的读写分离地址能使用并行查询吗？可以...
执行补数据并查看补数据实例（旧版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
并行创建空间索引
本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速。注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 ...
并行创建空间索引
本功能采用空间排序（GiST Sort）的方法，可将索引构建过程并行化，并大幅减少磁盘的读写操作，实现索引构建加速。注意事项 空间排序方法仅适用于点数据（Point），其他空间类型的数据使用此方法将会降低索引的查询性能。使用方法 说明 ...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
备份对数据库的影响
备份原理与影响 类目 逻辑备份 物理备份 全量备份原理 对每张表数据进行切分，然后在数据库上执行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持...
执行补数据并查看补数据实例（新版）
补数据可通过补历史或未来一段时间的数据，将写入数据至对应时间分区。代码中的 调度参数，将根据补数据选择的业务时间自动替换为具体值，并结合业务代码将对应时间数据写入指定分区。具体写入的分区与执行的代码逻辑，与任务定义的代码...
OSS Load
send_batch_parallelism 用于设置发送批处理数据的并行度，如果并行度的值超过BE配置中的 max_send_batch_parallelism_per_job，那么作为协调点的BE将使用 max_send_batch_parallelism_per_job 的值。load_to_single_tablet 是否只导入数据...
如何实现恢复数据一致性
工作原理 针对逻辑备份方式，全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
PolarDB MySQL版8.0.1版本发布日志
修复使用事务断点续传功能时，因启用并行查询功能而无法查询到续传事务数据的问题。修复执行库表恢复的新流程时，只读（RO）节点注册位点过低导致新增RO节点失败的问题。修复执行库表恢复的新流程时，因磁盘满载导致线程无法退出的问题。...
Broker Load
send_batch_parallelism 用于设置发送批处理数据的并行度，如果并行度的值超过计算集群BE配置中的 max_send_batch_parallelism_per_job，那么计算集群将使用 max_send_batch_parallelism_per_job 的值。load_to_single_tablet 是否只导入...
准备数据
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。准备数据源 通过RDS创建MySQL实例，获取RDS实例ID。详情请参见 快速创建RDS MySQL实例。在RDS控制...
基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
将本地表并行导出至OSS引擎
将本地表并行导出至OSS引擎可以极大地提升数据导出效率。本文介绍了将本地表并行导出至OSS引擎的相关内容。使用限制 PolarDB MySQL版 集群的产品版本需为 企业版，集群版本需为8.0.1版本且修订版本为8.0.1.1.38及以上。仅支持并行导出单表...
概述
每次保存时，一级备份并没有真正复制数据，当数据块有修改时系统会将其中一个历史版本的数据块保留给快照，同时生成新的数据块被原数据引用（Redirect）。因此无论数据库容量多少，都可以做到秒级备份。PolarDB 集群备份和恢复功能均采用多...
数据集成概述
离线（批量）的数据通道通过定义数据来源和去向的数据源和数据集，提供一套抽象化的数据抽取插件（Reader）、数据写入插件（Writer），并基于此框架设计一套简化版的中间数据传输格式，从而实现任意结构化、半结构化数据源之间数据传输。...
使用DataWorks
concurrent：设置离线同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。更多配置参数详情请参见 编辑脚本，配置同步任务。配置调度属性。详情请参见 调度参数支持的格式。在顶部菜单栏，单击 图标后，单击 图标，运行离线...
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
Tunnel命令常见问题
同一个表或分区是否可以并行上传数据？是否支持多个客户端同时上传数据至同一张表？使用Tunnel Upload命令上传数据时一定要先存在分区吗？使用Tunnel Upload命令上传数据时，是按照数据压缩前还是压缩后的大小计费？使用Tunnel Upload命令...
- 产品推荐
- 这些文档可能帮助您