概览
支持 使用OSS外表高速导入OSS数据 AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从OSS云存储导入到 AnalyticDB PostgreSQL版。支持 Hadoop生态外表联邦分析 您可以在 AnalyticDB PostgreSQL版 中通过gphdfs协议...
图像度量学习训练（raw）
支持以下取值：数据并行的度量学习 模型并行的度量学习 数据并行的度量学习 保存训练输出的oss目录 是 存储训练模型的OSS目录，比如：oss:/examplebucket/yun*/designer_test。无 训练数据标注结果文件路径 否 如果您没有通过输入桩配置...
补数据
产生原因 补数据并行控制是，补一段以天为维度的业务日期区间的数据以及几天的实例是否同时执行。此功能不控制小时、分钟任务当天的所有实例是否并发执行，当天小时分钟任务的实例是否并发执行与您小时分钟任务是否设置了自依赖有关。自...
使用OSS外表高速导入OSS数据
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
数据处理
不同处理方法可连接不同的上游节点，实现数据并行处理。参数 说明 处理方法 编写JavaScript函数体，返回结果可为任意类型。表格中仅提供 其他配置 中的参数说明，其他参数配置请参见 公共参数说明。输出结果：每个处理方法对相应上游节点的...
LLM on DLC-Megatron on DLC最佳实践
常见的大模型训练技术包括：数据并行技术、模型并行技术（包括张量并行技术和流水并行技术）、优化器状态并行技术、序列并行技术、激活重算技术等：数据并行技术（Data Parallel）：在多个GPU组上有相同的模型参数副本，但读取不同的样本。...
2021年
无 2021年5月 时空数据库（V3.7）类别 名称 描述 相关文档 发布时间 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 2021年5月 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多...
2021年
2021-09-23 收费地域（第一批）自动备份MongoDB数据 手动备份MongoDB数据 并行批量添加Mongos节点或Shard节点。分片集群实例支持并行批量添加Mongos节点或Shard节点。说明 分片集群实例默认最多支持32个Mongos节点和32个Shard节点。2021-09...
2021年
无 时空数据库（V3.7）类别 名称 描述 相关文档 新增 时空并行查询 支持空间索引并行查询，提升查询效率。开启时空并行查询 优化 栅格图像处理 ST_SubRaster函数支持栅格像元类型转换以及像元值拉伸。支持多波段遥感影像转三波段图像的AI...
数据代理请求常见问题
登录您安装数据代理的机器，通过浏览器访问 ip:8001/status（例如 128.23.*.*:8001/status，8001 为数据代理服务的默认端口），检查您的数据代理服务是否正常启动。是，执行下一步。否，请启动您的数据代理服务。检查安装数据代理的机器...
配置脚本代码节点
在脚本文件所在设备上安装数据库网关。选中 Linux/macOS(x86_64)。脚本代码任务当前只支持Linux系统，且不允许使用Root账号安装启动。如果目标设备为阿里云ECS，建议选中 通过阿里云VPC内部地址接入（ECS自建库/专线/云企业网/VPN网关）。...
应用场景
ECS自建数据库审计 通过在ECS中安装数据库审计Agent，获取数据库操作日志，实现对ECS自建数据库的审计。支持目前流行的各类数据库，保证数据审计兼容、有效。说明 关于数据库审计系统（C100）如何部署Agent，请参见 安装Agent。关于数据库...
离线同步并发和限流之间的关系
在一些数据同步场景，脏数据的出现会导致任务同步效率下降，以关系数据库写出为例，默认是执行batch批量写出模式，在遇到脏数据时会退化为单条写出模式（以找出batch批次数据具体哪一条是脏数据，保障正常数据正常写出），但单条写出效率会...
Tunnel命令常见问题
同一个表或分区是否可以并行上传数据？是否支持多个客户端同时上传数据至同一张表？使用Tunnel Upload命令上传数据时一定要先存在分区吗？使用Tunnel Upload命令上传数据时，是按照数据压缩前还是压缩后的大小计费？使用Tunnel Upload命令...
备份对数据库的影响
在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。增量备份原理 支持实时捕获数据库内存中的日志，实现实时增量备份，避免堆积数据，从而降低对数据库IO性能的影响。对数据库的影响 从数据库实例中...
如何选择备份方式
全量备份原理 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件进行备份（拷贝）。更多详情，请参见 添加备份网关。增量备份原理 支持实时捕获...
逻辑备份、物理备份与快照
数据库备份DBS 支持逻辑备份与物理备份，详细说明如下：区别项 逻辑备份 物理备份 全量备份 对每张表数据进行切分，然后在数据库上运行SQL语句，多线程并行读取数据。在数据库所在服务器上安装DBS备份网关，然后通过备份网关将数据库文件...
并行查询
测试示例 用于测试的 AnalyticDB PostgreSQL 实例规格如下：Segment节点规格：4C32G Segment节点数量：4 在数据库中导入10 GB测试数据，并行加速前后的单表查询时间耗时如下：并行加速前 并行加速后 并行加速前 并行加速后 17456.066ms ...
数据库
数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计信息。相关参数信息如下表所示：参数 类型 描述 datid oid 数据库OID。datname name 数据库名称。numbackends integer 当前连接...
配置VPC数据源
获取VPC ID 如果您的数据库安装在VPC内的ECS上，则需要配置该ECS的 VPC ID 和 实例ID。图 3.获取ECS的实例ID 图 4.获取ECS的VPC ID 配置完成后，系统会自动进行测试连接，验证数据库是否能连通正常。重要 如果您的RDS for MySQL数据库是从...
使用\COPY命令导入本地数据
注意事项 由于\COPY命令需要通过Master节点进行串行数据写入处理，因此无法实现并行写入大批量数据。如果要进行大量数据的并行写入，请使用基于OSS的数据导入方式。通过OSS导入数据，请参见 使用OSS外表高速导入OSS数据。\COPY与COPY命令的...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
连接方式概述
客户端 在连接 OceanBase 数据库的 MySQL 租户时，支持的客户端如下：MySQL 客户端 MySQL 数据库的命令行客户端，需要单独安装。说明 OceanBase 数据库租户包括 MySQL 模式租户和 Oracle 模式租户。MySQL 客户端，只能访问 MySQL 模式租户...
并行INSERT
并行查询进程从存储中并行读取各自负责的数据分片，并将数据发送到Motion算子。并行写入进程从Motion算子中获取数据，向存储并行写入数据。参数说明 通过 polar_px_dop_per_node 参数调整 INSERT INTO.SELECT.中查询的并行度。通过 polar_...
弹性并行查询（Elastic Parallel Query）常见问题
并行查询的目的在于加速复杂查询的处理效率，并且无论是否使用分区表都可以使用并行查询，并行查询也支持在分区表上使用。关于分区表和并行查询的更多介绍请参见 分区表 和 弹性并行查询。连接PolarDB的读写分离地址能使用并行查询吗？可以...
执行补数据并查看补数据实例（旧版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
应用场景
例如，来自不同数据源的计量数据被收集到日志服务，函数计算 的定时器定时触发 云工作流 执行，云工作流 利用 函数计算 对多个Shard的计量数据做并行处理，并将结果分别写回日志服务；然后可以将所有Shard产生的文件进行聚合，写入表格存储...
通道服务概述
增量数据变化保序 通道服务为数据划分一到多个可并行消费的逻辑分区，每个逻辑分区的增量数据按写入时间顺序保序，不同逻辑分区的数据可以并行消费。消费延迟监控 通道服务通过DescribeTunnel API提供了客户端消费数据延迟（即当前消费到的...
并行创建空间索引
并行扫描数据表时的Worker数量越多，查询时CPU负载越重，Worker数量建议不超过物理CPU核数。set max_parallel_maintenance_workers=4;设置并行Worker内存使用总量，建议至少设置1GB。set maintenance_work_mem='1GB';创建GiST索引。create ...
并行创建空间索引
并行扫描数据表时的Worker数量越多，查询时CPU负载越重，Worker数量建议不超过物理CPU核数。set max_parallel_maintenance_workers=4;设置并行Worker内存使用总量，建议至少设置1GB。set maintenance_work_mem='1GB';创建GiST索引。create ...
查询流程和执行计划
Stage的数据来源可以是底层存储系统中的数据或者网络中传输的数据，一个Stage由分布在不同Executor节点上相同类型的Task组成，多个Task会并行处理数据。说明 AnalyticDB MySQL版 SQL诊断功能支持对Stage级别进行结果诊断。更多详情，请参见...
执行补数据并查看补数据实例（新版）
例如，业务日期为 1月11日~1月13日，并行数为2组，则会生成两个补数据实例（其中一个补数据实例会包含两个业务日期，这两个业务日期对应的任务串行执行），两个补数据实例并行执行。补数据告警 设置此次补数据操作是否会触发告警。是：满足...
Go-SQL-Driver/MySQL 连接 OceanBase 数据库示例程序
安装 OceanBase 数据库 安装 Go 语言 安装 Go-SQL-Driver/MySQL 驱动 操作步骤 说明 本文中给出的操作步骤是在 Windows 环境下生成的。如果您使用的是其他操作系统环境或编译器，那么操作步骤可能会略有不同。（可选）安装 Go 语言和驱动。...
OSS Load
send_batch_parallelism 用于设置发送批处理数据的并行度，如果并行度的值超过BE配置中的 max_send_batch_parallelism_per_job，那么作为协调点的BE将使用 max_send_batch_parallelism_per_job 的值。load_to_single_tablet 是否只导入数据...
使用pg_dump和pg_restore将自建PostgreSQL数据库迁移...
如果您准备将自建PostgreSQL数据库的指定数据库迁移到RDS PostgreSQL实例，同时您已经熟悉pg_dump和pg_restore工具，暂时不希望了解和使用阿里云提供的其他迁移服务（RDS PostgreSQL一键上云功能或数据传输DTS服务）时，您可以参考本文档...
如何实现恢复数据一致性
工作原理 针对逻辑备份方式，全量备份为了尽可能降低对数据库性能影响，采用无锁备份方式，并行拉取数据并备份到OSS上，全量备份会产生不同时间点数据，在数据恢复时，先恢复全量备份数据，然后恢复增量备份数据，利用增量备份恢复的幂等性...
PolarDB HTAP实时数据分析技术解密
PolarDB 并行查询突破CPU瓶颈 PolarDB团队开发的并行查询框架（Parallel Query)，在查询数据量到达一定阈值时，会自动启动并行执行。在存储层将数据分片至不同的线程，多个线程并行计算。并将结果流水线汇总到总线程。最后，总线程做些简单...
添加堡垒机架构备份网关
您需要在堡垒机上安装代理网关，并在数据库主机上安装DBS备份网关。本文介绍添加堡垒机架构备份网关的方法。使用场景 某公司内部的数据库处于内网环境中，无法直接连接外部网络，可以通过堡垒机代理进行访问。为了备份和恢复数据库数据，...
客户案例
然而大数据的并行查询不能拖垮系统中的高优先级的小请求，并且当 MySQL 单表数据规模超过 2000 万时，其查询性能就出现断崖式的下跌，这也是业务无法容忍的一大缺陷，因此，我们在系统选型上更倾向于 OceanBase 这样具有高吞吐，数据读写...
- 产品推荐
- 这些文档可能帮助您