基于AnalyticDB构建企业数仓
参数 描述 任务期望最大并发数 数据同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。向导模式通过界面化配置并发数，指定任务所使用的并行度。同步速率 设置同步速率可以保护读取端数据库，以避免抽取速度过大，给源库造成...
概述
物理日志备份 特点 物理日志备份通过实时并行上传数据库Redo日志文件到OSS来达到备份的目的。日志备份默认开启，最短保留时间为3天，最长保留时间为7300天。您也可以通过开启 删除集群前长期保留 功能长期保存。说明 日志备份默认开启，...
数据集成概述
基本概念 并发数 并发数是数据同步任务中，可以从源并行读取或并行写入数据存储端的最大线程数。限速 限速是数据集成同步任务可以达到的传输速度限制。脏数据 脏数据是对于业务没有意义，格式非法或者同步过程中出现异常的数据。单条数据...
如何高效扫描数据
并行的全表扫描：如果需要从所有库导出数据，可以通过SHOW指令查看表拓扑结构，针对分表并行处理。通过HINT进行表遍历 执行 SHOW TOPOLOGY FROM TABLE_NAME 指令获取表拓扑结构。mysql>SHOW TOPOLOGY FROM DRDS_USERS;ID|GROUP_NAME|TABLE_...
使用DataWorks
concurrent：设置离线同步任务内，可以从源并行读取或并行写入数据存储端的最大线程数。更多配置参数详情请参见 编辑脚本，配置同步任务。配置调度属性。详情请参见 调度参数支持的格式。在顶部菜单栏，单击 图标后，单击 图标，运行离线...
概述
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
PolarDB MySQL版8.0版本内核参数发布日志
2024.01.25 类型 参数 级别 说明 新增 loose_polar_archive_thread_cnt Global 对冷数据进行并行归档时的最大线程数量。取值范围：1~1024。默认值为1。单位为个。说明 该参数仅适用于8.0.2版本。修改 loose_max_oss_connections Global 将...
Tunnel命令常见问题
同一个表或分区是否可以并行上传数据？是否支持多个客户端同时上传数据至同一张表？使用Tunnel Upload命令上传数据时一定要先存在分区吗？使用Tunnel Upload命令上传数据时，是按照数据压缩前还是压缩后的大小计费？使用Tunnel Upload命令...
离线同步任务调优
并发：从源并行读取或并行写入数据存储端的最大线程数。WAIT资源。Bytes的设置：单个线程的 Bytes=1048576，在网速比较敏感时，会出现超时现象，此时建议将Bytes设置的较小。查询语句是否建索引。目的端数据源 性能：CPU、内存、SSD 硬盘、...
验证分析型查询请求能力
将 orders 表与自身聚合，生成 20,000*20,000 行数据的笛卡尔积，开启 8 个并行执行，对比执行时间，验证云数据库 OceanBase 的实时分析能力。概念介绍 OLAP（Online Analytical Processing）是一种面向分析的、多维数据分析技术。它适用于...
ganos.parallel.degree
并行操作时，若未指定并行度，Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围：1~64。默认值为1。示例 SET ganos.parallel.degree=4;
ganos.parallel.degree
并行操作时，若未指定并行度，Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围：1~64。默认值为1。示例 SET ganos.parallel.degree=4;
ganos.parallel.degree
并行操作时，若未指定并行度，Ganos将会按照默认并行度执行并行操作。您可以通过ganos.parallel.degree变量来设置默认并行度。数据类型 Integer 取值 取值范围：1~64。默认值为1。示例 SET ganos.parallel.degree=4;
并行计划
在一个 并行索引扫描 或者 并行只用索引的扫描 中，合作进程轮流从索引读取数据。当前，并行索引扫描仅有 B-树索引支持。每一个进程将认领一个索引块并且扫描和返回该索引块引用的所有元组，其他进程可以同时地从一个不同的索引块返回元组...
PolarDB并行查询
并行查询背景 PolarDB 亚马逊在2017年发表的关于Aurora的这篇paper[1]，引领了云原生关系型数据库的发展趋势，而作为国内最早布局云计算的厂商，阿里云也在2018年推出了自己的云原生关系数据库 PolarDB，和Aurora的理念一致，PolarDB 深度...
概述
PolarDB MySQL版 8.0版本重磅推出弹性并行查询框架，当您的查询数据量到达一定阈值，就会自动启动并行查询框架，从而使查询耗时指数级下降。功能简介 弹性并行查询（Elastic Parallel Query，ePQ）目前支持单机并行和多机并行两种并行引擎...
如何优化Batch Insert
场景二：并行度 判断并行度是否合适的标准是将 PolarDB-X 数据节点的CPU使用率压满或将IOPS打满，以达到较好性能，因为Batch Insert语句基本无计算，所以 PolarDB-X 计算节点开销不大，主要开销在 PolarDB-X 数据节点。并行度过小或者过大...
问题汇总
补数据 补数据功能说明 为什么小时分钟任务补数据选择了并行但实际不生效？为什么补数据选择业务时间后不运行，实例显示黄色，实例状态显示等待时间？为什么补数据报错调起的节点运行时间不在所选业务时间范围内？为什么有节点选择了补数据...
设置列索引的排序键
每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行构建，更新数据则按照追加次序写入，总体上是无序的。列存索引支持粗糙索引，每一个列数据块的元数据包含全部数据的最小值和最大值等信息。查询数据时，...
设计阶段
设计工作包含数据探查和系分设计两部分：数据探查旨在了解来源数据的数据形态，例如数据质量、数据分布等。结合业务场景，帮助分析和判断需求实现的可行性以及找出潜在的数据问题和风险。系分设计则包括表设计、Mapping设计和调度设计等最...
免费体验弹性并行查询ePQ
弹性并行查询（ePQ）的优势如下：实时性分析：统一的底层存储，数据实时可见 开箱即用：零附加成本和运维成本，随集群部署 性能优异：打通节点间的计算资源，突破单机硬件性能瓶颈，性能表现优异 提升能效：充分利用空闲计算资源，提升集群...
WAL日志并行回放
因此，PolarDB 数据库在Standby节点持续回放WAL日志过程中，引入了上述并行任务执行框架，并结合LogIndex数据将WAL日志的回放任务并行化，提高了Standby节点数据同步的速度。工作流程 Startup进程：解析WAL日志后，仅构建LogIndex数据而不...
WAL日志并行回放
因此，PolarDB 数据库在Standby节点持续回放WAL日志过程中，引入了上述并行任务执行框架，并结合LogIndex数据将WAL日志的回放任务并行化，提高了Standby节点数据同步的速度。工作流程 Startup进程：解析WAL日志后，仅构建LogIndex数据而不...
使用跨机并行查询进行分析型查询
ALTER SESSION FORCE PARALLEL QUERY[PARALLEL integer]表示强制当前session开启并行执行，并行度为PARALLEL integer，如果后者没有指定，则使用数据库默认并行度polar_px_dop_per_node参数值。实际并行度优先级为：hint指定>FORCE ...
使用跨机并行查询进行分析型查询
ALTER SESSION FORCE PARALLEL QUERY[PARALLEL integer]表示强制当前session开启并行执行，并行度为PARALLEL integer，如果后者没有指定，则使用数据库默认并行度polar_px_dop_per_node参数值。实际并行度优先级为：hint指定>FORCE ...
最佳实践
synchronous_commit 用于确保 ePQ并行查询的数据一致性。取值如下：on：确保 ePQ并行查询的数据一致性。表示数据库提交事务时需要等待WAL日志刷入存储后才能返回成功。off（默认）：无法确保ePQ并行查询的数据一致性。最佳实践 允许特定的...
最佳实践
synchronous_commit 用于确保 ePQ并行查询的数据一致性。取值如下：on：确保 ePQ并行查询的数据一致性。表示数据库提交事务时需要等待WAL日志刷入存储后才能返回成功。off（默认）：无法确保ePQ并行查询的数据一致性。最佳实践 允许特定的...
术语表
M MapReduce MapReduce是处理数据的一种编程模型，通常用于大规模数据集的并行运算。您可以使用MapReduce提供的接口（Java API）编写MapReduce程序，来处理MaxCompute中的数据。编程思想是将数据的处理方式分为Map（映射）和Reduce（规约）...
最佳实践
synchronous_commit 用于确保 ePQ并行查询的数据一致性。取值如下：on：确保 ePQ并行查询的数据一致性。表示数据库提交事务时需要等待WAL日志刷入存储后才能返回成功。off（默认）：无法确保ePQ并行查询的数据一致性。polar_px_min_pg_plan...
导入中特殊符号处理
AnalyticDB PostgreSQL版 支持多种数据导入方法，在通过OSS高速并行导入和通过\COPY命令导入数据的过程中，经常因为存在特殊字符导致导入失败。本文将介绍预先处理导入数据中的特殊字符的方法，从而消除特殊字符带来的问题。更多导入数据到...
产品优势
数据库备份DBS 支持多种环境的数据库备份，通过专线接入、公网等接入技术，实现用户本地IDC数据库备份、ECS自建数据库的备份、其他云环境和RDS数据库备份，通过简单地配置实现数据库全量备份、增量备份以及数据恢复。低成本 DBS使用飞天...
Kyuubi概述
Kyuubi可以在用户级别缓存后台引擎实例，以更好的实现计算资源共享和快速响应，并行处理大量数据的查询并快速返回结果。批数据处理：Kyuubi提供了SQL接口用于常见的批处理，通常是大型提取、转换、加载（ETL）过程。Kyuubi及其引擎都是存储...
ST_BuildPyramid
当前支持参数 parallel，可以设置操作并行度，数据类型为Integer，取值范围为1~64。不指定 parallel 时，使用GUC参数 ganos.parallel.degree 的值。说明 如果启用并行创建金字塔，则不支持事务。如果创建失败或需要对事务回滚，使用 ST_...
ST_BuildPyramid
当前支持参数 parallel，可以设置操作并行度，数据类型为Integer，取值范围为1~64。不指定 parallel 时，使用GUC参数 ganos.parallel.degree 的值。说明 如果启用并行创建金字塔，则不支持事务。如果创建失败或需要对事务回滚，使用 ST_...
ST_BuildPyramid
当前支持参数 parallel，可以设置操作并行度，数据类型为Integer，取值范围为1~64。不指定 parallel 时，使用GUC参数 ganos.parallel.degree 的值。说明 如果启用并行创建金字塔，则不支持事务。如果创建失败或需要对事务回滚，使用 ST_...
PolarDB PostgreSQL版架构介绍
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
PolarDB PostgreSQL版架构介绍
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
冷热分离
背景信息 在海量大数据场景下，一张表中的部分业务数据随着时间的推移仅作为归档数据或者访问频率很低，同时这部分历史数据体量非常大，比如订单数据或者监控数据，降低这部分数据的存储成本将会极大的节省企业的成本。因此，如何以极简的...
按时间戳冷热分离
注意事项 若某一行数据同时包含热数据和冷数据，例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景，开启查询热数据优先功能会导致该行的查询结果分两次返回，即Scanner返回的Result集合中，对于同一个Rowkey会有两个对应的...
快速开始
关闭并行查询 在控制台基本信息的集群地址区域，单击 编辑配置，打开 编辑地址配置 页面，可关闭并行查询，具体操作请参见 配置数据库代理。说明 控制台关闭并行查询后，需要确认系统参数 max_parallel_degree 同时为0，确保并行查询被完全...
- 产品推荐
- 这些文档可能帮助您