Thread Pool
为了发挥出 PolarDB MySQL版 的最佳性能，PolarDB 提供线程池（Thread Pool）功能，将线程和会话分离，在拥有大量会话的同时，只需要少量线程完成活跃会话的任务即可。优势 MySQL默认的线程使用模式是会话独占模式，每个会话都会创建一个...
并发导出数据
当使用场景中不关心整个结果集的顺序时，您可以使用并发导出数据功能以更快的速度将命中的数据全部返回。重要 表格存储 Java SDK从5.6.0版本开始支持并发导出数据功能。使用并发导出数据功能时，请确保获取了正确的Java SDK版本。关于Java ...
使用Stage和Task详情分析查询
子任务并发度 每个Task在单机内是多线程并发执行的，同时执行计算任务的线程数就是子任务的并发度。详细的计算方法，请参见 Task耗时与并发度计算示例。执行节点 Task实际执行的内部节点IP地址。如果多个查询都在相同的节点出现长尾现象，...
并发导出数据
如果在ParallelScan任务执行的过程中发生网络异常、线程异常、动态Schema修改、索引切换等情况，则会导致ParallelScan不能继续扫描数据，服务端会返回“OTSSessionExpired”错误码，此时需要重新开始一个新的ParallelScan任务，从最开始...
准备环境
在运行收发消息的 Java 代码前，您需按照本文提供的步骤来准备环境。操作步骤 通过 Maven 方式引入依赖。Java SDK 的最新版本号，可参见 SDK ...发送普通消息（三种方式）发送消息（多线程）收发顺序消息 收发事务消息 收发延时消息 订阅消息
自适应扫描
这种模式通过QC进程与PX Worker进程之间特定的RPC通信机制，由QC进程负责告知每个PX Worker进程可以执行的扫描任务，从而消除计算倾斜的问题。术语 QC(Query Coordinator)：发起ePQ并行查询的进程角色。PX Worker：参与ePQ跨节点并行查询的...
自适应扫描
这种模式通过QC进程与PX Worker进程之间特定的RPC通信机制，由QC进程负责告知每个PX Worker进程可以执行的扫描任务，从而消除计算倾斜的问题。术语 QC(Query Coordinator)：发起ePQ并行查询的进程角色。PX Worker：参与ePQ跨节点并行查询的...
使用阿里云ES监控RabbitMQ
参数 说明 管道工作线程 并行执行管道的Filter和Output的工作线程数量。当事件出现积压或CPU未饱和时，请考虑增大线程数，更好地使用CPU处理能力。默认值：实例的CPU核数。管道批大小 单个工作线程在尝试执行Filter和Output前，可以从Input...
消费者分类
如下图所示，SDK内置了一个长轮询线程，先将消息异步拉取到SDK内置的缓存队列中，再分别提交到消费线程中，触发监听器执行本地消费逻辑。可靠性重试 PushConsumer消费者类型中，客户端SDK和消费逻辑的唯一边界是消费监听器接口。客户端SDK...
One-Class SVM异常检测
组件多线程线程个数 组件多线程的线程个数。执行调优 节点个数 节点个数，与参数 单个节点内存大小 配对使用，正整数。范围[1,9999]。单个节点内存大小，单位M 单个节点内存大小，单位MB，正整数。范围[1024,64*1024]。方式二：Python代码...
自定义资源组
请务必完全复制 服务器初始化 对话框中的命令，并按照顺序执行。专有网络的机器需要执行经典网络的初始化语句。时间与北京时间相差5分钟以上。确认方法如下：登录ECS。执行命令 date，查看返回的时间是否与北京时间相差5分钟以上。如果确认...
Tair小版本发布日志
修复执行 SCRIPT LOAD 命令后，不同客户端执行 EVALSHA 命令时概率性报NOSCRIPT错误的问题。6.2.7.3 MEDIUM 2023-06-12 功能优化 优化后台备份性能，提升了备份速度。6.2.7.2 MEDIUM 2023-06-12 新特性 TairSearch支持数组类型的文档、支持...
如何将一棵LSM-Tree塞进NVM
ROR算法中采用写入后建序，即每个线程在写入的时候不关注序的问题。ROR算法会在此过程中动态的选择主线程收集当前已写完的ChainLog并建序。由于建序仅涉及到ChainLog元数据的更新，因此显著提高写入性能。主线程建完序后退出，ROR算法继续...
AliSQL内核小版本发布记录
修复X-Engine引擎后台回收任务异常退出导致的备份任务无法执行的问题。20230324 Bug修复 修复Binlog In Redo功能在半同步复制形态下被非预期打开的问题。20221231 新特性 支持在sync_binlog不为1时，开启Binlog并行写入的功能。开启后，...
PolarDB死锁
如下：Thread id：线程ID，和SQL洞察中的线程ID对应。涉及表：死锁出现的表。有时可能左右表不一致，是因为事务中请求的表不一致。等待锁索引名：DML语句会将锁加在索引行上，所以获取不到的锁一定是在某个索引上。事务SQL：引发死锁的SQL...
Oracle数据源
常见问题 实时同步Oracle、PolarDB、MySQL任务重复报错 主备同步数据恢复问题 主备同步问题指Oracle使用主从灾备，当主库报错切换至备库后，备库从主库不断地通过binlog恢复数据。由于主备数据同步存在一定的时间差，在网络延迟等特定情况...
BE参数配置
compaction_task_num_per_fast_disk 默认值：4 类型：Int32 说明：每个高速磁盘（SSD）可以并发执行的compaction任务数量。compress_rowbatches 默认值：true 类型：Bool 说明：序列化RowBatch时是否使用Snappy压缩算法进行数据压缩。...
PolarDB处理TPC-H查询的挑战和机遇
如果您从事查询优化和执行的工作，即使是使用OLTP（在线交易）型的数据库系统，也会和TPC-H打上交道。TPC-H是用来评估在线分析处理的基准程序，主要模拟了一个供应商和采购商之间的交易行为，其中包含针对8张表的22条分析型查询。说明 该...
WAL日志并行回放
Dispatcher调度策略如下：如果要执行的Task Node有相同Task Tag的任务在执行，则优先将该Task Node分配到该Task Tag链表最后一个Task Node所在的执行进程。目的是让有依赖关系的任务尽量被同一个进程执行，减少进程间同步的开销。如果期望...
WAL日志并行回放
Dispatcher调度策略如下：如果要执行的Task Node有相同Task Tag的任务在执行，则优先将该Task Node分配到该Task Tag链表最后一个Task Node所在的执行进程。目的是让有依赖关系的任务尽量被同一个进程执行，减少进程间同步的开销。如果期望...
模板结构
模板定义了版本、参数、任务、顺序、输入和输出等，您可以通过执行模板来定义需要的运维操作。语法 YAML格式-FormatVersion:OOS-2019-06-01#必填，版本，OOS-2019-06-01 Description:""#可选，描述，可用于说明模板的用途，目的等。...
订阅者最佳实践
消费阻塞以及堆积 消费端最常见的问题就是消费堆积，最常造成堆积的原因是：消费速度跟不上生产速度，此时应该提高消费速度，详情请参见 提高消费速度。消费端产生了阻塞。消费端拿到消息后，执行消费逻辑，通常会执行一些远程调用，如果这...
任务运行诊断
常见的同步任务执行问题如下：数据同步日志长时间打印WAIT 若数据同步日志长时间打印WAIT，表示DataWorks的调度系统已将同步任务下发，由于当前任务所使用的同步资源组剩余资源无法支持当前任务执行，正在等待其他任务执行完成释放资源。...
基本概念
黄金指标 Four Golden Signals 是 Google 针对大量分布式监控的经验总结，4 个黄金指标可以在服务级别帮助衡量用户体验、服务中断、业务影响等层面的问题。主要关注以下四种类型的指标：吞吐量，响应时间，错误率以及饱和度。对于服务级别...
Java如何通过Jstack查看线程栈？
问题现象 在 SAE 中，Java如何通过Jstack工具查看线程栈。问题原因 无。解决方案 通过执行 ps aux|grep java 命令，找到Java的进程ID。在 SAE 的 Webshell 中，执行 jstack 命令，并保存到本地文件。export JAVA_TOOL_OPTIONS=jstack<pid>>...
PolarDB HTAP实时数据分析技术解密
支持行列混合执行的优化器框架，该优化器框架会根据下发的SQL是否能在列索引上执行覆盖查询，并且其所依赖的函数及算子能被列式执行器所支持，来决定是否启动列式执行。优化器会同时对行存执行计划和列存执行计划做代价估算，并选中代价较...
列存索引技术架构介绍
在IMCI中，HashJoin按如下流程执行：向量化执行解决了单核执行效率低的问题，而并行执行突破了单核的计算瓶颈。二者结合使得IMCI执行速度相比传统MySQL行式执行有了数量级的提升。向量化表达式体系 AP型场景，SQL中经常会包含很多涉及到...
基于Client SDK数据写入
重要 不建议多线程共用SDK实例，除了线程安全问题外，也容易让Client成为写入性能的瓶颈。数据必须在调用commit成功后才能认为是写入 AnalyticDB PostgreSQL版 成功的。针对Client抛出的异常，调用方要根据错误码的意义自行判断如何处理，...
离线同步任务调优
离线任务由调度资源组下发至引擎执行，因此，当离线任务调度资源组执行任务数到达上限，则需要等待资源组上执行的任务执行结束，释放资源。您可以在 运行诊断 页面查看当前任务等待资源时，哪些任务占用资源。说明 若使用公共调度资源组，...
MYSQL深潜-剖析Performance Schema内存管理
本文通过阅读PFS引擎的内存管理源码，解读PFS内存分配及释放原理，深入剖析其中存在的问题以及改进思路。概述 MySQL Performance Schema（PFS）是MySQL提供的强大的性能监控诊断工具，提供了一种能够在运行时检查server内部执行情况的特...
Concurrency Control
CCL提供了超时机制以应对执行DML操作时导致事务锁死锁的问题，等待中的线程也会响应事务超时和线程KILL操作以应对死锁问题。功能设计 维度特征 CCL定义了如下五个维度特征，SQL语句将根据这些维度特征与CCL规则进行匹配：维度 说明 TYPE ...
DB2数据源
DB2数据源作为数据中枢，为您提供读取和写入DB2数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
PolarDB MySQL版DDL操作指南
是否支持并行DDL（多线程加速）：对于在大表上创建索引、重建表等场景，PolarDB 支持通过并行DDL，使用多线程提升DDL的执行效率，最高可提升15~20倍的性能。详细内容请查看 并行DDL 的说明文档。DDL执行算法 PolarDB MySQL版 支持以下三种...
性能测试工具-图形工具
AHBench-jenkins是由阿里云HBase团队...常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及专用配置是否填写正确。被测实例是否支持测试所指定的压缩算法。被测实例状态是否正常服务。
环境准备
64/ONSClient4CPP.lib ONSClient4CPP.dll ONSClient4CPP.pdb vc_redist.x64.exe demo/包含了普通消息发送、Oneway消息发送、顺序消息发送、普通消息消费、顺序消息消费等代码示例。interface/封装PINVOKE调用的代码，需要包含到您的项目...
组复制简介
在Paxos协议中，使用锁的方式来实现节点间顺序一致性，这种方式存在一定的效率问题，并且还存在着负载不均衡的问题。在工程实现过程中，MySQL的XCom层基于Paxos的变种协议，Mencius协议。这是一种使用轮询的方法实现的Leaderless Paxos协议...
SQL Server数据源
parameter":{"postSql":[],/执行数据同步任务之后率先执行的SQL语句。datasource":"",/数据源。column":[/字段。id","name"],"table":"",/表名。preSql":[]/执行数据同步任务之前率先执行的SQL语句。},"name":"Writer","category":...
性能测试工具-图形工具
AHBench-jenkins是由阿里云Lindorm...常见问题 如果测试中遇到错误退出，请检查如下事项：Java和Python是否安装，版本是否正确。被测实例地址以及必填配置是否填写正确。被测实例是否支持测试所指定的压缩算法。被测实例状态是否正常服务。
使用EXPLAIN阅读查询计划
EXPLAIN ANALYZE不仅会显示查询计划，还会实际运行语句，显示实际执行的行数、时间等额外信息。例如：EXPLAIN ANALYZE SELECT*FROM names WHERE id=22;阅读EXPLAIN输出 查询计划类似于一棵有节点的树，执行和阅读的顺序是自底而上。计划中...
VACUUM
已知所有元组都被冻结的页面总是会被跳过，而那些所有元组对所有事务都可见的页面则可能会被跳过（除非执行的是激进的清理）。此外，除非在执行激进的清理时，一些页面也可能会被跳过，这样可避免等待其他页面完成对其使用。这个选项禁用...
- 产品推荐
- 这些文档可能帮助您