列存索引中TopK算子的实现
重要 本文中的内存充足是指，算法中用于管理至少K条记录的数据结构可以在执行内存中缓存，而不是TopK查询的输入数据可以在执行内存中缓存。实际上本文讨论的场景，TopK查询的输入数据都是远大于执行内存的。另外，从系统设计的角度上看，...
多NUMA机型的容器内存就近访问加速
索引 前提条件 内存就近访问加速功能的优势 使用场景 使用内存就近访问加速功能 步骤一：通过Policy开启内存就近访问加速功能 步骤二：通过Event查看内存就近访问加速结果（可选）步骤三：开启多次内存就近访问加速 验证内存就近访问加速...
消息类型
适用场景 在转账过程中，比如从支付宝转账到余额宝，两个系统之间的数据需要保持最终一致性，这时可以通过事务消息进行处理。支付宝扣款执行前，发送一条半事务消息，扣款事务执行成功后，将消息状态更新为 Commit，余额宝系统订阅消息队列...
Alibaba Cloud Linux系统中与透明大页THP相关的性能...
透明大页THP（Transparent Huge Pages）是Linux内核中的一个通用特性，它可以自动将小页面（通常为4 KB）合并成大页面（通常为2 MB或更大），可以减少内存访问页表项PTE（Page Table Entries）大小和访问次数，同时减轻了转译后备缓冲器TLB...
云盒计算资源配置最佳实践
8 GiB内存的ECS实例，共计需要400 vCPU，800 GiB内存的算力，由于所需ECS实例的vCPU和内存配比要求为1：2，此时可以选择最大实例规格为ecs.c6.26xlarge的SKU，该规格族的vCPU和内存配比为1：2，在满足需求的同时可以避免内存浪费。...
EventHandle
第一个信息是当前的堆结构概览：第二个信息是内存泄漏报表：展开引力图，看到疑似的泄露点引用关系如下图所示：进一步根据引力图详细信息，可以看到内存堆积的引用文字关系如下所示（顺序）：(context)of function/home/xxxx/app/...
使用硬件DSA进行数据流加速
对于ack-koordinator的内存就近访问加速功能，DSA可以明显提升单次处理的速度，有效降低CPU核时。远端内存使用量越大，加速效果越明显，十万级到百万级内存页有30%~200%的速度提升和CPU节省。迁移约1.7 GB应用内存至本地，与无DSA硬件相比...
数据库代理常见问题
可以开启 事务拆分，减少事务写前读请求路由到主节点。若在Sysbench压测中，您可以在0.5版本的Sysbench中加上-oltp-skip-trx=on 或在1.0版本的Sysbench中加上-skip-trx=on 去掉事务后再进行压测。详细的负载均衡策略及事务拆分请参见 负载...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
指标说明
nginx_ingress_controller_success-process_resident_memory_bytes 即RSS（Resident Set Size），指的是常驻内存集，是进程实际使用的内存，他不包括分配但未使用的内存，也不包括换出的内存页面，但包含共享内存。process_open_fds 通过...
集群架构与读写分离架构实例的命令限制
但当使用 WATCH 命令或事务存在多Key命令（如 MSET、DEL 等）时，需严格要求事务所操作的Key均在同一Slot，则事务不会被拆分，此时可以保证事务的原子性。为便于日常管理和运维，集群架构代理模式实例支持多个自研的命令，更多信息请参见 ...
8.0.1和8.0.2版功能对比
支持 支持 Warm Buffer Pool 通过提前预热备库的内存，可以避免主备切换之后新的主库负载衰退的问题，提升数据库稳定性。不支持 支持 连接池 不论是PHP短连接并发过高，还是Java等有连接池的微服务等架构导致建立的长连接过多，均可以通过 ...
迁移指南
Delta Lake不需要这样做，因为它可以从事务日志中快速读取文件列表以找到相关文件。如果您对单个分区感兴趣，请使用WHERE子句指定它。例如：spark.read.delta("/data").where("date='2017-01-01'").对于分区中有许多文件的大型表，这可能比...
数据库优化
在DDL prepare和commit阶段，DDL语句需要获取MDL锁，如果表上有未提交事务或慢SQL，会阻塞DDL操作，DDL操作又会阻塞其他的SQL，最终导致活跃线程数升高，可以通过中止未提交事务、慢SQL或正在执行的DDL来解决问题。内存、磁盘、I/O等问题及...
Binlog日志服务
按照数据库的名字计算Hash值并进行分发，即对应同一个库的binlog数据，会始终按序路由给同一个binlog数据流，适用于单个 PolarDB-X 实例上数据库比较多的场景，如果事务不涉及跨库操作，该策略下不仅可以具备多流能力，还可以保证事务的...
Tair选型指南
访问模型，例如大量的客户端连接、使用Lua脚本或事务等，均需要为其预留适量的内存。中长期的业务增长情况。创建Tair实例 完成上述实例的选型后，您可以通过控制台或调用OpenAPI创建 Tair 实例：控制台：创建Tair实例 OpenAPI：...
列存索引技术架构介绍
简介 PolarDB In-Memory Column Index功能提供了列式存储以及内存计算能力，让用户可以在一套数据库上同时运行TP和AP型混合负载，在保证现有 PolarDB 优异的OLTP性能的同时，大幅提升了在大数据量上运行复杂查询的性能。原理图如下：列存...
Binlog Parallel Flush
在Binlog Parallel Flush优化中，每个事务需要串行地分配GTID和Binlog Buffer空间，随后多个组可以并行地写Binlog Buffer，在等待Redo log持久化和后台线程写Binlog完成后，整组事务就可以提交。Binlog持久化 在Binlog Parallel Flush优化...
查看监控信息
常见问题的诊断视图：提供了 内存OOM诊断、只读实例延迟诊断、空间满问题诊断、CPU抖动诊断 和 大事务识别诊断 等视图，您可以根据实际需要选择对应的诊断视图，快速定位问题。自动诊断：标准监控提供强大的诊断能力，能及时发现数据库实例...
应用场景
在流量较小、数据存储集中的应用中，事务性可以通过关系型数据库提供的ACID特性满足。然而在大流量场景下，为了高可用和可扩展性，业务通常选择向微服务的分布式架构方向演进。在这样的架构中提供多步骤事务性的保证通常需要引入队列和数据...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版 的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能模块划分使用...
Persistent Buffer Pool
背景信息 PolarDB PostgreSQL版（兼容Oracle）的内存可以分为Shared Buffer Pool、Dynamic Shared Memory Areas以及进程私有内存三部分：Shared Buffer Pool：集群启动时采用预分配的方式建立的一大段共享内存，通过确定offset来对各个功能...
事务与Read/Write Concern
背景信息 MongoDB 4.0版本支持了单机事务（副本集事务），可以在副本集内的一个或多个集合进行事务操作。MongoDB 4.2版本支持了分布式事务（分片事务），可以跨多个分片执行多个集合的不同文档事务操作。在MongoDB中，对于对单个文档的操作...
组复制简介
当一个事务在所有节点上都被执行之后，任何其他事务都不会跟它冲突了，此事务修改的所有行都可以从认证信息数组中清理掉。在组复制中每60秒会清理一次已执行的事务的数据。AliSQL对组复制稳定性的优化 组复制的稳定性在引入单主模式后有了...
MySQL 实际内存分配情况介绍
MySQL 的内存大体可以分为共享内存和 session 私有内存两部分，下面将详细介绍各部分的构成。共享内存 执行如下命令，即可查询示例的共享内存分配情况：show variables where variable_name in('innodb_buffer_pool_size','innodb_log_...
X-Engine引擎使用须知
RDS MySQL提供阿里云自研的X-Engine存储引擎，支持事务并且可以大幅降低磁盘空间占用。产品介绍 X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。作为自研数据库PolarDB的存储...
MySQL实际内存分配情况介绍
MySQL 的内存大体可以分为共享内存和session私有内存两部分，下面将详细介绍各部分的构成。内存共享 执行如下命令，即可查询示例的共享内存分配情况：show variables where variable_name in('innodb_buffer_pool_size','innodb_log_buffer...
云数据库Redis版产品选型必读
访问模型，例如大量的客户端连接、使用Lua脚本或事务等，均需要为其预留适量的内存。中长期的业务增长情况。创建Redis实例 完成上述实例的选型后，您可以通过控制台或调用OpenAPI创建Redis实例：控制台：创建Redis实例。OpenAPI：...
收费规则
一次全局事务会话一般会包含一个或多个分支事务，实际事务量指的是您的全局事务会话数加上分支事务数的和。按量付费采用后付费，每天按 GTS 事务分组（实例）的实际事务量计费，费用为 1 元/10,000 笔事务。您可以登录 GTS 控制台，为您的...
V5.1.x系列实例版本说明
修复了部分场景下分布式事务内存溢出问题。V5.1.24-653395 日期 2016.07.26 类别 说明 新增特性 SEQUENCE支持全局有序自增，并提供增量、最大值等功能和相应语法的支持。支持TO_DAYS函数。支持包年包月购买实例。接入RAM主子账户。优化性能...
如何基于LSM-tree架构实现一写多读
随后Prepare日志完成回放时，如果发现recovered_transaction_map中已经存在对应的事务，那么可以根据事务的状态来决定直接提交事务还是丢弃事务。对于B+Tree的物理复制，LSM-tree的物理复制并不是真正的 物理 复制。因为B+Tree传递的redo的...
应用场景
GTS 可应用在多个领域，包括共享出行、微服务、消息以及混合事务。SOA 和分布式事务 提供跨库、跨服务的分布式事务支持，实现业务链路级别的分布式事务。开发简单，只需要在客户端声明一个注解，用以界定事务边界。业务链路：为服务链调用...
DescribeHistoryMonitorValues-查看Redis实例的性能...
DB DB 聚合 Tair_PmemUsage PmemUsage%分别为持久内存使用率、持久内存已使用量和持久内存的内存总量。仅持久内存型实例支持。DB DB 聚合 Tair_Pmem PmemUsed Bytes PmemQuota Bytes Redis_DetailedSpaceUsage ins_size MB 分别为实例占用...
提交时间戳技术CTS
技术优势 写事务启动 原生事务系统在写事务启动时，需要通过 trx sys mutex 保护来分配事务ID，写入活跃事务ID数组（rw_trx_ids），维护活跃事务ID到 trx 映射的集合（rw_trx_set），以及读写事务链表（rw_trx_list）等数据结构。...
Binlog Cache Free Flush
在有大事务的业务场景中，大事务提交时常会出现Binlog耗时过长、实例长时间不可写或夯住（hang）的问题。RDS MySQL引入的Binlog Cache Free Flush功能，对大事务提交写Binlog的阶段做了优化，有效解决了该问题，能够提升实例的稳定性。前提...
Multi-Master关键技术介绍
本文对Multi-Master架构的关键技术点进行介绍，包括分布式事务处理、全局死锁处理、DDL支持、分布式表锁支持、集群容错和高可用能力。分布式事务管理 AnalyticDB PostgreSQL版 分布式事务 AnalyticDB PostgreSQL版 通过二阶段提交协议（2PC...
PolarDB HTAP实时数据分析技术解密
因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。对比上述三种方案，从组合搭积木的方法，到Divergent Design方法，再到一体化的行列混合存储。其集成度越来越高，用户的使用体验也越来越好...
pg_locks
如果正在使用预备事务，virtualtransaction 列可以被连接到 pg_prepared_xacts 视图的 transaction 列来得到持有该锁的预备事务的信息（一个预备事务不可能正在等待一个锁，但它在运行中会一直持有已获得的锁）。示例如下：SELECT*FROM pg_...
pg_locks
另外，如果正在使用预备事务，virtualtransaction 列可以被连接到 pg_prepared_xacts 视图的 transaction 列来得到持有该锁的预备事务的信息（一个预备事务不可能正在等待一个锁，但它在运行中会一直持有已获得的锁）。例如：SELECT*FROM ...
- 产品推荐
- 这些文档可能帮助您