解决方案 流利说基于数据库自治服务DAS的 7*24异常检测、SQL诊断引擎、自动SQL限流、自动性能扩展、自动SQL优化 和 智能压测 六项核心能力构建了“基础服务自治平台”的数据库部分,通过 DAS服务接口 实现了线上故障修复自动化、数据库优化...
数据传输DTS:数据传输服务(Data Transmission Service)DTS支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输。它是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。数据传输致力于在公共云、混合云场景下,...
AliSQL为提升性能,在Binlog提交阶段做了Binlog Parallel Flush优化,开启优化可以有效提升实例的写性能。前提条件 实例版本为MySQL 8.0。内核小版本:20230930或以上 说明 您可以在 基本信息 页面的 配置信息 区域查看是否有 升级内核小...
全量数据以微分区(Micro Partitions)的形式存储,大幅度优化传统数仓中出现的IO放大和写放大的问题,提供高吞吐的读写能力。同时,利用OSS和PANGU的弹性能力,在提供廉价存储的同时,容量可无限扩展。高性能 支持列投影、谓词下推、分区...
您可以使用 PolarDB MySQL版 提供的Auto Plan Cache功能,来缓存SQL语句的执行计划信息,以缩短查询优化时间,提升SQL语句的查询性能。本文介绍了Auto Plan Cache功能的背景信息、前提条件、依赖的参数和接口等内容。背景信息 执行计划的...
针对原生MySQL Query Cache的不足,阿里云进行重新设计和全新实现,推出Fast Query Cache,能够有效提高数据库查询性能。前提条件 实例版本为MySQL 5.7(内核小版本20200331或以上)。实例未开启 数据库独享代理。背景信息 查询缓存(Query...
创建Redis实例前,您需要结合产品性能、价格、业务场景、工作负载等因素,做出性价比与稳定性最优的决策。本文围绕以上因素,着重介绍实例类型、引擎版本、架构、存储介质,为您的选型提供相关参考。免费试用 阿里云免费试用面向符合条件的...
专属集群MyBase MySQL在RDS MySQL基础之上开放了更多权限。本文简单介绍MyBase MySQL及相关概念。MyBase MySQL MyBase MySQL基于阿里巴巴的MySQL源码分支,经过双十一高并发、大数据量的考验,拥有优良的性能。MyBase MySQL支持实例管理、...
云原生数据仓库AnalyticDB MySQL版 是阿里巴巴自主研发、经过超大规模以及核心业务验证的PB级实时数据仓库。概述 自2012年第一次在集团发布上线以来,AnalyticDB MySQL版 至今已累计迭代发布近百个版本,支撑起集团内的电商、广告、物流、...
PolarDB 控制台提供了丰富的性能监控项和秒级监控频率,方便您掌握集群的运行状态并通过细粒度的监控数据快速定位运维问题。操作步骤 登录 PolarDB控制台。在左侧导航栏单击 集群列表。在左上角,选择集群所在地域。找到目标集群,单击集群...
2021年4月 V1.1.10 内核小版本 类别 名称 描述 相关文档 发布时间 优化 性能优化 通过在共享内存中缓存表数据库块大小信息,优化了数据文件I/O读性能。无 2021年3月 时空数据库(V3.5)类别 名称 描述 相关文档 发布时间 新增 大对象存储...
本文深入分析了TPC-H查询中,可能存在的性能优化点和对应的优化思路,以及MySQL的现状和 PolarDB 做的一些改进工作。背景信息 TPC-H是世界上最为流行的OLAP workload的benchmark程序,只要是和查询处理过程相关的任务,大多会使用TPC-H作为...
PolarDB PostgreSQL版(兼容Oracle)默认的参数模板适用于大多数通用的数据库场景,对于一些特殊的数据库场景,默认模板可能无法满足需求,您可以通过调整相关的数据库参数,对集群性能进行优化。资源消耗参数 参数名 参数说明 shared_...
缓冲池(Buffer Pool)问题 所有表的数据页都存放在缓冲池中,查询执行的时候如果需要的数据页直接命中缓冲池,就不会发生物理I/O,SQL执行的效率较高,缓冲池采用LRU算法管理数据页,所有的脏页放到Flush List链表中。RDS MySQL的InnoDB ...
PolarDB 采用存储和计算分离的架构,提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务,既融合了商业数据库稳定可靠、高性能、可扩展的特征,又具有开源云数据库简单开放、自我迭代的优势。本文介绍杭州...
时序数据表可以为您提高查询和存储性能,本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要,需要仔细分析数据来源的特性和查询的场景,建立合理的数据表,以便达到最佳的存储和查询性能。以下图的...
本文介绍 PolarDB PostgreSQL版(兼容Oracle)的产品功能动态,分别为内核小版本、控制台、时空数据库和API的更新说明。说明 您可通过如下语句查看 PolarDB PostgreSQL版(兼容Oracle)的内核小版本的版本号:show polar_version;2021年12...
对于按照分区键过滤条件进行分区剪枝的查询性能会有明显提升,另外 PolarDB MySQL版 对分区表做了性能优化,具体请参见 分区表概述。对于大批量的数据,例如一张表一天有1000万行新数据,一个月就3亿行,PolarDB如何应对?请参见文档 ...
云原生数据仓库AnalyticDB PostgreSQL版 提供PB级数据实时交互式分析、ETL/ELT、BI报表展示功能,支持数据高吞吐实时写入与批量导入,提供ACID保证和标准事务隔离级别,采用MPP全并行架构,是一款具有高性价比的云原生数仓产品,提供基于...
同步其他数据源的数据至ClickHouse数据源的场景中,完成源数据的信息配置后,需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前,请确认您已完成ClickHouse数据源及...
深度集成的生态 接入融合分析和数据回流能力 目前支持如下数据源的接入融合分析和数据回流能力,包括对象存储OSS上7种以上结构化、半结构化、以及多种压缩格式的数据文件,表格存储,AnalyticDB,云数据库版或自建数据库(MySQL、...
若集群中某些库表的数据几乎没有更新、插入和修改操作,且读取频率非常低,如果您有降本需求,可以使用 PolarDB MySQL版 提供的冷数据归档功能,将这部分数据转存至低成本的OSS上存储,以降低数据存储成本。本章节介绍了冷数据归档方法、...
PolarDB MySQL版 优化了B-tree索引的并发控制机制,有效地提升了高并发读写场景下的性能。本文介绍了B-tree并发控制优化的使用方法和使用该机制的限制和前提条件等内容。背景信息 InnoDB引擎使用索引来组织表结构,每张表的数据均放在一个...
背景 优化innodb_flush_log_at_trx_commit和sync_binlog参数的配置可以提高数据库的性能和数据安全性,参数作用如下:innodb_flush_log_at_trx_commit:控制MySQL实例在事务提交后,是否立即将日志缓冲数据更新至log file文件中,用于进行...
PolarDB 通过DDL物理复制优化功能,在主节点写物理日志和只读节点应用物理日志的关键路径上进行了全面优化,大大缩短了主节点上DDL操作的执行时间和只读节点上解析DDL的物理日志复制延迟时间。本文介绍如何使用DDL物理复制优化功能。前提...
创建 云原生内存数据库Tair 实例前,您需要结合产品性能、价格、业务场景、工作负载等因素,做出性价比与稳定性最优的决策。本文围绕以上因素,着重介绍实例类型、引擎版本、架构、存储介质,为您的选型提供相关参考。免费试用 阿里云免费...
本文为您介绍如何提高访问OSS或OSS-HDFS数据时HTTP请求的响应速度,以便优化OSS或OSS-HDFS上的数据处理。背景信息 越来越多的用户构建数据湖,并借助OSS来存储数据。OSS可提供99.9999999999%(12个9)的数据持久性,99.995%的数据可用性。...
下面是双11期间自动SQL优化一个实际案例:某自治服务接入实例,DAS于11月7日通过负载异常检测到因慢SQL引起的负载异常,自动触发SQL优化闭环,SQL语句优化上线后,经过持续24小时优化效果跟踪完成优化收益评估,优化效果显著,如优化之前后...
Apache Hudi是一种数据湖的存储格式,在Hadoop文件系统之上提供了更新数据和删除数据的能力以及消费变化数据的能力。Hudi表类型 Hudi支持如下两种表类型:Copy On Write 使用Parquet格式存储数据。Copy On Write表的更新操作需要通过重写...
全局一致性(高性能模式)高规格集群性能 通过MTT技术对全局一致性(高性能模式)进行优化后,即便在高并发写入压力下,全局一致性(高性能模式)依然可以在很大程度上提升集群的性能。如下图所示,在包含1个RW节点和1个RO节点的集群中,...
由于在执行查询时使用的执行计划好坏对性能的影响非常关键,因此在所有的数据库系统中都存在查询优化器,典型的查询优化器结构如下图所示:通常,查询优化器会通过如下三个典型组件来协同工作:Plan space enumeration:根据一系列的等价...
同步其他数据源的数据至ClickHouse数据源的场景中,完成源数据的信息配置后,需要配置ClickHouse输出组件写入数据的目标数据源。本文为您介绍如何配置ClickHouse输出组件。前提条件 在开始执行操作前,请确认您已完成ClickHouse数据源及...
问题类别 常见问题 Tunnel SDK Upload 使用Tunnel SDK上传数据时,上传的数据可以自动分配到各个分区吗?使用Tunnel SDK上传数据时,编写完UDF打成JAR包后上传,对JAR包大小有要求吗?使用Tunnel SDK上传数据时,是否有分区数量限制?使用...
组复制MySQL Group Replication(简称MGR)是MySQL官方在已有的Binlog复制框架之上,基于Paxos协议实现的一种分布式复制形态。RDS MySQL集群系列实例支持组复制。本文介绍组复制的优势、技术实现原理、AliSQL对组复制稳定性的优化。组复制...
如果您的实例为标准版,扩容内存规格后仍无法解决内存使用率高的问题,可以考虑升级为集群版,将数据分布到多个数据分片节点上,减轻单个数据分片节点的内存压力。详情请参见 变更实例配置。排查是否创建大量新连接 排查方法:查看 Redis ...
本章节主要介绍 PolarDB PostgreSQL版 中的不同视图详细信息,可通过查询不同视图获取相关实例信息,进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库范围的统计...
适用场景 海量数据下对性能与成本要求高的场景 计算中间数据对性能的要求很高,采用Redis社区版成本较高,如果采用HBase之类的数据库存储数据则可能无法满足性能需求。采用持久存储型实例保障数据持久化的同时提供近乎Redis社区版的吞吐和...
适用场景 海量数据下对性能与成本要求高的场景 计算中间数据对性能的要求很高,采用Redis社区版成本较高,如果采用HBase之类的数据库存储数据则可能无法满足性能需求。采用持久存储型实例保障数据持久化的同时提供近乎Redis社区版的吞吐和...
本章节主要介绍 PolarDB PostgreSQL版(兼容Oracle)中的不同视图详细信息,可通过查询不同视图获取相关实例信息,进而方便定位性能问题。数据库基本信息 pg_stat_database pg_stat_database 视图将显示集群中每一个数据库中的每一行数据库...
DataWorks在多个行业中均有典型的案例落地,帮助多个行业的企业解决数据痛点,挖掘数据价值,本文为您介绍典型行业中已落地的客户案例。新零售行业:大润发云上数据中台建设 客户架构如下。客户简介 为了快速数字化转型,拥抱新零售,...