新功能发布记录
OceanBase 数据库之间的数据迁移 支持 TiDB 数据库至 OceanBase 数据库 MySQL 租户的结构迁移、全量迁移、增量同步、全量校验和反向增量 迁移 TiDB 数据库的数据至 OceanBase 数据库 MySQL 租户 支持 PolarDB-X 1.0 数据库至 OceanBase ...
典型场景
ETL离线数据处理 面对复杂SQL优化和海量数据大规模聚合分析等挑战，云原生数据仓库AnalyticDB PostgreSQL版 具有如下技术优势：支持标准SQL、OLAP窗口函数和存储过程。ORCA分布式SQL优化器，复杂查询免调优。MPP多节点全并行计算，PB级数据...
文档更新动态（2023年）
集成任务通道配置优化，减少集成任务因各类异常导致的无效等待时长：数据库重试连接次数默认值由7次改为1次，减少因数据库连接问题导致过久的重试及等待时长。新增SQL执行超时时长，默认为30分钟，准备语句或结束语句执行时间超过该配置时...
8.0.1和8.0.2版功能对比
支持 支持 热点行优化 PolarDB 在数据库内核层进行了创新性的优化，不但能够自动识别热点行更新请求，而且将一定时间间隔内对同一数据行的更新操作进行分组，不同分组采用流水线的方式并行处理，通过这些优化，极大地提升了系统的性能。...
2022年8月30日 V5.8.0产品更新通告
新增支持的标注动作 新增 新增标注动作类型 支持先标注分类再优化知识场景 新增 支持客户对命中错误的用户问题先分类到已标注未处理页面集中进行优化 新增添加FAQ知识路径 新增 支持对知识未覆盖的用户问题新增FAQ 新增对知识影响数据统计 ...
PolarDB PostgreSQL版架构介绍
需要解决以下问题：数据一致性：由原来的N份计算+N份存储，转变成了N份计算+1份存储。读写分离：如何基于新架构做到低延迟的复制。高可用：如何Recovery和Failover。IO模型：如何从Buffer-IO向Direct-IO优化。架构原理 基于Shared-Storage...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
什么是数据管理DMS
DMS提供全域数据资产管理、数据治理、数据库设计开发、数据集成、数据开发和数据消费等功能，致力于帮助企业高效、安全地挖掘数据价值，助力企业数字化转型。视频介绍 功能特性 详情信息，请参见 功能概览。为什么选择数据管理DMS 全域数据...
数据导入性能优化
云原生数据仓库AnalyticDB MySQL版 提供的多种数据导入方法，满足不同场景下的数据导入需求。然而数据导入性能依然受各种各样的因素影响，如表的建模不合理导致长尾、导入配置低无法有效利用资源等。本文介绍不同场景下的数据导入调优方法...
发现并处理大Key和热Key
优化大Key与热Key 类别 处理方法 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在 Tair 集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理...
发现并处理Redis的大Key和热Key
优化大Key与热Key 类别 处理方法 大Key 对大Key进行拆分 例如将含有数万成员的一个HASH Key拆分为多个HASH Key，并确保每个Key的成员数量在合理范围。在Redis集群架构中，拆分大Key能对数据分片间的内存平衡起到显著作用。对大Key进行清理 ...
互联网金融：上海富友支付服务股份有限公司
迁移方案 数据传输服务DTS是阿里云提供的实时数据流服务，支持关系型数据库（RDBMS）、非关系型的数据库（NoSQL）、数据多维分析（OLAP）等数据源间的数据交互，集数据同步、迁移、订阅、集成、加工于一体，助力用户构建安全、可扩展、高...
优化器（Analyze）
数据膨胀：当两个表Join key的ndv都比行数小很多时，证明数据大量重复，大概率存在数据膨胀，优化器可以采取相关措施来规避数据膨胀带来的问题。数据过滤：当小表的ndv比大表小很多时，说明执行JOIN操作后，大表的数据会被大量过滤。优化器...
排查Redis实例CPU使用率高的问题
排查并优化大Key 排查步骤 通过性能监控功能，确认CPU使用率高的具体时间段。具体操作，请参见 查看性能监控。在离线全量Key分析的页面，单击 立即分析。选择CPU使用率高的数据节点，单击 确定，可看到CPU使用率高的时间段内有哪些大Key。...
数据库代理发布说明
问题修复 优化事务拆分，通过代理的事务拆分开关来控制数据库上的开关行为。2.3.26（发布日期：20210916）类别 说明 问题修复 在数据库代理中设定 TCP KeepAlive 相关的参数，不使用系统参数，确保在不同环境下 TCP KeepAlive 具有相同行为...
PolarDB并行查询
并行优化是一个自底向上，基于动态规划的穷尽式枚举过程，实现思路参考了SQL Server PDW paper[2]，在过程中会针对每个算子，枚举可能的并行执行方式和数据分发方式，并基于输出数据的Physical Property（distribution+order）构建物理等价...
热点行优化
背景信息 热点行面临以下问题：数据库中那些会被频繁执行增删改查操作的数据行称为热点行。当一个事务对一行数据进行更新时，会对目标数据行加锁，直到事务提交或回滚时才释放。同一时段内，对于同一个数据行，只有一个事务能够进行更新，...
图扑案例
Lindorm 针对工业物联网数据高并发写入，实时存取等特点，创新性地融合时序、索引、宽表等多模引擎能力，为存储、分析低价值密度、高通量、高实时性的工业物联网监控数据提供了高性价比的最优解决方案，大幅度降低了数据存储和存储系统运维...
慢日志分析功能简介
背景信息 慢日志问题极大地影响数据库的稳定性。当数据库出现负载高、性能抖动等问题时，数据库管理员或开发首先会查看是否有慢日志在执行。慢日志由数据库内核输出，不同数据库引擎的配置参数及阈值不相同，具体的配置参数和阈值请参见...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
MySQL只读实例简介
性能优化（仅MySQL支持）：提供多种优化建议，如存储引擎检查、主键检查、大表检查、索引偏多、缺失索引等，用户可以根据优化建议并结合自身的应用特点来对数据库进行优化。主备切换：高可用系列的只读实例支持主备库切换和查看主备切换...
新功能发布记录
变更项 说明 发布时间 发布地域 相关文档 发布新功能 支持Key分析功能，可实时展示实例中的大Key和热Key信息，同时支持查看4天内的大Key和热Key历史信息，帮助您掌握Key在内存中的占用、Key的访问频次等信息，为您的优化操作提供数据支持。...
管理健康报告
Top导入热表分析 按表粒度对导入任务数量进行排序并选取Top 20的表，这些表的导入任务执行最为频繁且涉及的数据导入事务最多。导入热节点分析 可以通过对各节点的统计数据进行导入，来分析数据的均衡度。例如，您可以从 写入总大小 指标...
PolarDB PostgreSQL版架构介绍
需要解决以下问题：数据一致性：由原来的N份计算+N份存储，转变成了N份计算+1份存储。读写分离：如何基于新架构做到低延迟的复制。高可用：如何Recovery和Failover。IO模型：如何从Buffer-IO向Direct-IO优化。架构原理 基于Shared-Storage...
查询性能优化指导
optimizer=on Optimizer status:PQO version 1.609(8 rows)优化关联（JOIN）列的数据类型 Join的条件列数据类型应一致，避免因隐式/显式数据类型转换带来数据需要重分布的问题。显式数据类型转换 显式数据类型转换是指在SQL语句中，对Join...
PolarDB MySQL版5.7版本发布日志
2021-02-22 5.7.1.0.6.2 类别 说明 发布时间 问题修复 修复在只读节点上执行使用了Index Merge优化的查询时，偶发性地出现1032错误码 Can't find record in TABLE 的问题。2021-02-10 5.7.1.0.6.1 类别 说明 发布时间 问题修复 修复读写...
Echarts 单轴气泡图
大规模优化：是否开启大数据量优化，在数据图形特别多而出现卡顿时候可以开启。开启后配合 绘制优化阈值 配置项，在数据量大于指定阈值的时候对绘制进行优化。但是优化后不能自定义设置单个数据项的样式。标签：单击右侧的 眼睛 图标显示...
Proxy小版本发布日志
6.8.x 小版本号 更新级别 发布日期 类型 说明 6.8.17 MEDIUM 2024-03-28 缺陷修复 修复在SSL或TLS连接下，当回复数据量较大、写满Socket buffer时有可能断开连接的问题。6.8.16 MEDIUM 2024-01-26 缺陷修复 修复SSL或TLS连接下的请求有可能...
SQL其他常见问题
问题类别 常见问题 数据类型 MaxCompute的时间类型字段是否可以不带时分秒？在执行MaxCompute SQL过程中，对DOUBLE类型的数据进行等值比较，为什么结果不符合预期？如何解决DECIMAL数据类型精度溢出问题？新创建的MaxCompute项目不支持数据...
行业趋势与背景
具备优化并提供秒级备份恢复、秒级弹性等能力，成为公有云增速最快的数据库产品。基于这些技术探索和沉淀，我们开始思考基于云架构的分布式数据库应该是什么样的形态。从用户角度来看，需要满足用户使用云的一些期望，比如用户的数据库数据...
Proxy小版本发布日志
6.8.x 小版本号 更新级别 发布日期 类型 说明 6.8.17 MEDIUM 2024-03-28 缺陷修复 修复在SSL或TLS连接下，当回复数据量较大、写满Socket buffer时有可能断开连接的问题。6.8.16 MEDIUM 2024-01-26 缺陷修复 修复SSL或TLS连接下的请求有可能...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
内置时空数据引擎Ganos
提供拓扑网络路径分析和大规模点云存储与查询支持 Ganos所包含的几何网络数据库引擎支持Node-Edge拓扑网络构建，支持Turn、U-Turn等概念，支持TSP（旅行商问题）、KSP（多条线路最短路径）、TRSP（转向限制的最短路径）等一系列路径规划...
产品架构
高效满足IoT/监控等场景的测量数据、设备运行数据的存储处理需求，整体架构如下：TSCore 是时序引擎中负责数据组织的核心部分，其整体思想与LSM结构相似，数据先写入Memchunk，然后Flush到磁盘，但由于时序数据天然的顺序写入特征，定向...
深度解析PolarDB数据库并行查询技术
本文主要介绍基于代价进行并行优化、并行执行的云数据库的并行查询引擎的关键问题和核心技术。背景信息 随着数据规模的不断扩大，用户SQL的执行时间越来越长，这不仅对数据库的优化能力提出更高的要求，并且对数据库的执行模式也提出了新的...
优化器
AnalyticDB PostgreSQL版 针对HTAP场景进行了不同的优化，极大地提升了数据库性能。MagicSet下推 MagicSet下推是适用于OLAP的一个高效的优化器改写规则，其利用MagicSet提供的filtering能力，降低在大表上聚合的代价，并降低同聚合结果join...
SQL 诊断概述
当发现某台主机 CPU 负载过高时，可以使用该功能，对主机上的 SQL 进行排序，从而找到最值得优化的 SQL。另外，该场景下，暂不支持数据库过滤。TopSQL 分析还提供了一些常用的快捷筛选，例如 全表扫描、多分区扫描 等。TopSQL 支持通过点击...
Echarts 大规模散点图
大规模优化：是否开启大数据量优化，在数据图形特别多而出现卡顿时候可以开启。开启后配合 绘制优化阈值 配置项，在数据量大于指定阈值的时候对绘制进行优化。但是优化后不能自定义设置单个数据项的样式。绘制优化阈值：绘制优化的阈值，...
常见问题
本文介绍大数据专家服务常见问题。1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大...
- 产品推荐
- 这些文档可能帮助您