应用场景
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
数据扫描和识别
支持扫描的数据源类型如下：结构化数据：RDS、PolarDB、PolarDB-X、MongoDB、OceanBase、自建数据库 非结构化数据：OSS 大数据：TableStore、MaxCompute、ADB-MYSQL、ADB-PG 数据源授权完成后需要多长时间完成扫描？DSC 完成数据源授权后，...
附录：API调用示例
【区分大小写】method=json_obj["apiConfig"]["method"]if(host=None or host=""):raise Exception("host信息缺失")if(appKey=None or appKey=""):raise Exception("appKey信息缺失")if(appSecret=None or appSecret=""):raise Exception(...
Multi-Master基础架构
其中业务原始数据通常存储在OLTP系统中，然后通过离线导入、ETL、DTS等方式以一定延迟同步到OLAP系统中，再进行后续的数据分析工作。AnalyticDB PostgreSQL版 早期版本主打OLAP场景、具备OLTP能力。随着HTAP的流行，AnalyticDB PostgreSQL...
如何将一棵LSM-Tree塞进NVM
鉴于内存表设计为顺序追加的写入方式，为了避免该问题，半持久化内存表通过将小的写打包成大块的写（WriteBatch），并且顺序地将该WriteBatch写入到PM中，之后分别将其中的记录写入到易失性索引中。如上图所示，batch表示一个大块的...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
分区表简介
当大表用于存储历史数据，新数据均加入至某个最新的分区，该场景下建议使用分区表。例如，大表用于存储一年12个月的历史数据。当前月份的数据存在一个单独的分区中，该分区的数据是可更新的。而历史月份的数据则存在另一个只读的分区中。...
列存索引（IMCI）发布说明
通过一套数据库系统，即可满足业务的OLTP及OLAP需求。版本要求 企业版 集群，集群版本需满足以下条件之一：PolarDB MySQL版 8.0.1版本，且修订版本为8.0.1.1.22及以上。PolarDB MySQL版 8.0.2版本，且修订版本为8.0.2.2.12及以上。标准版 ...
概述
通过一套数据库系统，即可满足业务的OLTP及OLAP需求。如您有关于列存索引的使用问题，请进钉钉群咨询，群号：27520023189。版本要求 企业版 集群，集群版本需满足以下条件之一：PolarDB MySQL版 8.0.1版本，且修订版本为8.0.1.1.22及以上。...
应用场景
可以基于一份数据进行事务（OLTP）与分析（OLAP）混合处理，免去了在线数据库和离线数据仓库之间海量数据的复制、传输、加载和存储，降低存储成本的同时极大的缩短了数据分析的延迟，使得即席分析决策系统成为可能。物联网 物联网有着数据...
建立性能基准
MaxCompute性能表现优劣，主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现，建议您在优化性能之前首先建立性能基准。说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时，您需要记录每张表...
建立性能基准
MaxCompute性能表现优劣，主要取决您的表设计是否符合规范。为方便您衡量MaxCompute表的性能表现，建议您在优化性能之前首先建立性能基准。说明 MaxCompute表设计规范详情请参见 表设计规范。在优化表前后测试系统性能时，您需要记录每张表...
实例规格
32核128 GB 8核32 GB 4 48核192 GB 8核32 GB 6 64核256 GB 8核32 GB 8 96核384 GB 8核32 GB 12 128核512 GB 8核32 GB 16 企业版 32核128 GB 16核64 GB 2 大规格资源，面向具备企业级超高并发、大规模数据复杂查询、加速分析的业务场景。...
提交时间戳技术CTS
oltp_read_write oltp_insert oltp_update_index oltp_update_no_index oltp_read_only 测试结果及说明 从以下测试中可以看出，在读写或只写场景下，PolarTrans事务系统对于数据库整体性能有非常大的提升。在只读场景下，整个数据库的性能...
本地SSD型
存储：I/O优化实例 仅支持ESSD云盘和ESSD AutoPL云盘 网络：支持IPv6 适用场景：OLTP、高性能关系型数据库 E-MapReduce大数据冷热数据分层、存储计算分离、数据湖等场景 Elasticsearch等搜索场景 i4g包括的实例规格及指标数据如下表所示。...
免费体验PolarDB PostgreSQL Serverless极致弹性
对高吞吐写入场景和高并发业务场景进行了设计优化，同时提供了弹性扩缩能力，适合业务数据量大，并具有典型的业务访问波峰波谷场景。阿里云提供了数据库解决方案性能&价格力体验馆，模拟了客户端对PolarDB发起写请求的场景，带您体验主节点...
PolarDB HTAP实时数据分析技术解密
MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP场景设计的开源数据库。开源社区的研发方向侧重于加强其事务处理的能力，例如：提升单核性能、多核扩展性能、增强集群能力以提升可用性等。在处理大数据量下复杂查询所需要的能力方面...
列存索引技术架构介绍
技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力，以提升可用性等。在处理大数据量下复杂查询所需要的能力...
2023年
由于大表执行HASH算子性能较差，系统优化了HASH JOIN左右表的代价参数，避免ORCA优化器产出大表在右表的计划。在ORCA优化器中，修改了Broadcast（数据广播）的代价惩罚界限，可以让优化器更准确地判断是否需要使用包含Broadcast Motion算子...
免费体验PolarDB MySQL Serverless极致弹性
对高吞吐写入场景和高并发业务场景进行了设计优化，同时提供了弹性扩缩能力，适合业务数据量大，并具有典型的业务访问波峰波谷场景。阿里云提供了数据库解决方案性能&价格力体验馆，模拟了客户端对PolarDB发起写请求的场景，带您体验主节点...
使用须知
慎用扫全表、OR、Join和子查询 虽然Phoenix支持各种Join操作，但是Phoenix主要还是定位为在线数据库，复杂Join，比如子查询返回数据量特别大或者大表Join大表，在实际计算过程中十分消耗系统资源，会严重影响在线业务，甚至导致OutOfMemory...
新功能发布记录
逻辑数仓 数据归档新增归档至 AnalyticDB MySQL版 链路 迭代 定时将大表的数据归档至OSS、Lindorm、AnalyticDB MySQL版 数据库，解决了由于线上数据量增多影响表的查询性能与业务运作的问题。数据归档至AnalyticDB MySQL 3.0 03月 功能名称...
X-Engine简介
提供高并发事务处理能力和降低存储成本，在大部分大数据量场景下，数据被访问的机会是不均等的，访问频繁的热数据实际上占比很少，X-Engine根据数据访问频度的不同将数据划分为多个层次，针对每个层次数据的访问特点，设计对应的存储结构，...
TPC-C测试说明
本文介绍如何使用TPC-C工具测试 PolarDB-X 1.0 数据库的联机交易处理（偏向OLTP能力），您可以按照本文介绍自行测试对比，快速了解数据库系统的性能。背景信息 TPC-C是业界常用的一套Benchmark，由TPC委员会制定发布，用于评测数据库的联机...
产品简介
DLA Ganos是基于云原生数据湖分析（Data Lake Analytics，DLA）系统设计开发的，面向时空大数据存储与计算的数据引擎产品。基于DLA无服务器化（Serverless）数据湖分析服务与内置的Spark计算引擎，DLA Ganos打通了阿里云各个存储系统，如...
列存索引行列融合基础组件介绍
执行计划的一个片段是两张大表 join（t1 join t2），t1表上WHERE条件的过滤比例很高，且有InnoDB索引。t2表上的join条件没有InnoDB索引且join条件只涉及少数列。在这样的查询中，通过行式计算和InnoDB索引查询t1表，再通过列式计算扫描t2表...
功能特性
此外，OceanBase 数据库支持超大规模集群（节点超过 1500 台，最大单集群数据量超过 3 PB，单表数量达到万亿行级别）动态扩展，在 TPC-C 场景中，系统扩展比可以达到 1:0.9，使用户投资的硬件成本被最大化的利用。高可用 OceanBase 数据库...
技术原理
扩展性原理 扩展性本质在于分而治之，PolarDB-X 1.0 计算资源通过水平拆分（分库分表）和垂直拆分，将数据分散到多个存储资源MySQL以实现获取数据读写并发和存储容量分散的效果。水平拆分（分库分表）PolarDB-X 1.0 具备数据水平拆分的能力...
产品概述
即使对大表进行加索引、加字段等DDL操作，也不会造成数据库的延迟。秒级快速备份 利用底层分布式存储的快照技术，只需分钟级别即可完成对TB级数据量大小的数据库的备份，且整个备份过程不需要加锁，效率更高，影响更小，对应用程序几乎无影...
技术架构
数据传输服务（Data Transmission Service，简称DTS），支持关系型数据库、NoSQL、大数据等数据源，集数据迁移、订阅及实时同步功能于一体，能够解决公共云、混合云场景下，远距离、毫秒级异步数据传输难题。其底层基础设施采用阿里双11...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
PolarDB PostgreSQL版架构介绍
分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。通过只读实例进行读扩展，每个只读实例独享一...
什么是PolarDB PostgreSQL企业版
即使对大表进行加索引、加字段等DDL操作，也不会造成数据库的延迟。秒级快速备份 不论多大的数据量，全库备份只需30秒，而且备份过程不会对数据库加锁，对应用程序几乎无影响，全天24小时均可进行备份。PolarDB定价 详情请参见 规格与定价 ...
PolarDB PostgreSQL版架构介绍
加速比 TPC-H性能：和传统MPP数仓对比 分布式执行加速索引创建 分布式并行执行加速多模：时空数据库 传统数据库的问题 随着用户业务数据量越来越大，业务越来越复杂，传统数据库系统面临巨大挑战，例如：存储空间无法超过单机上限。...
最佳实践
如果在业务设计上需要使用到ePQ，那么可以将业务中的分析型SQL提取出来，使用一个特定的数据库来进行ePQ查询：ALTER DATABASE ap_database SET polar_enable_px=ON;或使用某个特定的账户，专门用来执行分析型的SQL：ALTER ROLE ap_role SET...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
应用场景
背景信息 设备将原始数据通过 MQTT 协议发送到物联网平台，经由物联网平台将数据转发到消息服务系统，继而通过流计算系统对这些数据进行实时计算处理后写入到 TSDB 中存储，或者经由物联网平台直接将原始数据写入 TSDB 中存储。前端的监控...
分区索引
分区索引是为了解决大宽表的存储和高并发访问问题而设计的一种新特性。创建搜索索引时可以指定数据分区策略，服务端自动将数据进行拆分并存储，查询数据时系统自动进行分区裁剪。本文介绍数据分区的策略和使用方法。前提条件 已开通 云原生...
配置SAP HANA输出组件
同时您也可以单击 数据源 后的 新建，添加数据源，详情请参见 创建SAP HANA数据源 表 系统支持的读取TXT和格式的文件。加载策略 选择字段的加载策略。系统支持选择追加数据和覆盖数据的策略。追加数据策略下，当指主键、约束冲突时，系统会...
- 产品推荐
- 这些文档可能帮助您