PolarDB HTAP实时数据分析技术解密
支持BATCH并行的算子 IMCI执行器引擎使用经典的火山模型，同时借用了列存存储以及向量执行来提升执行性能。火山模型中，SQL生成的语法树所对应的关系代数中，每一种操作会抽象为一个Operator，执行引擎会将整个SQL构建为一个Operator 树。...
列存索引技术架构介绍
向量化并行执行器 IMCI执行器引擎使用经典的火山模型，但是借助了列存存储以及向量执行来提升执行性能。火山模型中，SQL生成的语法树所对应的关系代数中，每一种操作会抽象为一个Operator，执行引擎会将整个SQL构建成一个Operator树，查询...
计费常见问题
如果您还购买过存储包，需先查看 通用型存储包数据 中 未抵扣使用容量 ⑤ 和 未抵扣低频介质使用容量 ⑥ 中的数据是否已统计到 资源包数据 的 合计基准容量 ②，在此基础之上再查看资源包抵扣后的 未抵扣基准容量 ③。不支持抵扣项：低频...
云存储网关
适用场景 云存储网关适用于以下场景：云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端保留全量数据，保证数据的...
产品整体介绍
Segment Segment是负责具体的SQL执行和数据存储节点。其中本地元数据（Local Catalog，与Master Node Global Catalog保持同步）起到加速执行的功能（Segment无需每次访问Master Node获得元数据信息）；本地事务管理器（Local Transaction ...
列存索引行列融合基础组件介绍
本文介绍了列存索引行列融合基础组件（优化器代价模型、执行器多引擎访问、存储引擎日志回放和事务处理）以及处理长尾请求问题的HybridIndexSearch算子的相关内容。背景信息 事务处理（OLTP）和分析处理（OLAP）混合工作负载在当前的业务...
二进制数据类型
本文介绍了二进制数据类型的定义及相关语法。名称 存储大小 说明 BINARY 二进制字符串的长度。定长二进制字符串，取值范围：1~8300。BLOB 实际二进制字符串加1字节（如果二进制字符串小于127字节）或4字节（如果二进制字符串大于等于127...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
产品架构
数据库分层架构 在数据库分层架构中，使用 Tablestore 配合MySQL来完成应用系统的业务需求，利用MySQL的事务能力来处理对事务强需求的写操作与部分读操作，利用 Tablestore 的数据检索能力和大数据存储来实现数据存储、查询与分析。...
数据转发到表格存储（Tablestore）
设备元数据（例如设备标签、属性和状态数据）具有高频更新、查询能力要求高等特点，可用于设备管理、设备圈选、设备状态查询，需要支持高并发低延迟的数据更新、多维度检索、地理空间检索以及数据实时计算与分析。表格存储（Tablestore）的...
玄武分析型存储
行列混合存储 玄武存储引擎支持行列混存和行存的存储格式，其中行列混存是一种以列存为基础兼顾行存的模式，类似于Hadoop中的ORC/Parquet格式。不同的是玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能，而且结合其行对齐的能力，...
引擎功能
本文介绍时序引擎的实用功能。...企业级特性支持：模型和数据都存储在数据库内，享受数据库成熟的企业级特性支持，如权限管理、审计、加密等。目前支持常见的时序预测及时序异常检测算法，具体说明，请参见 数据库内机器学习。
概述
PolarDB-X 结合ADB提供了库仓一站式的能力，基于“Zero-ETL”的设计理念，采用共享同一份列存索引的数据，基于ADB的数据仓库能力可以满足多方的数据汇总和数据关联查询，提供传统意义上的数仓和湖的分析。同时，针对在线数据的并发查询可以...
整体架构
为满足不同场景需求，首先将一份全量数据存储在低成本高吞吐存储介质中，低成本离线处理场景直接读写低成本存储介质中的数据，可降低数据存储和数据IO成本，保证高吞吐。其次将实时数据存储在单独的存储IO节点（EIU）上，保证行级的数据...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
宽表模型介绍
如何理解主键、数据分区和数据分区键 表格存储中表、行、列、值和电子表格的类比 相关文档 您可以通过控制台、命令行工具快速体验宽表模型。具体操作，请参见 使用宽表模型。如果要实现实例数据的机房级容灾，您可以通过创建同城冗余类型的...
表设计规范
MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储...
生命周期管理概述
阿里云文件存储NAS推出的生命周期管理功能，可以帮助您将低频访问的冷文件数据从标准存储转换到低频存储或归档存储中，并采用低频存储或归档存储计费方式，从而减少文件系统的存储费用。本文主要介绍生命周期的策略、使用限制、应用场景、...
专业术语
一个给定的shard group中的一个序列中的所有数据点都存储在磁盘中相同的shard（TSM文件）。相关术语：series，shard duration，shard group，tsm。shard duration shard duration决定了每个shard group跨越多长时间。具体时间间隔由保留...
索引选择
维度 全局二级索引 本地二级索引 同步方式 异步方式 同步方式 第一列主键要求 可选数据表中的任意主键列或者预定义列 必须和数据表的第一列主键相同 同步延迟 毫秒级别 实时 读取一致性 最终一致性 强一致性 多元索引 一个多元索引是一系列...
实例选型和集群规划
规格节点 云原生数据仓库AnalyticDB PostgreSQL版 采用MPP并行架构，在节点角色上区分为Master节点和Segment节点，其中Master节点是实例的入口，负责SQL请求、路由分发和结果集处理，Segment节点为计算节点，负责SQL处理和数据存储，每个...
什么是EMR Serverless StarRocks
高可用易扩展 StarRocks的元数据和数据都是多副本存储，并且实例中服务有热备，多实例部署，避免了单点故障。实例具有自愈能力，可弹性恢复，节点的宕机、下线和异常都不会影响StarRocks实例服务的整体稳定性。StarRocks采用分布式架构，...
概述
文本搜索解析器和模板是从低层 C 函数构建而来，因此它要求 C 编程能力来开发新的解析器和模板，并且还需要超级用户权限来把它们安装到一个数据库中（在本数据库中发布的 contrib/区域中有一些附加的解析器和模板的例子）。由于词典和配置...
Serverless模式
AnalyticDB PostgreSQL版 全新推出Serverless模式，利用云基础设施提供的资源池化和海量存储能力，结合传统MPP数据库技术、离在线一体化技术和Serverless技术，实现了计算存储分离、秒级扩缩容和多实例数据实时共享的特性。简介 AnalyticDB...
GxP欧盟附录11标准合规包
业务背景 GxP欧盟附录11（GxP EU Annex 11）是欧盟对于计算机化系统使用的规范性要求，主要针对在制药、生物技术和医疗器械领域中使用计算机化系统的企业和组织。他要求涵盖了计算机化系统的开发、验证、操作、维护和监测等方面，以确保...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
购买包年包月集群
步骤2：完成集群配置 集群配置包括集群名称、网络类型、参数模板和数据库表名大小写等配置。完成集群配置后，单击 下一步：确认订单。选择自动生成或自定义 集群名称。如果选择自动生成 集群名称，集群创建成功后系统将自动生成一个集群...
购买按量付费集群
步骤2：完成集群配置 集群配置包括集群名称、网络类型、参数模板和数据库表名大小写等配置。完成集群配置后，单击 下一步：确认订单。选择自动生成或自定义 集群名称。如果选择自动生成 集群名称，集群创建成功后系统将自动生成一个集群...
购买按量付费集群
步骤2：完成集群配置 集群配置包括集群名称、网络类型、参数模板和数据库表名大小写等配置。完成集群配置后，单击 下一步：确认订单。选择自动生成或自定义 集群名称。如果选择自动生成 集群名称，集群创建成功后系统将自动生成一个集群...
如何对JSON类型进行高效分析
本文介绍了PolarDB IMCI为应对海量结构化与半结构化数据分析场景，通过整合列式JSON、虚拟列、秒级加减列、表列数扩展及列存索引等系列功能而构建出的扩展流计算方案，以及该方案的应用案例。背景 随着应用场景多样化与快速迭代，业务系统...
HTAP中的行列混存查询优化
查询优化的作用及基本原理 在数据库处理查询语句的过程中，优化器接收用户输入的查询语句并进行一系列的等价变换后，通过查询中的基数与代价估计，从等价的执行计划中选取最优计划执行。由于在执行查询时使用的执行计划好坏对性能的影响...
购买包年包月集群
步骤2：完成集群配置 集群配置包括集群名称、网络类型、参数模板和数据库表名大小写等配置。完成集群配置后，单击 下一步：确认订单。选择自动生成或自定义 集群名称。如果选择自动生成 集群名称，集群创建成功后系统将自动生成一个集群...
企业版和标准版功能对比
支持 支持 版本管理 PolarDB 集群架构共三层：数据库代理Proxy、数据库内核引擎DB和数据库分布式存储Store。您可以根据实际情况单独升级Proxy或内核引擎，也可以绑定一起升级。支持 支持 弹性管理 增加或删除节点 创建 PolarDB 集群后，您...
如何基于LSM-tree架构实现一写多读
本文主要阐述如何基于LSM-tree结构的存储引擎实现数据库的一写多读能力。LSM-tree数据库引擎 LSM-Tree全称是Log Structured Merge Tree，是一种分层、有序，面向磁盘设计的数据结构，其核心思想是利用磁盘批量的顺序写要比随机写性能高的...
列存索引（IMCI）发布说明
技术原理 列存索引特性在 PolarDB MySQL版 中的功能架构图如下：从以上架构图可以看到，PolarDB MySQL版 从存储引擎、执行算子、优化器三个层面设计了列存索引的特性：存储引擎：支持实时事务级别一致性的行列混合存储；执行算子：面向列存...
概述
技术原理 列存索引特性在 PolarDB MySQL版 中的功能架构图如下：从以上架构图可以看到，PolarDB MySQL版 从存储引擎、执行算子、优化器三个层面设计了列存索引的特性：存储引擎：支持实时事务级别一致性的行列混合存储；执行算子：面向列存...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A AliPG 阿里云支持一系列兼容PostgreSQL的云数据库服务产品，这些云数据库服务采用统一的数据库内核（简称AliPG），AliPG兼容PostgreSQL开源数据库，于2015年正式商用，支持PostgreSQL主流大版本...
Doris概述
并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠，这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。从以下五个方面介绍Doris技术：在使用接口方面，Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，您...
常见问题
本文介绍 PolarDB MySQL版 的常见问题和解答。基本问题 Q：什么是 PolarDB？A：PolarDB 是一个关系型数据库云服务，目前...后续数据都在缓存池（Buffer Pool）中，并不需要调用I/O，因此性能是一样的。在对比写性能的时候，同样不推荐您使用单...
RDS术语
本文介绍云数据库RDS中的相关名词和术语。A 安全组 安全组是一种虚拟防火墙，用于控制安全组中的ECS实例的出入流量。在RDS白名单中添加安全组后，该安全组中的ECS实例就可以访问RDS实例。更多信息，请参见 设置安全组。按量付费 后付费，即...
- 产品推荐
- 这些文档可能帮助您