列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
PolarDB HTAP实时数据分析技术解密
但在行列混合存储架构中，行存索引和列存索引在处理随机更新时存在性能鸿沟，必须借助DRAM的低读写延时来弥补列式存储更新效率低的问题。因此在低延时在线事务处理和高性能实时数据分析两大前提下，行列混合存储结合内存计算是唯一方案。...
分流方案概述
如果您的业务中既包含OLTP类业务又包含OLAP类业务，则为了实现业务的最大性能，您可以基于列存索引特性，通过数据库代理的集群地址功能，实现OLAP查询引流到列存节点、OLTP查询引流到行存节点。背景信息 PolarDB MySQL版 支持两种只读节点...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
SHOW COLUMNAR STATUS
答：用户无需关心ID列，它只是对应每一个列存索引的唯一标识，具有全局唯一性，用于列存内核区分列存索引，解决列存索引名称相同，删除列存索引再建相同列存索引等问题，列存索引删除再建时尽管名称相同，唯一标识ID会不同。列存索引的ROWS...
列式JSONB
为了提升JSONB数据的查询效率，Hologres从 V1.3版本开始支持对于JSONB类型开启列式存储优化，能够降低JSONB数据的存储大小并加速查询。本文将会为您介绍Hologres中列式JSONB的使用。列式JSONB原理介绍 如下图所示开启JSONB列式存储优化后，...
资源规划及规格选型
MaxCompute资源包含存储资源和计算资源（CU）两种，存储资源用于存储表或资源（Resource），计算资源用于运行作业。为实现以最低的费用，满足业务对存储资源、计算资源的需求，企业必须要根据自身情况合理规划资源。本文为您介绍如何规划...
产品简介
产品介绍 蚂蚁链存证合约服务，是基于区块链技术下存证场景的解决方案，提供标准灵活的存证合约模板，支持结构化存证、文本存证等功能，实现 更规范、更高效、高通用性、高性能、高安全 的存证合约服务，在更规范更便捷的管理和保护存证...
安装硬件
选择 存储>磁盘/VJBOD，逐个切换硬盘，检查每块硬盘的状态。如下图所示，磁盘信息显示 良好 则表示硬盘正常工作。选择 存储空间>存储/快照，查看存储池和卷的状态。默认存储池状态显示 未开锁 且卷为 已锁定 状态，选择 管理 中 解锁SED...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
计费规则
可观测链路 OpenTelemetry 版 对链路上报和存储、指标存储进行按量付费。本文介绍按量计费模式的计费项和付费方式。重要 本文所涉及价格请以 产品定价页 为准。基本概念 请求链路（Trace）：一个请求链路代表一个事务或者流程在（分布式）...
计费规则
可观测链路 OpenTelemetry 版 对链路上报和存储、指标存储进行按量付费。本文介绍按量计费模式的计费项和付费方式。重要 本文所涉及价格请以 产品定价页 为准。基本概念 请求链路（Trace）：一个请求链路代表一个事务或者流程在（分布式）...
文件存储NAS
阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...
安装硬件
如果发现硬盘或存储池异常，请及时联系阿里云工作人员。在命令行执行 df-h 查看存储池。mnt/cube 目录为闪电立方存储目录，请将数据保存在此目录下。步骤四：检查共享文件夹 在使用闪电立方II设备前，请查看共享文件夹。在命令行执行 ...
玄武分析型存储
行列混合存储 玄武存储引擎支持行列混存和行存的存储格式，其中行列混存是一种以列存为基础兼顾行存的模式，类似于Hadoop中的ORC/Parquet格式。不同的是玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能，而且结合其行对齐的能力，...
更改列存表的数据存储格式
从Hologres V0.10版本开始，Hologres创建的列存表数据存储格式升级为AliORC，该存储格式能够进一步压缩数据存储大小，降低存储成本。本文将会为您介绍在Hologres中如何更改列存表的数据存储格式。使用限制 在Hologres中更改列存表的数据...
如何统计冷存数据
场景描述 表、索引转存至冷存过程中会进行压缩，所以存储在冷存中的数据相比在云盘上的存储空间也会减少，其统计的规则也会发生变化，PolarDB PostgreSQL版 提供了冷存数据存储空间统计函数，用户可以通过统计函数了解数据的使用情况。...
添加列存只读实例
本文将介绍如何为主实例添加列存只读实例。背景信息 PolarDB-X 列存索引采用了读写分离的组件设计，Columnar节点负责列存的写入，而CN节点负责列存的读取。列存只读实例，特指列存的访问，通过扩展不同的CN节点，来满足列存查询链路的物理...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
产品优势
对象存储OSS是阿里云提供的海量、安全、低成本、高持久性的云存储服务。本文将OSS与传统的自建存储进行对比，让您更好地了解OSS。下表列举了与自建存储相比，OSS在易用性、持久性、数据安全等方面的优势。对比项 对象存储OSS 自建服务器...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
如何提高冷存数据的读写性能
场景描述 由于OSS延迟较高，冷存中的数据读写性能会下降，PolarDB PostgreSQL版 在开启冷数据分层存储功能时，默认会在云盘上开辟很小量的物化缓存空间，用于存储冷存元数据及一些IO合并。如果要追求冷存数据读写更高的性能，可根据数据量...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
产品介绍
基本信息 微型闪电立方是闪电立方系列中最小型的设备，其基本信息如下：基本参数 尺寸 重量 存储空间 CPU/内存 深度：247 mm 宽度：180 mm 高度：59 mm 2.5 KG 10 TB 20 TB 4核 8 GB 设备优点 体积小巧便携，可选配的存储空间使其可应用于...
数据分层存储
标准存储即全SSD热存储，是Hologres的默认存储，满足低延时、高性能访问数据需求，对于大多数使用场景而言，标准存储是最有效且最具成本效益的选择，文中简称为热存。低频访问存储即全HDD冷存，满足低频访问数据的低成本存储需求，适用于对...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
使用SDK
创建投递任务后，表格存储数据表中的数据会自动投递到OSS Bucket中存储。注意事项 目前支持使用数据湖投递功能的地域有华东1（杭州）、华东2（上海）、华北2（北京）和华北3（张家口）。数据湖投递不支持同步删除操作，表格存储中的删除...
存储压缩
在存储层，AnalyticDB PostgreSQL版本支持行存、Append-only行存和Append-only列存三种存储格式。其中，列存表支持在建表时指定压缩算法、对数据进行压缩。存储压缩可以有效帮助用户减少存储成本和I/O资源的消耗。使用方法 在创建Append-...
表存储格式定义
云原生数据仓库AnalyticDB PostgreSQL版 支持行存和列存两种存储模式。您可以根据使用场景，在建表时选行存表（适合数据更新较频繁或采用INSERT方式的实时写入的场景）或列存表（适合少量列的数据查询、聚集等数据仓库应用场景）。行存表 ...
函数存储选型
为了满足业务存储和访问文件的诉求，函数计算 提供丰富的存储类型，包括文件存储NAS、对象存储OSS、临时硬盘和层。本文介绍 函数计算 支持的存储类型的适用场景及差异，供您进行技术选型。选型分析 对比项 文件存储NAS 对象存储OSS 临时...
函数存储选型
为了满足业务存储和访问文件的诉求，函数计算 提供丰富的存储类型，包括文件存储NAS、对象存储OSS、临时硬盘和层。本文介绍 函数计算 支持的存储类型的适用场景及差异，供您进行技术选型。选型分析 对比项 文件存储NAS 对象存储OSS 临时...
企业级状态后端存储配置
本文为您介绍在使用企业级状态后端存储GeminiStateBackend时，可能会用到的一些调优参数。背景信息 在大部分场景下，基于自适应调参功能，GeminiStateBackend会自动调整参数而不需要您手动配置。您只需要根据业务场景，调整一些基本配置，...
概述
使用列存索引（IMCI）查询复杂的SQL语句时，需要列存索引覆盖SQL语句中使用到的所有列。PolarDB MySQL版 内置了一系列存储过程，您可以使用这些存储过程获取SQL语句中未被索引覆盖的列名，同时可以获取创建列存索引的DDL语句。本文介绍了 ...
成本
AnalyticDB PostgreSQL版 采用计算节点本地存储的模式，支持行式存储和列式存储，支持非易失存储、固态硬盘、机械硬盘等多种存储介质，支持单节点最大10TB存储空间。在此基础之上，AnalyticDB PostgreSQL版 进一步提供了存储压缩能力、OSS...
如何将冷存数据进行预热
场景描述 冷存中的数据首次查询时延迟会比较高，可以提前预热将其加载到持久化缓存（分层存储中的云盘层），可以起到查询加速的效果。PolarDB PostgreSQL版 提供了 polar_osfs_prewarm 函数，支持将冷存数据进行预热。创建扩展 CREATE ...
- 产品推荐
- 这些文档可能帮助您