列存索引技术架构介绍
在SQL执行器层，重写了一套面向列存的执行器引擎框架（Column-oriented），该执行器框架充分利用列式存储的优势，如以4096行的一个Batch为单位访问存储层的数据，使用SIMD指令提升CPU单核心处理数据的吞吐，所有关键算子均支持并行执行。...
PolarDB HTAP实时数据分析技术解密
支持BATCH并行的算子 IMCI执行器引擎使用经典的火山模型，同时借用了列存存储以及向量执行来提升执行性能。火山模型中，SQL生成的语法树所对应的关系代数中，每一种操作会抽象为一个Operator，执行引擎会将整个SQL构建为一个Operator 树。...
概述
本文介绍了 PolarDB MySQL版 内置的存储过程以及如何使用存储过程辅助创建列存索引。简介 PolarDB MySQL版 内置的存储过程如下：检查SQL语句中是否存在未被索引覆盖的列的存储过程：dbms_imci.check_columnar_index()。获取创建列存索引的...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
概述
为了满足这方面的需求，PolarDB PostgreSQL版 除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，既不影响查询...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
概述
为了满足这方面的需求，PolarDB PostgreSQL版（兼容Oracle）除了支持低频访问的数据对象冷存处理外，还支持两种冷热分层存储场景：通过分区表将部分已过期的子表转入冷存，部分热访问的子表依旧保留在数据库云盘中，实现数据冷热分层存储，...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
宽表模型介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。按量模式：计费项包括读吞吐量、写吞吐量、数据存储量和外网下行流量。常见问题 表格存储和传统关系型数据库（例如...
通过PrestoDB使用Tablestore
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用计算引擎访问表格存储时会消耗计算资源。存储元数据的表占用的数据存储量与创建实例时的存储规格相关。按量模式：...
概述
技术原理 列存索引特性在 PolarDB MySQL版 中的功能架构图如下：从以上架构图可以看到，PolarDB MySQL版 从存储引擎、执行算子、优化器三个层面设计了列存索引的特性：存储引擎：支持实时事务级别一致性的行列混合存储；执行算子：面向列存...
通过控制台投递数据到OSS
通过表格存储控制台创建投递任务，将表格存储数据表中的数据投递到OSS Bucket中存储。前提条件 已开通OSS服务且在表格存储实例所在地域创建Bucket，详情请参见 开通OSS服务。说明 数据湖投递支持投递到和表格存储相同地域的任意OSS Bucket...
玄武分析型存储
行列混合存储 玄武存储引擎支持行列混存和行存的存储格式，其中行列混存是一种以列存为基础兼顾行存的模式，类似于Hadoop中的ORC/Parquet格式。不同的是玄武的行列混存不仅兼顾分析类的列裁剪和大吞吐扫描性能，而且结合其行对齐的能力，...
概述
为应对数据爆炸式增长的挑战，PolarDB分布式版本基于对象存储设计了一套列存索引（Clustered Columnar Index，CCI）功能，支持将行存数据实时同步到列存存储上，并支持以下功能：在线事务处理和实时数据分析的一体化能力，满足OLTP和OLAP...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
表存储格式：列存、行存、行列共存
Hologres支持三种表存储格式，分别为：行存、列存和行列共存，不同的存储格式适用于不同的查询场景，您需要根据表的使用场景设置表的存储格式，合适的存储格式可以显著提高数据处理和查询速度，同时也可以节省存储空间。设置存储格式语法 ...
存储格式
当您创建一个表时，可以选择表的存储格式为行存表或者列存表。行存表 默认情况下，AnalyticDB PostgreSQL创建的是行存表。行存表使用和 PostgreSQL 相同的堆存储模型（Heap Table），在 OLTP 类型负载下表现最好：这种场景中，数据常由每次...
使用教程（宽表模型）
表格存储 支持作为实时计算Flink的源表和结果表使用，您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入，每条数据...
如何实现一键转冷存
为了解决这类问题，PolarDB PostgreSQL版 提供了一系列一键转冷存的辅助函数。创建扩展 CREATE EXTENSION IF NOT EXISTS polar_osfs_toolkit;函数介绍 polar_alter_relation_to_oss 该函数将对象（非分区表、子分区表、索引）转为OSS存储。...
如何实现一键转冷存
为了解决这类问题，PolarDB PostgreSQL版（兼容Oracle）提供了一系列一键转冷存的辅助函数。创建扩展 CREATE EXTENSION IF NOT EXISTS polar_osfs_toolkit;函数介绍 polar_alter_relation_to_oss 该函数将对象（非分区表、子分区表、索引）...
对接DataV
外网 表格存储实例的服务地址，请根据访问的表格存储实例填写。更多信息，请参见 服务地址。单击 确定。添加的数据源会自动显示在数据源列表中。步骤二：配置表格存储数据源 登录 DataV控制台。根据实际场景创建可视化项目或者直接选择可视...
计量计费项
按量模式的计费项 包括读吞吐量、写吞吐量、数据存储量和外网下行流量四部分。按量模式适用于业务峰谷变化较大，不可预测的场景。如果实际业务中使用了多元索引、二级索引、SQL查询、时序模型、多版本、生命周期管理、通道服务、数据迁移...
多元索引介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用多元索引时，索引数据量占用的存储空间为多元索引存储，通过多元索引查询与分析数据会消耗计算资源。按量模式：...
OSS访问域名使用规则
OSS会为每一个存储空间（Bucket）分配默认的访问域名，本文介绍OSS访问域名的构成规则及使用方式。OSS域名构成规则 针对OSS的网络请求，除了 GetService（ListBuckets）以及 DescribeRegions API以外，其他所有请求的域名都是由带有指定...
创建存储空间
在上传文件（Object）到OSS之前，您需要创建一个用于存储文件的存储空间（Bucket）。存储空间具有各种配置属性，包括访问权限、存储类型等。您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取...
存储空间占用情况
OSS-HDFS服务使用OSS Bucket存储HDFS数据及其辅助数据，这些数据均存储于Bucket中的.dlsdata/路径下，并产生相应的OSS存储容量的计量和计费。OSS-HDFS文件数据块block OSS-HDFS文件的所有数据块block均占用OSS Bucket的存储空间。OSS-HDFS...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
通用型NAS计费
低频存储读流量 1 GiB×0.06元/GiB=0.06元 低频存储写流量 2 GiB×0.06元/GiB=0.12元 存储包+按量计费 假设张先生在华北2（北京）地域购买了500 GiB的存储包，需支付总费用165.195元，计费明细如下：计费项 费用 说明 通用型存储容量（容量...
数据分层存储
标准存储即全SSD热存储，是Hologres的默认存储，满足低延时、高性能访问数据需求，对于大多数使用场景而言，标准存储是最有效且最具成本效益的选择，文中简称为热存。低频访问存储即全HDD冷存，满足低频访问数据的低成本存储需求，适用于对...
什么是表格存储
计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。更多信息，请参见 计量计费项。按量模式 根据业务的实时读写吞吐量、存储空间等资源计费，无需提前规划硬件资源消耗。此模式适用...
创建投递任务
Format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。EventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
常见问题
计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。更多信息，请参见 计量计费项。按量模式 根据业务的实时读写吞吐量、存储空间等资源计费，无需提前规划硬件资源消耗。此模式适用...
方案分析
在加入同步功能后，系统架构如下图所示：元数据 处理系统基本的存储和推送功能外，还需要对元数据进行处理，元数据包括用户信息和用户关系等。下面以用户关系进行介绍。用户账号之间的关注关系具有如下特点：变长链表，长度可达亿级别。...
概述
企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客文章，大约有7％的云上支出浪费在未使用的存储卷和旧快照（存储卷的副本）上。阿里云...
存储空间地域属性
OSS存储空间（Bucket）地域属性分为有地域属性和无地域属性。有地域属性Bucket 有地域属性Bucket适用于OSS通用场景。您在创建Bucket时需选择有地域属性，并指定Bucket所在的具体Region，例如华东1（杭州）。更多信息，请参见 访问域名和...
创建投递任务
format：投递的数据的存储以Parquet列存格式存储，数据湖投递默认使用PLAIN编码方式，PLAIN编码方式支持任意类型数据。eventTimeColumn：事件时间列，用于指定按某一列数据的时间进行分区。如果不设置此参数，则按数据写入表格存储的时间...
宽表模型介绍
宽表（WideColumn）模型是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景，支持数据版本、生命周期、主键列自增、条件更新、过滤器等功能。宽表模型在车联网场景中主要用于车辆元数据的存储与分析。说明 关于宽表模型的更多信息...
功能发布记录
本文介绍了表格存储每次发布涉及的功能变更及对应的文档，帮助您了解 表格存储 的发布动态。2023年 2023年12月 功能名称 功能描述 发布时间 发布地域 相关文档 时序分析存储商业化 使用分析存储（Analytical Store）功能，您可以低成本存储...
计量计费项
预留模式的计费项包括计算能力、数据存储量和外网下行流量三部分。预留模式适用于业务峰值较为平稳、可预测的场景。本文介绍预留模式的计费价格、计费组成、计费项以及计费常见问题。计费价格 具体计费价格，请参见 表格存储价格详情页。...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
- 产品推荐
- 这些文档可能帮助您