X-Engine性价比优势
背景信息 RDS MySQL提供阿里云自研存储引擎X-Engine，相比InnoDB，X-Engine在磁盘空间占用和数据库整体成本上有比较明显的优势，X-Engine使用了层次化的存储结构，并结合ZSTD压缩算法实现了更高的数据压缩率。下文将详细对比X-Engine、...
存储格式
列存表可以提供平均 3~5倍的较高数据压缩率。列存表必须是追加优化表，即要创建一个列存表，必须指定为"appendonly=true。下述语句创建了一个列存表bar。CREATE TABLE bar(a int,b text)WITH(appendonly=true,orientation=column)...
名词解释
COMPACTION 〇 〇 Compaction（数据压缩）是一种数据管理技术，用于优化和减小数据库文件的大小，从而提高数据库性能。不同的存储引擎实现中存在不同的Compaction策略。INDEX 〇 ✖️ Index（索引）是一种数据结构，用于加快数据库中数据的...
功能特性
数据读写 数据压缩 除了HBase支持的Snappy算法，Lindorm还支持多种其他的压缩算法，例如字典压缩、ZSTD等，用户可以根据实际情况选择不同的算法进行压缩。数据压缩 多级存储 支持冷热数据分层存储，从而降低存储成本和提高存储效率。用户...
按扫描量付费
压缩数据：对原始数据进行压缩来减少数据量，建议压缩格式为Parquet或者Orc格式，然后使用DLA扫描压缩过的数据，从而节省扫描费用。数据分区：通过分区的方式，把原始数据存储在不同的分区中，DLA只扫描其中的一个或者几个分区，无需扫描...
通过Lindorm Shell访问宽表引擎
COMPRESSION HBase表的数据压缩方式。无默认压缩算法。可选的压缩算法共以下三种：ZSTD（推荐）SNAPPY LZ4 NUMREGIONS 分片的个数。一般按照每个分片使用6~8 GB的存储量来计算分片数量。如果实例规模较大，分片数量可以按需设置多个。...
数据模型
数据库在存储数据时，会将同一条时间线的数据尽量聚类存储，提升时间线数据访问效率，同时更好的支持时序数据压缩。在时序表中，Tag列的值都相同的一系列数据行构成了一条时间线。时序数据库提供一系列特有的数据访问操作，包括聚合...
应用场景
这些服务都具有高效的数据压缩、列式存储和并行查询等特性，使其在大数据分析场景中表现出色。可以用于用户画像、人群圈选、BI报表和业务分析等一系列的业务场景。实时数据分析场景解决方案 步骤如下：实时摄入：通过直接读取Kafka数据来...
点云压缩
智慧城市：对城市三维重建产生的点云信息进行有效的数据压缩，实现数据流畅的渲染展示。混合现实：为混合现实场景中的点云数据提供实时编码解码能力。注意事项 点云压缩仅支持同步处理（x-oss-process处理方式）。使用点云压缩前，需要先...
跨境SaaS:深圳市易仓科技有限公司
价值5：Smart-SSD+数据冷温热分层，大幅降低存储成本 PolarDB 存储节点引入Smart-SSD，实现在硬件层面对数据进行压缩，数据压缩比可达2.0~3.0。易仓所有PolarDB实例切换Smart-SSD后，不仅存储成本降低35％，而且性能没有出现下降。另外，...
如何设计时序数据表
时序数据表可以为您提高查询和存储性能，本文介绍如何根据时序数据的来源和场景建立时序数据表。时序数据示例 时序数据建模至关重要，需要仔细分析数据...但出于数据压缩和查询计算的角度考虑，应尽量避免使用VARCHAR类型作为字段列的类型。
图扑案例
利用Lindorm自研的数据压缩存储和存储优化能力，海量低价值密度的监控数据存储成本也有大幅度降低。为适应日趋复杂化多样化的终端设备、边缘设备、传感器以及第三方系统数据源采集、上报的异构数据，如图3所示，阿里 云原生多模数据库 ...
点云模型
概述 Ganos PointCloud是云原生关系型数据库PolarDB的一个扩展，使PolarDB能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据类型...
使用说明
PolarDB MySQL版 支持使用X-Engine引擎，其具有较高的数据压缩率，非常适合对计算诉求不高但需要存储一些归档类数据（如钉钉消息等数据）的业务。X-Engine引擎可以与InnoDB引擎共存，对于归档类的数据采用X-Engine引擎进行压缩存储，以节省...
点云模型
概述 Ganos PointCloud是对象关系型数据库PostgreSQL的一个扩展，使PostgreSQL能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据...
点云模型
概述 Ganos PointCloud是云原生关系型数据库PolarDB的一个扩展，使PolarDB能够有效快速存储和管理点云数据，并提供点云数据压缩、解压缩、属性统计等功能，同时联合Ganos Geometry模块提供点云空间分析的能力。点云数据类型 点云数据类型...
从Oracle迁移应用至阿里云PolarDB全流程指南
数据库和应用采集 登录阿里云官方网站，在 ADAM官网 下载 数据库采集器 和 应用采集器，按照 数据库采集 进行Oracle数据库采集，应用采集 进行Oracle应用采集，生成相应的zip格式的数据压缩包，便于后续上传到阿里云ADAM官网进行分析使用。...
8.0.1和8.0.2版功能对比
不支持 支持 数据压缩/归档/加密 表级压缩 对于指定的表，支持显著优于MySQL官方的压缩能力，通过压缩降低数据的存储成本。支持 支持 L2PC Bufferpool 二级缓存。不支持 支持 XEngine高压缩引擎 提供了超大存储容量，可以同时作为多...
版本发布记录
2024年01月 功能名称 描述 相关文档 社区兼容版22.8 优化 从MaxCompute外表导入数据时，增加支持独享Tunnel和在网络传输过程中进行数据压缩功能。默认打开text_log日志，记录日志等级为Warning、Error和Fatal的日志，可通过system.text_log...
Tunnel命令常见问题
使用Tunnel Upload命令上传数据时，是按照数据压缩前还是压缩后的大小计费？使用Tunnel Upload命令上传数据时，是否支持限速？使用Tunnel Upload命令上传数据时，速度太慢，如何解决？使用Tunnel Upload命令上传数据时，设置了经典网络的...
HDFS数据源
支持ORCFile数据压缩，目前支持 SNAPPY 和 ZLIB 两种压缩方式。支持SequenceFile数据压缩，目前支持 lZO 压缩方式。多个File可以支持并发读取。CSV类型支持压缩格式有gzip、bz2、zip、lzo、lzo_deflate和snappy。目前插件中Hive版本为1.1.1...
2020年
ST_AsPNG 2020年12月 栅格数据 新增栅格数据类型JPEG2000压缩算法，支持16bit栅格数据压缩存储。无 2020年12月 优化 st_dwithin 优化st_dwithin距离查询，提升查询性能。无 2020年12月 缺陷修复 修复轨迹数据类型时间相交错误问题。2020年...
X-Engine简介
X-Engine是阿里云数据库产品事业部自研的联机...X-Engine作为存储引擎，核心的价值还在于性价比，持续提升性能降低成本，是一个长期的根本目标，X-Engine还在Compaction调度、缓存管理与优化、数据压缩、事务处理等方向上进行深层次的探索。
ASMCompressor CRD说明
这种策略通常用于特定数据模式的压缩，其中压缩字典事先已知或预定义。DEFAULT_STRATEGY BrotliCompressor压缩配置 字段 类型 是否必选 说明 默认值 window_bits int 否 窗口位大小，取值为[10,24]。取值越大，压缩效果越好，但内存消耗越...
2020年
ST_AsPNG 栅格数据 新增栅格数据类型JPEG2000压缩算法，支持16bit栅格数据压缩存储。无 优化 st_dwithin 优化st_dwithin距离查询，提升查询性能。无 缺陷修复 修复轨迹数据类型时间相交错误问题。修复Ganos内存拓扑索引的缺陷。API 类别 ...
创建OSS外部表
CSV 以GZIP方式压缩的CSV TSV 以GZIP方式压缩的TSV 示例：通过内置文本数据解析器创建OSS外部表-非分区表 示例：通过内置文本数据解析器创建OSS外部表-分区表 示例：通过内置文本数据解析器创建OSS外部表-压缩数据 通过内置开源数据解析器...
使用float2类型压缩存储向量
本节将通过具体示例，为您介绍半浮点数压缩数据列的定义和相关的操作。当前向量检索系统中，会将图片、声音、文本转化成高维浮点数数组进行存储，将占用大量的存储空间。为降低存储成本，压缩存储空间，为您提供了float2压缩存储模式。...
压缩数据从OSS迁移至MaxCompute
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
Query Profile介绍
LocalDiskReadBytes 所有Connector Scan执行节点从本地缓存读取的压缩数据大小之和。该指标仅适用于存算分离实例。RemoteReadBytes 所有Connector Scan执行节点从OSS对象存储读取的压缩数据大小之和。该指标仅适用于存算分离实例。...
自定义函数（邀测中）
AnalyticDB for MySQL 将数据使用GZIP格式压缩后传输至函数计算服务，但在函数计算服务创建的自定义函数中没有编写解压缩代码，导致函数计算服务无法解析数据。AnalyticDB for MySQL 未开启压缩，将数据直接传输至函数计算服务，函数计算...
控制台发布记录
2024-3-7 开启冷数据归档 数据与缓存一站式 PolarDB MySQL版 支持数据与缓存一站式功能，在保证数据强一致性的同时，面向在线业务场景构建一套完整的数据库+缓存的解决方案。2024-3-12 灰度发布中 PolarDB MySQL推出数据与缓存一站式功能 ...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级网格分解成高层级...
时空数据库版本发布记录
本文介绍PolarDB PostgreSQL版（兼容Oracle）时空数据库（Ganos）的版本更新说明。6.X 6.3 类别 说明 新增特性 Trajectory SQL 新增 ST_InsertAttr 函数，支持为轨迹增加新的属性。GeomGrid SQL 新增 ST_Degeneralize 函数，支持将低层级...
专业术语
本文档主要介绍了时序数据库 InfluxDB®版的常见术语。aggregation（聚合）InfluxQL函数，能够返回一组数据点的聚合结果。想要获得现有的和即将支持的聚合函数的完整列表，请查看文档 InfluxQL函数。相关术语：function，selector，...
数据压缩
接收压缩数据 日志服务的PullLogs接口可返回lz4压缩格式数据。使用方法：通过在请求头中设置 Accept-Encoding:lz4，服务端将会返回lz4压缩数据。返回的请求头中 x-log-bodyrawsize 标识了请求体的压缩前的原始大小，可作为解压参数使用。...
使用OSS外表高速导出数据到OSS
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
读取OSS数据
recordid|patientid|direction|+-+-+-+|2|13|NE|3|48|NE|9|4|NE|+-+-+-+示例：读取OSS压缩数据（内置文本数据解析器）基于 示例：通过内置文本数据解析器创建OSS外部表-压缩数据 中创建的OSS外部表mc_oss_csv_external3读取OSS数据。...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
创建三维城市场景项目
说明 调整城市基底子组件的算法参数，可以帮助您调整城市基底各个要素的几何造型结构、生成点位数量和压缩数据量等，帮助解决要素之间重叠遮挡等问题。单击 选择范围 对话框右下角的 确定 即可完成三维城市构建器项目的创建，并进入项目...
GIN和GiST索引类型
一个 GiST 索引是 有损的，这表示索引可能产生假匹配，并且有必要检查真实的表行来消除这种假匹配（本数据库中在需要时会自动做这一步）。GiST 索引之所以是有损的，是因为每一个文档在索引中被表示为一个定长的签名。以字节为单位的签名...
- 产品推荐
- 这些文档可能帮助您