宽表模型设计
数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata，表结构请参见下表。说明 关于表设计的更多信息，请参见 表设计。字段名称 类型 描述 vin_id（主键列）String 车辆识别代码，即车架号，用于唯一标识车辆。v_color String ...
玄武分析型存储
玄武采用了自适应列级自动索引技术，针对字符串、数字、文本、JSON、向量等列类型都有自动配置的索引数据结构，并且可以做到列级索引任意维度组合检索、多路渐进流式归并，大幅提升了数据过滤性能。目前索引类型主要有：倒排索引、BKD-Tree...
通过OpenStore智能混合存储实现海量数据存储
背景信息 在日志全观测场景下，通常因为业务场景或监管需求，需要长时间存储数据或归档审计。在使用开源Elasticsearch的过程中，需要进行集群冷热数据分离，将30天或者更长时间的数据通过集群快照的方式存储在其他存储介质上。该方式虽然...
概述
列式存储 Kudu是一种列数据储存结构，同一列的数据被存储在底层存储的相邻位置。表（Table）数据存储在Kudu的位置。Table有Schema和全局有序的Primary Key属性，且可以划分为多个Tablet。分片（Tablet）一个表可以被分到若干个分片中，称为...
全文检索
倒排索引是一种存放了数据和位置关系的数据结构，在数据系统中通常被用于处理大量文本的检索问题。本文通过以下示例，展示倒排索引如何提升文本的检索性能。现有一张数据表 Document，存放了一系列的文本 Text，同时每条文本都有一个对应的...
端到端图搜解决方案（图片向量化）
配置实例 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的空集群，之后需要为该集群配置 数据源->索引结构->索引重建，之后才可正常搜索，点击操作栏下的“配置”按钮...
东软案例
目前，东软在物联网、互联网等新场景下面临的IT系统运维主要问题与挑战有：多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本...
使用SQL查询数据时如何选择查询方式
背景信息 表格存储作为结构化大数据存储，支持不同的索引结构，便于在不同场景的查询分析加速使用。索引结构包括通过数据表主键进行的单行读（GetRow）和范围读（GetRange）、自定义配置主键的二级索引表以及支持倒排索引和多维空间索引的...
如何实现一键转冷存
参数 参数名称 描述 relname 对象（表\索引）名称 说明 如果是非分区表或子分区表，则会将表本身的数据转为OSS存储，索引数据存储位置不变。如果是分区表，请使用 polar_alter_partitioned_to_oss。如果是索引，则会将该索引本身的数据转为...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
数据存储目录结构说明
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
二级索引简介
使用本地二级索引时，表格存储以同步方式将数据表中被索引的列和主键列的数据自动同步到索引表中，当数据写入数据表后，即可从索引表中查询到数据。覆盖索引 支持索引表中带有属性列。在创建数据表时预先定义一些列（称为预定义列）后，您...
二级索引计量计费
索引表数据存储量 索引表数据存储量与数据表无区别。索引表的数据量是索引表中所有行的数据量之和，所有行的数据量是所有单行数据的主键和属性列数据量之和。更多信息，请参见 数据存储量。构建索引表的读吞吐量 为数据表创建二级索引时，...
概述
多元索引 存储 多元索引存储的数据量大小。单位为字节。行数 多元索引同步数据表的行数。预留读CU 多元索引的预留CU个数。报警规则说明 通过云监控控制台，您可以为不同监控指标设置报警规则。当资源的监控指标达到报警条件时，云监控会...
X-Engine最佳实践
X-Engine通过将最新写入的数据缓存在内存中并通过高效数据结构进行索引，可以实现极高的性能，而较少访问的历史数据则保存在磁盘，提供稍逊的读写性能。库表数据量特别大。传统InnoDB引擎迁移到X-Engine后，依据数据特征不同，存储空间可...
索引选择策略
表格存储作为海量结构化大数据存储，支持不同的索引结构，便于不同场景的查询分析加速使用。使用SQL查询功能时，您可以通过显式访问二级索引表进行索引查询。对于多元索引，表格存储提供了自动多元索引选择策略和显式访问多元索引两种方式...
Btree-GIST
这意味着开发者不仅能够为常规数据类型比如整数和字符串创建索引，还可以为地理空间数据、全文搜索、数组和其他更复杂的数据结构创建索引。Btree-GIST便是基于此特性扩展而来。支持多种查询：GIST索引可以支持不同的查询操作，包括等于、不...
环境准备
表格存储通道服务（Tunnel Service）是基于表格存储数据接口上的全增量一体化服务。通道服务提供了增量、全量、增量加全量三种类型的分布式数据实时消费通道。通过为数据表建立数据通道，您可以通过流式计算的方式对表中历史存量和新增数据...
Kibana FAQ
可能原因 解决方法 存在多个Kibana系统索引或者数据结构发生了变化 删除.kibana 开头的相关索引，并通过控制台重启Kibana节点，或者重启Elasticsearch实例，重启操作请参见 重启实例或节点。警告 删除.kibana 索引后，会丢失Kibana中已创建...
概述
表格存储是阿里云自研的多模型结构化数据存储，提供海量结构化数据存储且可以无限水平扩展。同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、...
X-Engine简介
后续发展 作为MySQL的存储引擎，持续地提升MySQL系统的兼容能力是一个重要目标，后续会根据需求的迫切程度逐步加强原本取消的一些功能，例如外键，以及对一些数据结构、索引类型的支持。X-Engine作为存储引擎，核心的价值还在于性价比，...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
表
MaxCompute的表类似于传统关系型数据库中的表，可以存储结构化数据，并且使用SQL进行查询和分析。MaxCompute中不同类型计算任务的操作对象（输入、输出）都是表。您可以 创建表、删除表以及向表中导入数据。说明 DataWorks的数据开发模块...
概述
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...
常见问题
A：相较于传统数据库，云原生数据库PolarDB 支持上百TB级别海量数据存储，提供高可用和高可靠保障、快速弹性升降级、无锁备份等功能，详情请参见 产品优势。Q：PolarDB 是什么时候发布？什么时候开始商用？A：2017年9月发布公测，2018年3月...
概述
表格存储 表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务，具备PB级存储、千万TPS以及毫秒级延迟的服务能力。云存储网关 云存储网关（Cloud Storage Gateway）是一款可以部署在用户...
现代IM系统中的消息系统—实现
} 功能：多维组合、全文检索 全文检索能力是对存储库的消息内容进行模糊查询，因而需要对存储库的数据建立多元索引。具体索引字段需要根据设计需求设计，例如钉钉公开群的检索需要对群ID、消息发送人、消息类型、消息内容以及时间建立索引...
2023年
本文介绍2023年 云原生数据仓库AnalyticDB PostgreSQL版 存储弹性模式的内核功能发布记录。您可以在 云原生数据仓库AnalyticDB PostgreSQL版 控制台将实例升级至最新发布的小版本。升级小版本的具体操作，请参见 版本升级。2023年12月 V6.3...
概述
该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询等一系列流程。Druid工作层（数据索引以及查询）包含以下...
设置列索引的排序键
本文介绍了列存索引数据的排序流程、使用方法以及构建和查询有序列存索引数据的时间对比等内容。简介 列存索引数据是按照行组进行组织，默认包含64K行。每个行组中不同的列会各自打包形成列数据块，列数据块按照行存原始数据的主键次序并行...
索引管理
索引类型 云原生数据仓库AnalyticDB PostgreSQL版 支持如下索引类型：B-Tree索引（默认索引类型）位图索引 说明 位图索引（Bitmap Index）为每一个键值都存储一个位图，位图索引提供了和常规索引相同的功能且减少索引空间。对于拥有100至...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
OpenStore冷热共享/分离引擎介绍
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持根据实际存储数据量按量计费，无须提前预留集群存储容量，真正做到存储Serverless。OpenStore存储支持自定义冷热存储版本与智能混合...
RDS术语
数据结构多样时，可以选择将结构化数据存储在RDS，将非结构化数据存储在MongoDB，满足业务的多样化存储需求。更多信息，请参见 什么是云数据库MongoDB版。慢SQL 执行时间很长的SQL语句。更多信息，请参见 慢日志分析。O OSS Object Storage...
库表
AnalyticDB MySQL 后台以分区为粒度进行数据存储、索引的构建以及查询。每个分区的数据行数过少，可能导致查询时扫描的二级分区数较多，降低扫描性能；如果每个分区的数据行数过多，可能频繁触发该分区的索引构建，所以合理的二级分区对...
DescribeDBClusterSpaceSummary-查看集群的空间概览
查看实例的空间概览信息，包括总数据量、热数据量、冷数据量、数据增长量等。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无...
DescribeDBClusterSpaceSummary-查看集群的空间概览
查看实例的空间概览信息，包括总数据量、热数据量、冷数据量、数据增长量等。接口说明 当前服务的接入地址请参见 ...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
- 产品推荐
- 这些文档可能帮助您