向量检索版介绍
数据源 用户可通过配置数据源将原始数据通过索引重建（全量）的方式，将索引重建后的索引数据导入到在线系统的表中进行数据检索，数据源和表是一一对应的关系，目前系统支持的数据源有MaxCompute、Saro、API，API是一个空的数据源所有的...
创建索引模板
如果不配置索引滚动策略，索引数据会全量存储在云托管服务Indexing Service中，将会增加云托管费用。取消托管时间 默认为3天，3天后自动退出Indexing Service写入托管服务，减少计费开销。如果您设置的时长超过冷阶段或删除阶段的开始时间...
二级索引
Mutability是指对主表的写入模式进行分类，并以此组织索引数据，针对不同的需求实现最低的索引组织成本。Mutability分类和描述如下表所示。Mutability属性需要在创建表或修改表时通过Table_Options参数进行设置，具体操作，请参见 CREATE ...
名词解释
实例相关 名称 解释 副本数 单张表的全量索引数据冗余的份数（可用于查询）网络信息 包括专有网络（VPC）、公网访问等信息 API入口 SDK操作实例时使用 查询测试 通过控制台对实例表数据进行检索 变更历史 记录用户各种运维操作的历史记录和...
高维向量相似度搜索（pgvector）
测试结果 向量数据、索引数据占用的存储空间以及TPS与数据量之间的测试结果 数据量（单位：万行）table size（单位：MB）index size（单位：MB）Latency（单位：ms）TPS（单位：个）10 796 782 15.7 380 30 2388 2345 63 94 50 3979 3907 ...
多元索引介绍
使用多元索引时，索引数据量占用的存储空间为多元索引存储，通过多元索引查询与分析数据会消耗计算资源。按量模式：多元索引计费项包括读吞吐量、数据存储量和外网下行流量，其中读吞吐量包括预留读吞吐量和按量读吞吐量。更多信息，请参见...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
宽表引擎版本说明
二级索引历史数据索引构建不受冷存储影响。优化HBase原生客户端协议兼容的若干问题，使用开源HBase客户端访问Lindorm的用户建议将宽表引擎升级至此版本以上。2.6.2 发布日期 类型 说明 2023年11月08日 新功能 支持MySQL兼容协议。详细介绍...
配置列映射
type：宽表中需要映射的列的数据类型，配置时区分大小写，包括以下数据类型：INT LONG STRING BOOLEAN FLOAT DOUBLE 说明 确保宽表的数据类型与配置的数据类型一致，否则会影响到索引数据的生成。在宽表引擎中需要您通过调用 Bytes.toBytes...
Echarts 大规模散点图
category：类目轴，适用于离散的类目数据，为该类型时必须在数据面板设置类目数据。time：时间轴，适用于连续的时序数据，与数值轴相比时间轴带有时间的格式化，在刻度计算上也有所不同，例如会根据跨度的范围来决定使用月，星期，日还是...
Echarts 大规模散点图
category：类目轴，适用于离散的类目数据，为该类型时必须在数据面板设置类目数据。time：时间轴，适用于连续的时序数据，与数值轴相比时间轴带有时间的格式化，在刻度计算上也有所不同，例如会根据跨度的范围来决定使用月，星期，日还是...
玄武分析型存储
玄武采用了自适应列级自动索引技术，针对字符串、数字、文本、JSON、向量等列类型都有自动配置的索引数据结构，并且可以做到列级索引任意维度组合检索、多路渐进流式归并，大幅提升了数据过滤性能。目前索引类型主要有：倒排索引、BKD-Tree...
基本概念
主键与索引 当栅格数据被分块为Tile之后，需要定义他们的组织方式从而方便创建数据索引。Tile在Lindorm（HBase）中以Key-Value（键值对）的形成进行存储。每个Tile的Key是由图层名、层级、时间（SpaceTimeKey）、行号、列号等属性构成。...
多元索引虚拟列
多元索引数据类型和数据表数据类型映射请参见 数据类型映射。Keyword MEDIUMTEXT Text MEDIUMTEXT Long BIGINT Double Double 创建方法 要在SQL查询中使用多元索引虚拟列，则必须创建多元索引映射关系。关于创建多元索引映射关系的具体操作...
2023年
融合查询功能增强，支持半结构化数据索引加速，支持通过向量检索和全文检索进行双路召回。向量数据库概述 优化器 ORCA优化器支持Dynamic Join Filter。优化器支持in-list转换Semi Join功能。Dynamic Join Filter 实时物化视图 支持AOCS表...
常见问题
多元化数据索引 除了支持主键查询，表格存储 还支持二级索引和多元索引的索引方式，提供强大的数据查询能力。二级索引：相当于给数据表提供了另外一种排序方式，即对查询条件预先设计了一种数据分布，可加快数据查询的效率。多元索引：基于...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
保留字段
索引设置：开启索引后，日志服务默认为_source_创建索引，索引数据类型为text类型，分词字符为空。查询时输入 source:127.0.0.1 或者_source_:127.0.0.1。统计设置：当您为任何一列开启统计后，日志服务默认为_source_开启统计。日志来源...
方案实现
步骤二：创建数据表索引 Tablestore会自动进行全量、增量的索引数据同步。您可以通过以下两种方式创建和管理多元索引：通过控制台创建和管理多元索引，具体参见 通过控制台使用多元索引。通过SDK创建和管理多元索引。步骤三：导入数据 控制...
基于Indexing Service实现数据流管理
在独立索引的云端写入托管过程中，索引数据会全量存储在云托管服务Indexing Service中，将会增加云托管费用。请根据业务使用场景（如索引是否仍有数据写入）评估是否需要手动关闭该索引的写入托管。说明 由于数据流nginx-log配置了索引滚动...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为 PolarDB MySQL版。数据库实例内存需要大于等于8 GB。数据库实例需要开启performance_schema，开启方法请参见 ...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为：RDS MySQL MyBase MySQL 说明 不支持 RDS MySQL 基础系列。不支持 RDS MySQL 5.5。数据库实例内存需要大于...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 数据库实例为：RDS MySQL 说明 不支持 RDS MySQL 基础系列。不支持 RDS MySQL 5.5。MyBase MySQL PolarDB MySQL版 数据库...
使用须知
在大数据量下，原始数据和索引数据放在一起会加剧region分裂，且分裂后索引数据的本地性也会丧失。因此，在阿里云HBase SQL服务中 LOCAL INDEX功能已经被禁止。索引表最多可以创建多少个？索引会保证实时同步，也会引来写放大问题，一般...
概述
PolarDB-X 实例创建，系统会默认提供列存写的组件（Columnar节点，长期运行并同步列存索引），您只需通过DDL语法创建列存索引后，列存索引数据就会自动构建并保持实时更新。业务可以通过主实例、或者购买新的只读实例（CN节点），就可以...
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
召回引擎版介绍
Searcher（数据节点）Searcher加载用户的索引数据并根据查询检索文档、对文档进行过滤、统计、排序等操作。Searcher上的索引是可以分片的，分片的含义是对分片字段哈希到[0,65535]之间，将这个区间分成指定的片数（构建索引时指定）。...
数据导入性能优化
在 监控信息>表信息统计 页签，查看表数据量、索引数据量和主键索引数据量。当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法...
列存索引
对宽表所有字段创建列存索引，将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)PARTITION BY ENUMERABLE(ifnull(substring(from_unixtime(ts),0,10),'unknown')AS dt,bucket(128,id))WITH...
SHOW INDEX
INDEX_PROGRESS 索引数据构建的情况。不同索引种类的展示方法如下：二级索引：以百分比显示索引构建进度。搜索索引：不支持显示构建进度。固定显示 N/A。 说明 搜索索引的构建进度查看方法：在LTS页面左侧导航栏选择 Lindorm Search>全量...
按使用功能计费模式计费项
上传时的压缩率为20%，两个目标字段的索引数据量为0.5 GB，则日志存储空间为0.2 GB+0.5 GB=0.7 GB。按量付费：存储空间-日志热存储费用=日累计存储量（GB）×每GB单价 资源包：新版资源包（预付计划2.0）：换算成资源额度（CU）进行抵扣。...
索引管理
说明 在独立索引的云端写入托管过程中，索引数据全量存储在云托管服务Indexing Service中，将会增加云托管费用。请根据业务使用场景（如索引是否仍有数据写入）评估是否需要手动关闭该索引的写入托管功能。手动关闭某一索引的云端写入托管...
名词解释
数据节点（Searcher）在线检索系统中的一个角色，加载索引数据，提供检索服务。集群 一组查询节点和数据节点的组成的一个检索服务。Processor 离线索引构建中的一个角色，解析用户的原始数据。Builder 离线索引构建中的一个角色，将原始...
性能洞察（新版）
此外，还支持统计无流量表和无流量索引数据，帮助您判断和清理这些数据，以提高存储利用率和数据库性能。前提条件 实例为RDS MySQL。说明 不支持RDS MySQL基础系列。不支持RDS MySQL 5.5。数据库实例内存需要大于等于8 GB。数据库实例需要...
查询多元索引描述信息
print(index_meta)#打印多元索引数据同步状态。print(sync_stat)相关文档 如果已有多元索引不满足使用需求，您可以创建新的多元索引或者通过修改多元索引的Schema来增删改多元索引字段。具体操作，请参见 创建多元索引 和 动态修改schema。
索引表在线服务配置
need_read_remote_index：存储计算分离功能开关，默认是false，开启存算分离功能后，数据节点可以直接读取分布式存储中的索引数据，节省数据节点启动时间，提高节点数据容量，节省成本，但是对查询性能有影响。need_deploy_index：是否需要...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。indexSort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
索引表在线服务配置
need_read_remote_index：存储计算分离功能开关，默认是false，开启存算分离功能后，数据节点可以直接读取分布式存储中的索引数据，节省数据节点启动时间，提高节点数据容量，节省成本，但是对查询性能有影响。need_deploy_index：是否需要...
HBase SQL（Phoenix）FAQ
创建同步索引表，同步索引数据的速度怎么样？一般情况下1000W数据创建索引需要5~20min,具体情况视集群配置和资源使用情况而定。创建索引由于时间太长，客户端断开了链接怎么办？一般情况下当前索引表的状态是building状态的（可以在sqlline...
全局二级索引（GSI）
局部索引单个分区的数据由分区表单个分区的数据构建而成，且局部索引的分区与分区表的分区一一对应，所以，局部索引的索引数据只能保证在单个分区内有序，如果您想创建局部唯一索引，则索引字段必须包含全部的分区键。当分区表上只存在局部...
- 产品推荐
- 这些文档可能帮助您