IndexFileMeta-文件元信息建立索引
对输入的文件进行数据处理如标签识别、人脸检测、地点检测等，将提取的文件元信息建立索引，支持用户在一个数据集内多样化的数据检索。接口说明 请确保在使用该接口前，已充分了解智能媒体管理产品的收费方式和 价格。文件元信息建立索引...
使用限制
一个普通的PolarDB表（非分区表）占用3个文件（数据文件、visibilitymap文件、fsm文件，使用索引的话，每个索引一个文件）。文件数量达到上限后，继续创建表会提示类似以下错误：could not create file 此时需要删除部分表或者升级集群规格...
API概览
BatchIndexFileMeta 批量文件元信息建立索引 批量索引文件元信息，对输入的文件进行数据处理如标签识别、人脸检测、地点检测等，并将文件元信息索引到数据集内，支持多样化的数据检索。UpdateFileMeta 更新文件元数据 更新数据集内已索引的...
向量计算使用指南
Hologres中的向量计算功能可以应用于相似度搜索、...对于不带过滤条件的向量检索，最极致的状态就是一个Shard上只有一个向量索引文件，这样查询就能直接落在一个Shard上。因此对于不带过滤条件的查询场景通常建表如下。BEGIN;CREATE TABLE ...
召回引擎版介绍
schema.json 索引配置文件。主要记录fields，index,attribute 和summary等信息。引擎通过该文件来加载索引。version.0 version文件。主要记录当前partition中引擎需要加载的segment和最新doc的时间戳。在实时build中，引擎会根据增量...
索引使用率
自治服务提供索引使用率查询功能，用户可以查询表中已经存在的索引的使用率情况，以及索引的碎片率。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航栏中，...
开发运维建议
性能与稳定性 在RDS PostgreSQL中，单个数据库（DB）对应底层文件系统中的一个文件夹，数据库中的表、分区、索引对应文件夹中的文件，如果数据库对应文件夹中的文件数量超过2000万，将可能出现磁盘空间满的报错。建议适当拆分数据库或合并...
倒排索引类型
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
倒排索引类型
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
CreateBinding-创建绑定任务
创建数据集（Dataset）和对象存储（OSS）Bucket的绑定关系，自动同步全量和增量文件并为其索引。接口说明 请确保在使用该接口前，已充分了解 IMM 产品的收费方式和 价格。在创建绑定关系前，请确保已经创建对应的项目和数据集。创建项目 ...
数据索引
数据索引是OSS对外提供的文件（Object）元数据索引能力。您可以利用Object的元数据自定义索引的条件，从而快速获取Object列表。数据索引可以帮助您更好地管理与了解数据结构，方便您后续查询、统计和管理Object。使用场景 基于数据审计或者...
手动备份与恢复
compress 打开快照文件的压缩功能：true：打开压缩功能，仅应用于元数据文件（索引映射和设置）。false（默认值）：不打开压缩功能，数据文件未压缩。chunk_size 当您上传的数据非常大时，配置此参数可以限制快照过程中分块的大小。超过这...
自动备份与恢复
compress 是否打开快照文件的压缩功能：true：打开压缩功能，仅应用于元数据文件（索引映射和设置）。false（默认值）：不打开压缩功能，数据文件未压缩。base_path 快照在OSS中的存储位置。endpoint OSS所处地域的信息。查看 aliyun_auto_...
索引缺失
自治服务帮助用户发现RDS实例中缺失的索引信息，导出创建缺失索引的脚本文件，然后在业务低峰期自行创建这些缺失的索引，以解决前面提到的性能问题。前提条件 实例不能是RDS SQL Server 2008 R2云盘版。操作步骤 访问 RDS实例列表，在上方...
预读和预扩展
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
预读和预扩展
将Buffer Pool中已经构建好的索引页写入文件系统中。使用指南 堆表预读 堆表预读的参数名为 polar_bulk_read_size，功能默认开启，默认大小为128 KB。说明 不建议用户自行修改该参数，128 KB是贴合PFS的最优值，自行调整并不会带来性能的...
导入OSS数据
高级配置 使用OSS元数据索引 当OSS文件数量超过百万时，强烈建议开启，否则发现新文件的效率很低。采用OSS元数据索引后，可以在秒级内发现OSS Bucket中的新文件，实现近实时导入Bucket中新写入文件的数据。在使用OSS元数据索引前，需先在...
索引表配置
索引表配置介绍 索引表配置是向量检索版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
索引表配置
索引表配置介绍 索引表配置是召回引擎版中最重要的一个配置，它描述了原始文档的数据格式，并基于这些数据如何构建索引。这些索引包括倒排索引、正排索引、摘要索引。 索引表配置 配置概览 {"table_name":"sample","fields":[],...
OpenMetaQuery
元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量文件建立元数据索引。注意事项 权限说明 阿里云账号默认拥有开启元数据管理功能的权限。如果您希望通过RAM用户开启元数据管理功能，需确保RAM用户...
CREATE INDEX
开通列存索引将收取文件引擎和计算引擎费用。如何开通，请参见 前提条件。列存索引的索引键必须包含所有主键列。Lindorm实例对列存索引的构建任务数无限制。索引键表达式（index_key_expression）您可以将一个列或多个列定义为索引键，由多...
新旧版本使用指引
IndexVideo-对视频进行自动截帧、分组、识别操作 BatchIndexFileMeta-批量文件元信息建立索引 无 GetFileMeta-获取文件元数据 GetImage-从媒体集中获取一张图片的信息 新版支持获取数据集中所有类型的文件信息。GetVideo-获取一个视频的...
TargetSubtitle
false Stream array 需要处理的源文件字幕流索引号列表。空值（默认）表示处理索引号最小的字幕流（第一路字幕流），索引号大于 100 表示处理所有字幕流。示例：[0,1]处理索引号为 0 和 1 的字幕流；[1]处理索引号为 1 的字幕流；[101]处理...
对象存储OSS
HA文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=http://www.aliyun.com/index.html^_title=...
对象存储OSS
HA文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=http://www.aliyun.com/index.html^_title=...
数据索引
元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量文件建立元数据索引。coding:utf-8-*-import oss2 from oss2.credentials import EnvironmentVariableCredentialsProvider#从环境变量中获取访问凭证...
OSS+API 数据源
即可在查询测试页面进行查询测试：文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=...
多元索引
为数据表创建多元索引后，您可以通过Tablestore CLI查看多元索引列表、查看多元索引信息、使用多元索引查询数据以及删除多元索引。创建多元索引 创建一个多元索引。命令格式 create_search_index-n search_index_name 配置项说明请参见下表...
TargetAudio
false Stream array 需要处理的源文件音频流索引号列表。空值（默认）表示处理索引号最小的音频流（第一路音频流），索引号大于 100 表示处理所有音频流。示例：[0,1]处理索引号为 0 和 1 的音频流；[1]处理索引号为 1 的音频流；[101]处理...
数据索引
元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量文件建立元数据索引。import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import com.aliyun.oss.common.auth.*;import ...
数据索引
元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量文件建立元数据索引。package main import("fmt""github.com/aliyun/aliyun-oss-go-sdk/oss" "os" )func main(){/从环境变量中获取访问凭证。运行本...
EXPLAIN输出
当新建表之后，如果没有进行过vacuum和autovacuum操作，这时还没有VM文件，而索引并没有保存记录的版本信息，索引Index Only Scan还是需要扫描数据块（Heap Fetches代表需要扫描的数据块个数）来获取版本信息，这个时候可能会比Index Scan...
常见问题
表格存储 适用于以下场景：元数据 用户存储海量的文档、媒体文件等数据的同时，对文件元数据的存储和分析不可或缺。此外，电商的订单、银行流水、运营商话费账单也需要存储及分析大量的元数据。表格存储 单表支持PB级存储、千万QPS以及多种...
API概览
ModifyIndexVersion 修改集群索引版本（索引回滚）修改集群索引版本（索引回滚）。ModifyFile 修改文件 修改文件。PublishIndexVersion 发布索引版本 发布索引版本。ModifyIndexPartition 修改索引分区信息 快速扩缩列。GetIndex 获取集群...
高维向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
高维向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
高效向量检索（PASE）
IVFFlat索引自定义中心点文件 此功能为高级功能，需要在服务器上指定路径上传中心点文件，并作为索引参数构建索引。详细参数请参见 IVFFlat索引参数描述。文件格式如下：向量维度|中心点个数|中心点向量集合 示例 3|2|1,1,1,2,2,2 相关文档...
Ha3搜索引擎的审计事件
事件名称 事件含义 BuildIndex 触发索引重建。ChangeResourceGroup 修改资源组。CloneSqlInstance 复制SQL实例。CreateCluster 添加集群。CreateDataSource 创建数据源。CreateFolder 创建目录。CreateIndex 创建索引信息。CreateInstance ...
索引介绍
图 1：索引1 图 2：索引2 有了这两张索引表，即可通过索引表的主键前缀范围查询的方式来精确定位某个MD5或某个SHA1对应的文件名。多元索引 多元索引引擎相对于表引擎，底层增加了倒排索引、多维空间索引等，支持多条件组合查询、模糊查询、...
- 产品推荐
- 这些文档可能帮助您