如何实现一键转冷存
polar_alter_relation_to_oss_with_indexes 该函数将对象（非分区表、子分区表）及其建立的索引数据转为OSS存储。语法 void polar_alter_relation_to_oss_with_indexes(text relname);参数 参数名称 描述 relname 表\索引名称 说明 如果...
查询和分析JSON日志
全文索引和字段索引的更多信息、创建索引的详细步骤，请参见 创建索引。说明 如果需要查询日志中的所有字段，建议使用全文索引。如果只需查询部分字段、建议使用字段索引，减少索引流量。如果需要对字段进行分析（SELECT语句），必须创建...
二级索引计量计费
当向数据表写入数据时，在建立索引的过程中将产生一定的读写CU。本文介绍二级索引费用组成及计费方式。计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时...
OpenMetaQuery
建立索引所需时间 开启元数据管理功能时，建立索引所需时间与Bucket内存量文件数量成正比。文件数量越多，建立索引的时间越长。请求语法 POST/?metaQuery&comp=add ...
元数据库和数据字典
NAME：列collation名 COLUMN_TYPE：列类型（包含精度）COLUMN_KEY：列索引信息 EXTRA：列额外信息 PRIVILEGES：列权限信息 COLUMN_COMMENT：列注释 GENERATION_EXPRESSION：生成列 STATISTICS STATISTICS表提供关于数据库索引的信息。...
CREATE INDEX
每一个分区首先会被检查是否有一个等效的索引存在，如果有则该索引将被挂接为被创建索引的一个分区索引，而被创建的索引将成为其父索引。如果不存在匹配的索引，则会创建一个新的索引并且自动进行挂接。如果命令中没有指定索引名称，每个...
全局索引
在创建索引的语法中，通过指定 GLOBAL 关键字来创建全局索引。如果不指定，则默认创建局部索引。全局索引支持 CONCURRENTLY 并发创建。非分区表、带有子分区的子表上不支持创建全局索引。全局索引不支持表达式索引。无法在分区表的分区列上...
为什么索引流量费用是读写流量费用的几倍？
本文主要介绍索引流量和读写...索引数据的大小和日志内容的复杂度与建立索引的字段数量有关。例如原数据10 GB，创建的索引文件为8 GB，原数据压缩后为2 GB，则索引流量为8 GB，读写流量为2 GB。更多信息，请参见 按使用功能计费模式计费项。
预读和预扩展
这种设计可以在创建索引的过程中带来30%的性能提升。说明 当前索引创建预扩展只适配了B-Tree索引。其他索引类型暂不支持。原理介绍 堆表预读 堆表预读的实现步骤主要分为以下四步：在Buffer Pool中申请N个Buffer。通过 palloc 在内存中申请...
通过DTS将PolarDB MySQL数据同步至阿里云Elastic...
说明 阿里云Elasticsearch为了保证用户操作数据的安全性，默认把自动创建索引的配置设置为不允许。通过DTS同步数据，使用的是提交数据的方式创建索引，而不是 Create index API 方式。所以在同步数据前，需要先开启集群的自动创建索引功能...
并行DDL
当数据库硬件资源空闲时，您可以通过并行DDL功能加速DDL执行，避免阻塞后续相关的DML操作，缩短执行DDL操作的窗口期。前提条件 创建二级索引时，PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.1.7及...
二级索引
本文介绍Lindorm Tabular模型下二级索引的基本特性和使用示例。背景信息 对于Lindorm Tabular模型，Lindorm宽表有表结构且表对应的列有类型预定义的。Lindorm原生二级索引功能在阿里云应用多年，经历了多次双11的考验，更加适用于解决海量...
从ECS上的自建MySQL同步至Elasticsearch
忽略报错并继续执行：跳过目标数据库中是否有同名索引的检查项。警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：mapping结构一致的情况下，如果在目标库遇到与源库主键的值相同的记录，在初始化阶段会保留...
DDL多路归并排序
数据库大表中建立索引的DDL操作通常非常耗时，您可以通过DDL多路归并排序功能，缩短建立索引的DDL操作中索引排序的时间。前提条件 PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.2.5及以上。PolarDB ...
从PolarDB MySQL版同步至Elasticsearch
忽略报错并继续执行：跳过目标数据库中是否有同名索引的检查项。警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：mapping结构一致的情况下，如果在目标库遇到与源库主键的值相同的记录，在初始化阶段会保留...
生命周期管理
创建多元索引时指定TTL func createIndexWithTTL(client*tablestore.TableStoreClient){ request:=tablestore.CreateSearchIndexRequest{} request.TableName="TableName"request.IndexName="IndexName"/此处省略其它创建索引的参数，请按...
开源Elasticsearch FAQ
适当提升分片数量可以提升建立索引的速度。分片数过多或过少，都会降低查询速度，具体说明如下：分片数过多会导致需要打开的文件比较多。由于分片是存储在不同机器上的，因此分片数越多，各个节点之间的交互也就越多，导致查询效率降低。分...
通过DTS将MySQL数据实时同步到阿里云Elasticsearch
在RDS MySQL中创建数据库（Database）test_logstash 建表语句-create table CREATE TABLE `es_test`(`id` bigint(32)NOT NULL,`name` varchar(32)NULL,`age` bigint(32)NULL,`hobby` varchar(32)NULL,PRIMARY KEY(`id`))ENGINE=InnoDB ...
高效向量检索（PASE）
值越大查询准确率越高，但创建索引的时间越长，建议采样的数据总量不要超过10万条。k：聚类中心数，值越大查询准确率越高，但创建索引时间越长，建议取值范围为[100,1000]。HNSW算法创建索引 CREATE INDEX hnsw_idx ON table_name USING ...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
高维向量检索（PASE）
PASE（PostgreSQL ANN search extension）是一款为PostgreSQL数据库研发的高性能向量检索索引插件，使用业界中成熟稳定且高效的ANN（Approximate nearest neighbor）检索算法，包括IVFFlat和HNSW算法，通过这两种算法，可以在PG数据库中...
时空查询的性能调优
同时，使用Sharding可以在写入数据时将空间或时空相邻的数据写入到索引表的不同位置，进而写入到数据库物理存储的不同分片中。您可以通过 Z-ORDER 索引函数，为数据类型为点（Point）的列创建时空索引，并指定索引分片（Shard）的数量 ...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
PGVector
返回结果如下：val-[1,2,3][1,1,1][0,0,0](3 rows)说明 val vector_ip_ops 表示需要创建索引的列名为val，并且使用 PolarDB PostgreSQL版 中提供的向量操作符 vector_ip_ops 来计算向量之间的相似度。该操作符支持向量之间的点积、余弦相似...
通过Reindex API迁移自建Elasticsearch数据
本文使用 geonames 作为索引的名称，创建索引时不指定 settings 和 mappings 参数。创建语句如下：curl-XPUT"http://<url>/geonames" -u <username>:<password>参数说明 参数 说明 url 搜索引擎（Elasticsearch兼容版本）的 Elasticsearch...
PGVector
返回结果如下：val-[1,2,3][1,1,1][0,0,0](3 rows)说明 val vector_ip_ops 表示需要创建索引的列名为val，并且使用 PolarDB PostgreSQL版（兼容Oracle）中提供的向量操作符 vector_ip_ops 来计算向量之间的相似度。该操作符支持向量之间的...
PGVector
返回结果如下：val-[1,2,3][1,1,1][0,0,0](3 rows)说明 val vector_ip_ops 表示需要创建索引的列名为val，并且使用 PolarDB PostgreSQL版（兼容Oracle）中提供的向量操作符 vector_ip_ops 来计算向量之间的相似度。该操作符支持向量之间的...
对象存储OSS
HA文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=http://www.aliyun.com/index.html^_title=...
对象存储OSS
HA文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=http://www.aliyun.com/index.html^_title=...
快速开始
Search实例中创建索引 在Search实例的控制台，单击 数据库连接 可以看到 WebUI访问。注意：使用前需要设置好访问白名单和访问密码。config set 可以选择_indexer_default 作为配置集，numShards 设置为节点个数，其它采用默认值即可。建立...
DeleteDataset-删除数据集
即使设置 DeleteBinding 的请求参数 Cleanup 为 true 时仍不会删除手动添加的索引文件，此时仍需使用 DeleteFileMeta、BatchDeleteFileMeta 手动删除索引文件，自动建立与手动建立索引文件的区别可参见 建立元数据索引。调试 您可以在Open...
通过SDK使用二级索引
通过将IncludeBaseData参数设置为true，创建索引表后会开启数据表中存量数据的同步，然后可以通过索引表查询全部数据，同步时间和数据量的大小有一定的关系。request.setIncludeBaseData(true);创建索引表。client.createIndex(request);} ...
RDS MySQL迁移至Elasticsearch
Elasticsearch与关系型数据库的映射关系如下表所示：Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的...
OSS+API 数据源
即可在查询测试页面进行查询测试：文件格式 文件是建立索引的数据源（注意：需要是utf-8的编码），有着固定的格式，下面介绍标准的输入格式。首先看一个完整的数据文件standard_sample.data的内容 CMD=add^_PK=12345321^_url=...
PolarDB-X 1.0同步至Elasticsearch
忽略报错并继续执行：跳过目标数据库中是否有同名索引的检查项。警告 选择为 忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：mapping结构一致的情况下，如果在目标库遇到与源库主键的值相同的记录，在初始化阶段会保留...
常见问题
说明 如果创建索引的过程中出现 no bds cluster has been registered、Lindorm Search cluster address is null 或 please activate it in the Wide Table Engine 错误信息，表示您还未开通搜索索引功能。请先开通搜索索引功能再进行创建...
ALTER INDEX
ALTER INDEX用于变更搜索索引列、修改二级索引和搜索索引的索引状态。如果需要导入或更新大量数据，建议在导入或更新前通过ALTER INDEX禁用索引以保证导入效率，提高更新速度。引擎与版本 ALTER INDEX 语法仅适用于宽表引擎。无版本限制。...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
通过Logstash迁移自建Elasticsearch数据
Logstash是Elasticsearch提供的一个开源数据处理工具，可以收集和处理日志数据，并将处理后的数据导入至目标数据库。如果您想要通过Logstash将自建Elasticsearch集群中的数据迁移至Lindorm搜索引擎，可以参考本文的操作步骤配置脚本和迁移...
通过索引生命周期管理实现冷热数据分离
其中hot阶段主要负责对索引进行滚动更新操作，warm、cold、delete阶段主要负责进一步处理索引数据，详细说明如下。阶段 描述 hot 热数据阶段。主要处理时序数据的实时写入，可根据索引的文档数、大小、时长决定是否调用 rollover API 来...
- 产品推荐
- 这些文档可能帮助您