通过Logstash迁移自建Elasticsearch数据
Logstash是Elasticsearch提供的一个开源数据处理工具，可以收集和处理日志数据，并将处理后的数据导入至目标数据库。如果您想要通过Logstash将自建Elasticsearch集群中的数据迁移至Lindorm搜索引擎，可以参考本文的操作步骤配置脚本和迁移...
通过SDK使用二级索引
通过将IncludeBaseData参数设置为true，创建索引表后会开启数据表中存量数据的同步，然后可以通过索引表查询全部数据，同步时间和数据量的大小有一定的关系。request.setIncludeBaseData(true);创建索引表。client.createIndex(request);} ...
RDS MySQL同步至Elasticsearch
术语及概念对应关系 Elasticsearch 关系型数据库 索引（index）数据库（Database）文档类型（type）表（Table）文档（document）一行数据（Row）字段（field）一列数据（Column）映射（mapping）数据库的组织和结构（Schema）操作步骤 进入...
DDL异步IO
数据库大表中建立索引的DDL操作通常非常耗时，您可以通过DDL异步IO功能，缩短建立索引的DDL操作时间。前提条件 PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订版本为8.0.2.2.6及以上。PolarDB MySQL版 8.0.1版本且...
2021年
同时支持并发构建索引，即在创建索引的过程中不阻塞表上的DML操作。创建GLOBAL INDEX 优化 性能监控 新增 max_slot_wal_keep_size 参数，限制使用复制槽（replication slot）的文件大小，防止WAL文件堆积。无 DBLink 默认开启Unsafe ...
Btree-GIST
这意味着开发者不仅能够为常规数据类型比如整数和字符串创建索引，还可以为地理空间数据、全文搜索、数组和其他更复杂的数据结构创建索引。Btree-GIST便是基于此特性扩展而来。支持多种查询：GIST索引可以支持不同的查询操作，包括等于、不...
开启和使用冷数据分层存储
暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该功能目前处于免费公测阶段，如需试用该功能，可以 ...
版本及存储引擎
本文介绍云数据库MongoDB支持的版本、引擎及版本和引擎之间的适配关系，帮助您选择适合您的业务需求的实例。支持版本 云数据库MongoDB支持如下版本：说明 您可以在实例运行期间手动升级数据库版本，但版本升级后不支持降级。详情请参见 ...
管理标量Indexes
本篇为您介绍如何在Milvus中为标量字段（包括整数、字符串等非向量属性）创建索引，以实现对标量元数据的有效过滤。与传统关系型数据库中的索引作用相似，Milvus中的标量字段索引旨在加速对非向量属性的查询筛选过程，提升数据检索效率。...
开启和使用冷数据分层存储
暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该功能目前处于免费公测阶段，如需试用该功能，可以 ...
开启和使用冷数据分层存储
暂不支持的DDL：暂不支持在OSS表空间中创建数据库：CREATE DATABASE dbname TABLESPACE OSS;暂不支持将已有数据库一次性转入OSS表空间：ALTER DATABASE dbname SET TABLESPACE OSS;说明 该功能目前处于免费公测阶段，如需试用该功能，可以 ...
通过索引生命周期管理实现冷热数据分离
步骤三：验证数据分布 验证cold阶段索引的shard是否分布在冷数据节点上。步骤四：更新ILM策略 更新已有策略。步骤五：切换ILM策略 在不同策略间实现滚动切换。步骤一：创建冷热集群并查看节点的冷热属性 冷热集群是指在集群中包含冷、热两...
PolarDB PostgreSQL版：ePQ架构详解
说明 在目前索引构建加速这一特性中，PolarDB PostgreSQL版 已经支持了B-Tree索引的普通创建以及B-Tree索引的在线创建（Concurrently）两种功能。使用指南 PolarDB PostgreSQL版 ePQ适用于日常业务中的轻分析类业务，例如：对账业务，报表...
多元索引
为数据表创建多元索引后，您可以通过Tablestore CLI查看多元索引列表、查看多元索引信息、使用多元索引查询数据以及删除多元索引。创建多元索引 创建一个多元索引。命令格式 create_search_index-n search_index_name 配置项说明请参见下表...
pgvector兼容模式使用指南
创建向量索引 在pgvector语法的向量表上添加向量索引的方式和 AnalyticDB PostgreSQL版 向量数据库原生的向量索引创建方式完全一致，并且一个向量表上的每个向量列都可以创建多个向量索引。语法 CREATE INDEX[INDEX_NAME]ON[SCHEMA_NAME]....
CREATE OPERATOR CLASS
CREATE OPERATOR CLASS 用于创建新的操作符类。简介 CREATE OPERATOR CLASS 创建新的操作符类。一个操作符类定义一种特殊的数据类型如何被用于一个索引。操作符类指定为该数据类型和索引方法扮演特殊角色或者“策略”的操作符。操作符类还...
REINDEX
DATABASE 重新创建当前数据库内的所有索引。共享的系统目录上的索引也会被处理。这种形式的 REINDEX 不能在一个事务块内执行。SYSTEM 重新创建当前数据库中在系统目录上的所有索引。共享系统目录上的索引也被包括在内。用户表上的索引则...
查看数据迁移项目的详情
该操作仅在 Oracle 数据库和 OceanBase 数据库之间，以及 OceanBase 数据库之间的数据迁移项目存在，详情请参见 数据迁移服务隐藏列机制说明。您需要自行补充迁移源端触发器、函数、存储过程等其它数据传输不支持的数据库对象至目标端。您...
SHOW INDEX
返回结果集说明 字段 说明 TABLE_SCHEMA 目标表所属的数据库。DATA_TABLE 目标表名。INDEX_NAME 索引名称。INDEX_STATE 索引状态。取值如下：BUILDING：索引正在构建中。ACTIVE：针对存量数据的索引构建已完成，增量数据持续同步构建中。...
分库分表（Alias功能）
适用场景 时间序列场景 业务数据具有明显的时间特性，可以基于时间来创建不同的索引，这样既能降低单个索引的大小，又能提升查询性能。整个过程中业务不需要自己维护索引创建和删除。重建索引场景 在不影响已有索引查询下，重建新的索引，...
为应用选择和创建最佳索引，加速数据读取
无索引：使用没有创建索引的SQL访问数据库中的表时，系统会进行全表扫描。如果表的数据量很大，则SQL执行效率会非常慢，同时会占用数据库连接数，当达到数据库的最大连接数限制时，新的应用请求将会被拒绝导致出错。隐式转换：指SQL查询...
使用apack插件的物理复制功能
开启物理复制功能 在创建索引时，通过settings开启物理复制功能。PUT index-1 {"settings":{"index.replication.type":"segment"} } 关闭物理复制功能 关闭索引。POST index-1/_close 更新索引settings，关闭物理复制功能。PUT index-1/_...
分库分表（Alias功能）
分库分表 业务大部分场景只访问最近一周的数据，可以每隔一周新建一张表来存储，这样可以确保高效的查询热数据。在这个场景中需要自己来维护表的创建和删除，带来一定的业务复杂性。本文介绍的Alias（别名）将会完美的解决上面两个问题。...
ALTER INDEX
ALTER INDEX用于变更搜索索引列、修改二级索引和搜索索引的索引状态。如果需要导入或更新大量数据，建议在导入或更新前通过ALTER INDEX禁用索引以保证导入效率，提高更新速度。引擎与版本 ALTER INDEX 语法仅适用于宽表引擎。无版本限制。...
代码示例
to_repository/lindorm-sample/src/main/resources/data/traj",}"enabled_indices"指定需要创建的索引（索引类型参见 创建索引表），注意需要设置"enable_secondary_index"为true才能使用二级索引，并设置"primary_index"指定其中的主索引...
倒排索引类型
date索引的field_type支持为UINT64/DATE/TIME/TIMESTAMP类型 build_granularity：建库的精度，如果精度为分钟级，那么数据中的秒以及微秒的值会被忽略掉（视作为0），查询的时候也只能查询分钟粒度的数据。file_compress：倒排文件压缩，...
倒排索引类型
date索引的field_type支持为UINT64/DATE/TIME/TIMESTAMP类型 build_granularity：建库的精度，如果精度为分钟级，那么数据中的秒以及微秒的值会被忽略掉（视作为0），查询的时候也只能查询分钟粒度的数据。file_compress：倒排文件压缩，...
数据库管理
Database的概念 每个正在运行的Lindorm时序引擎实例都管理着一个或多个数据库（简称Database）。在各个Database之间，数据会被隔离。每个Database都有若干时序数据表，结合 名词解释 的描述，我们可以对时序引擎的数据层级归纳为下图所示：...
TimeStream管理Elasticsearch时序数据快速入门
如果您需要自定义索引的模板信息，可直接使用index_template语法，示例如下：自定义索引的shard数量 PUT_time_stream/test_stream {"template":{"settings":{"index":{"number_of_shards":"2"} } } } 自定义索引的数据模型 PUT_time_stream...
生成列
本文介绍了生成列的创建方法，以及在生成列上创建索引的方法。创建生成列 语法 col_name data_type[GENERATED ALWAYS]AS(expr)[VIRTUAL|STORED|LOGICAL][NOT NULL|NULL][UNIQUE[KEY]][[PRIMARY]KEY][COMMENT 'string']生成列有以下三种类型...
概述
一种是单独将ANNS向量索引服务化，以提供向量索引创建和检索的能力，从而形成一种 专有的向量数据库。另一种是将ANNS向量索引融合到传统结构化数据库中，形成一种 具有向量检索功能的DBMS。云原生数据仓库AnalyticDB PostgreSQL版 的向量...
将Amazon OpenSearch Service中的Elasticsearch索引...
本文介绍如何将Amazon OpenSearch Service中的Elasticsearch（以下简称ES）索引数据迁移到阿里云Elasticsearch中。方案说明 该方案不局限云服务厂商，均依赖ES快照机制实现。例如，使用阿里云在线迁移（迁移实施）将存储在腾讯云COS的ES...
概述
索引创建、删除和重建：以分区为单位进行索引的创建、删除和重建。备份和恢复：以分区粒度进行数据备份和恢复。降低成本。分区可以根据 数据重要性、数据存储性能、数据存储可靠性 和 数据存储形式 多种维度进行存储。功能优化和性能增强 ...
管理数据库
创建RDS MariaDB实例后，您需要在实例中创建与您业务相关的数据库。RDS MariaDB支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个...
创建多元索引
使用CreateSearchIndex接口在数据表上创建一个多元索引。一个数据表可以创建多个多元索引。前提条件 已初始化Client。具体操作，请参见 初始化。已创建数据表，且数据表的数据生命周期（time_to_live）必须为-1，最大版本数（max_versions...
使用命令行工具
true,"SourceFieldNames":["col3"]}]} 步骤二：查询数据 执行 search 命令使用search_index多元索引查询数据，并返回所有建立索引的列。search-n search_index-return_all_indexed 根据系统提示输入查询条件，示例如下：多元索引支持全匹配...
管理数据库
创建RDS MySQL实例后，您需要在实例中创建与您业务相关的数据库。RDS MySQL支持通过控制台、SQL命令、API接口管理数据库，包括创建、删除数据库。背景信息 概念 实例：实例是虚拟化的数据库服务器。您可以在一个实例中创建和管理多个数据库...
通过CCR跨集群复制解决跨集群容灾场景
PUT myindex {"settings":{"index.soft_deletes.retention.operations":1024,"index.soft_deletes.enabled":true } } 说明 对于7.0及以下版本的Elasticsearch实例，在创建索引时，需要开启 soft_deletes 属性，否则会报错。您可以通过 GET/...
通过OpenStore智能混合存储实现海量数据存储
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本，智能混合存储可突破传统冷热分离架构，大幅降低集群数据接入复杂度的同时，进一步降低云上海量...
Range范围查询
2.在定义索引结构中对步骤1类型的字段创建索引并指定相关分析器。TIMESTAMP字段、GEO_POINT字段和INT类型的字段可创建单字段索引，但是不可创建组合索引。这三个字段创建的索引应选择的分析器及含义可参见下表。单字段索引包含的字段类型 ...
- 产品推荐
- 这些文档可能帮助您