扫描（Scan）分析概述
日志服务扫描分析功能支持免配置索引进行目标字段的扫描，用于分析相关日志。本文介绍扫描分析功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询和分析日志功能，但在某些场景下可能会遇到如下限制，无法创建或使用索引。为...
基本配置
分词配置 配置索引名称，索引的分析器及索引包含字段，参考：索引结构。温馨提示 分词方式的配置不支持线上配置，仅支持线下变更 同一应用只能存在两个版本（线上、线下），若已有线下版本：未索引重建，则此时修改配置信息（分析器配置、...
基本配置
分词配置 配置索引名称，索引的分析器及索引包含字段。分析器类型说明，请 点击此处 查看文档。温馨提示 分词方式的配置不支持线上配置，仅支持线下变更 同一应用只能存在两个版本（线上、线下），若已有线下版本：未索引重建，则此时修改...
MaxCompute数据源
新添加数据源后，需要配置索引结构为其添加索引表，详情可参考 添加索引表；5.索引表配置完成后，需要更新配置并索引重建才可供线上集群使用，详情可参考 配置更新；注意：数据源名称：用户创建的数据源名称，命名规则为实例名称_用户...
MaxCompute数据源
新添加数据源后，需要配置索引结构为其添加索引表，详情可参考 添加索引表；5.索引表配置完成后，需要更新配置并索引重建才可供线上集群使用，详情可参考 配置更新；注意：数据源名称：用户创建的数据源名称，命名规则为实例名称_用户...
使用索引压缩插件beta版本（codec-compression）
codec-compression是阿里云Elasticsearch（简称ES）团队自主开发的索引压缩插件，支持brotli和zstd压缩算法，具有更高的索引压缩比，可以大幅降低索引的存储成本。前提条件 您已完成以下操作：创建阿里云ES实例（6.7.0版本），详情请参见 ...
通过reindex将自建ES数据迁移至阿里云
步骤二：创建目标端索引 参考自建ES集群中需要迁移的索引配置，提前在阿里云ES集群中创建索引。或者为阿里云ES集群开启自动创建索引功能（不建议）。以Python2为例，使用如下脚本，在阿里云ES集群中批量创建自建ES集群中需要迁移的索引。...
使用SDK创建跟踪
此外，如果需要对操作事件进行分析，还需要对日志库配置索引和报表。您可以使用日志服务的Python SDK（aliyun-log-python-sdk）创建并配置日志服务。在Visual Studio Code中新建Python文件。安装依赖并初始化SDK。安装依赖。pip install-U ...
基于向量检索版+LLM构建对话式搜索
可以参考如下配置向量索引参数，详情可参考 向量索引通用配置：注：向量维度需要是1536维 表配置完成后，点击 确认创建：可在变更历史中查看表创建进度，手动触发全量完成后即可进行查询测试：3.向量检索版+大模型系统构建 3.1 下载大模型...
创建多元索引
创建多元索引时，您需要将要查询的字段添加到多元索引中，您还可以配置多元索引的数据生命周期、预排序等高级选项。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建数据表，且数据表的最大版本数（max Versions）必须...
使用apack插件的物理复制功能
索引配置：使用默认配置（5个主分片，1个副本分片）。测试结果 产品 写入速度（doc/s）原生Elasticsearch 6.7.0 127305 阿里云Elasticsearch 6.7.0，并开启物理复制功能 184592 结论 与原生Elasticsearch相比，阿里云Elasticsearch在开启了...
扫描（Scan）查询概述
日志服务扫描（Scan）查询功能支持免配置索引进行目标字段的扫描，用于查询相关日志，并且支持通过SPL语句对查询结果进行进一步的过滤、转换、解析等操作。本文介绍扫描查询功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询...
通过配置文件管理管道
Logstash通过管道完成数据的采集与处理，管道配置中包含input、output和filter（可选）插件，input和output用来配置输入和输出数据源、filter用来对数据进行过滤或预处理。阿里云Logstash支持多管道并行运行，目前最多支持20个。本文介绍...
对安全组规则的合规性进行审计和预警
您可以在配置审计（Config）中创建审计规则，对安全组规则的合规性进行审计，并将审计结果投递到日志服务SLS中。当账号下的安全组规则有不符合审计规则的变更时，您能够通过日志服务SLS收到告警通知。本文以安全组不允许全网段开启22端口和...
CLI概述
为满足越来越多的自动化日志服务配置需求，日志服务提供命令行工具CLI（Command Line Interface）。主要功能 日志服务命令行工具CLI的主要功能包括：支持大部分的日志服务REST接口。例如管理Project、Logstore、机器组、消费组和Logtail...
查询与分析日志的常见报错
解决方法 如果XXX为分析字段，您需要为该字段配置索引，并开启统计功能。具体操作，请参见 创建索引。如果XXX为普通字符串，需要使用单引号（''）包裹。user can only run 15 query concurrently 报错原因 分析操作并发数超过了15个。在...
数据流管理
业务上建议配置索引生命周期管理（ILM）滚动策略，实现云端托管空间最优化。如果不配置，索引数据会全量存储在云托管服务Indexing Service中，将会增加云托管费用。滚动更新数据流 在 数据流管理 页面，单击对应数据流右侧的 手动滚动更新...
功能发布记录
11月24日 地域：上海、张家口 版本：7.16通用商业版 ES实例节点配置说明 上线AliES 1.8.0内核小版本 支持TimeStream时序类型索引模型的增删改查及降采样，自动配置Elasticsearch在时序场景的最佳实践。同时支持PromQL查询无缝对接...
使用Python SDK管理索引
您只有配置索引后，才能进行查询和分析操作。本文通过代码示例介绍如何创建、修改、查询、删除索引。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
术语表
您只有配置索引后，才能进行查询操作。日志服务提供如下两种索引类型：全文索引：日志服务根据您设置的分词符将整条日志拆分成多个词并构建索引。在查询时，字段名称（KEY）和字段值（Value）都是普通文本。字段索引：配置字段索引后，您...
文本向量场景快速入门
配置集群 新购买的实例，在其详情页中，实例状态为“待配置”，并且会自动部署一个与购买的查询节点和数据节点的个数及规格一致的空实例，之后需要为该实例 配置表信息>数据同步>字段配置>索引结构，之后等待索引重建完成即可正常搜索。...
数据类型
text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启全文索引后，日志服务默认将整条日志（除_time_以外所有字段）设置为text类型。日志样例 配置索引 查询和分析语句 ...
初始化
metaIndex.addFieldSchema(/配置索引字段以及字段类型。new FieldSchema("group_name",FieldType.TEXT).setIndex(true).setAnalyzer(FieldSchema.Analyzer.MaxWord),new FieldSchema("create_time",FieldType.Long).setIndex(true));...
召回定制分析器
在实例管理>Ha3引擎列表页，找到对应的应用，进入详情页，点击 线下变更：在配置索引结构页面，找到对应的索引，替换成已配置定制召回模型的定制化分析器，并选项需要生效的模型版本：完成线下变更，操作等待索引重建完成：索引重建结束，...
向量索引
向量索引配置 不带类目的向量配置 {"table_name":"test_vector","summarys":{"summary_fields":["id","vector_field"]},"indexs":[{"index_name":"pk","index_type":"PRIMARYKEY64","index_fields":"id","has_primary_key_attribute":true,...
使用扩展属性定制列存索引
关于 loose_imci_default_pack_shift 参数的详细说明请参见 列存索引配置参数说明。您可以在控制台上查看和设置 loose_imci_default_pack_shift 参数的值，具体操作请参见 设置集群参数和节点参数。codec_opt 用于设置列存索引的压缩算法。...
Logstash FAQ
阿里云Elasticsearch为了保证用户操作数据的安全性，默认将 自动创建索引 配置设置为不允许。阿里云Logstash在传输数据的时候，使用提交数据的方式创建索引，而不是 Create index API 自动创建索引的方式。所以在使用阿里云Logstash上传...
部署和使用跨可用区实例
在索引配置了副本的情况下，当某一可用区出现故障时，剩余的可用区依然可以不间断地提供服务，显著增强了集群的可用性。同时，您可以通过控制台的切流操作，将出现故障的可用区隔离，这时系统会自动在剩余的可用区中补充计算资源，满足业务...
使用Java SDK管理索引
您只有配置索引后，才能进行查询和分析操作。本文通过代码示例介绍如何创建、修改、查询、删除索引。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_...
召回引擎版介绍
全量索引的产出需要经过数据处理，索引构建，索引合并等流程，在各个阶段可以通过设置索引处理的并发度提高全量索引的产出速度。增量流程 全量索引产出之后，后续数据的更新都需要通过API推送完成。API推送的数据有两条处理链路：经过...
成本优化指南
典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用一个或多个Logstore快速接入数据，然后使用数据加工进行快速分发，并根据实际需求设置不同目标Logstore的存储时间以及索引配置。成本因素 通过日志服务的 计费项，可以了解到...
快速入门
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
重建索引
当您需要对历史数据配置索引或修改索引时，可以使用重建索引功能。日志服务支持在选定的时间段中按照最新的索引规则为Logstore重建索引。本文介绍如何在日志服务控制台上重建索引及相关信息。前提条件 已开启索引。具体操作，请参见 创建...
搜索增强
配置索引 数据源表 字段名，描述，类型 字段名称,对采用oss文件格式作为数据源的实例，字段名称跟离线数据解析结果字段对应，离线解析结果默认的字段名称包括如下：字段名称 字段描述 字段类型 docId 主键、唯一标识id varchar name 文件...
Search
settings（可选）：配置索引设置，支持如下配置项。analysis：自定义分词器，更多信息请参见 自定义分词器。index：自定义相似度算法，支持修改Okapi BM25算法的参数，示例如下：TFT.CREATEINDEX idx:pro15 '{"mappings":{"properties":{...
通过控制台使用二级索引
根据下表说明配置索引参数。参数 描述 索引类型 索引的类型，固定取值为 二级索引。实例名 所选实例名称，无法修改。表名 所选数据表名称，无需修改。索引名 二级索引名称。重要 索引名不能与已有的数据表名和时序表名相同。索引类型 二级...
创建多元索引
api*@param[]$request*请求参数、数据表名称、索引配置等。return[]请求返回。throws OTSClientException 当参数检查出错或服务端返回校验出错时抛出异常。throws OTSServerException 当OTS服务端返回错误时抛出异常。example"src/examples...
向量索引
向量索引配置 不带类目的向量配置 {"table_name":"test_vector","summarys":{"summary_fields":["id","vector_field"]},"indexs":[{"index_name":"pk","index_type":"PRIMARYKEY64","index_fields":"id","has_primary_key_attribute":true,...
多元索引最佳实践
如果为多元索引配置路由后，则可以改变数据分布，根据路由键（而不是之前的所有主键）将数据进行Hash分区，一个确定的路由键会落在明确的一个或多个分区上。使用路由键的好处如下：显著减少长尾查询：未使用路由键前，每个查询均会访问索引...
自动索引推荐
自动索引推荐功能的主要优势如下：精准推荐：利用数据库自动搜集的统计信息和优化器代价模型，能够为具体的SQL查询推荐合适的索引配置，避免了盲目地添加索引可能带来的性能负担和试错成本。效率提升：减少手动分析慢查询的时间，帮助快速...
- 产品推荐
- 这些文档可能帮助您