监控分析平台对比
运维成本：各系统的软硬件难免会出故障，硬件替换、缩扩容、软件版本升级，都需要投入不小的人力和精力。费用分摊：只有将资源消耗清晰准确地分摊到实际业务线中，才能更有效利用资源，制定合理的预算和规划。这也需要监控分析平台能提供...
API概览
ListSlowQueryCategories 列出优化大师慢查询优化建议清单 列出优化大师慢查询优化建议清单。配额审批 配额审批 ListQuotaReviewTasks 获取指定应用配额审批清单 获取指定 opensearch 应用配额审批清单。定时任务 定时任务 ...
离线同步常见问题
如何查询一个ES索引下的所有字段？MongoDB Reader是否大小写敏感？怎么配置MongoDB Reader超时时长？向包含主键自增列的目标表写入数据，需要如何配置OTS Writer？在时序模型的配置中，如何理解_tag和is_timeseries_tag两个字段？离线同步...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
本文介绍通过ES-Hadoop组件在Hive上进行Elasticsearch数据的查询和写入，帮助您将Elasticsearch与Hadoop生态组件结合起来，实现更灵活的数据分析。背景信息 Hadoop生态的优势是处理大规模数据集，但是其缺点也很明显，就是当用于交互式分析...
配置实例私网连接
阿里云Elasticsearch（简称ES）实例部分功能受新网络架构限制无法应用，可通过PrivateLink+负载均衡实现阿里云ES与云资源（ECS、ENI、ECI类型等）或某IP地址下的网络资源打通，解决云ES网络私网互通问题。本文分别介绍通过CLB和PrivateLink...
通过ES-Hadoop将HDFS中的数据写入Elasticsearch
es.nodes.wan.only false 开启Elasticsearch集群在云上使用虚拟IP进行连接，是否进行节点嗅探：true：设置 false：不设置 es.nodes.discovery true 是否禁用节点发现：true：禁用 false：不禁用 重要 使用阿里云Elasticsearch，必须将此...
通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据
es.nodes.wan.only false 开启Elasticsearch集群在云上使用虚拟IP进行连接，是否进行节点嗅探：true：设置 false：不设置 es.nodes.discovery true 是否禁用节点发现：true：禁用 false：不禁用 重要 使用阿里云Elasticsearch，必须将此...
设置可维护时间段
为提高阿里云Elasticsearch（简称ES）实例的稳定性，后端系统会不定期对实例进行维护。可维护时间段是指您允许阿里云进行维护操作的时间段，默认可维护时间段为02:00~06:00。您可以根据业务规律，将可维护时间段设置在业务低峰期，以降低...
配置Kibana公网或私网访问白名单
通过公网或私网访问阿里云Elasticsearch（简称ES）实例的Kibana服务前，需要将待访问设备的IP地址加入Kibana公网或私网访问白名单中。前提条件 ES实例状态正常。配置 Kibana 公网访问白名单 通过直接管理IP地址的方式实现对Kibana公网访问...
通过Logstash迁移自建Elasticsearch数据
步骤四：检查迁移结果 您可以通过查询ES数据源索引和Lindorm目标索引中文档的数量是否一致，或根据最近一段时间内更新的数据是否一致来判断自建ES集群索引中的历史数据和增量数据是否已全部迁移至Lindorm搜索引擎。示例代码如下：#查看...
通过自建Logstash迁移数据到阿里云ES
Logstash是一个开源的数据收集引擎，具有实时传输数据，并...相关文档 查看集群状态和节点信息 登录Kibana控制台 配置同义词 阿里云ES插件能够提升集群在稳定性、查询和写入性能、分词查询、数据检索等各方面的能力，请参见 插件配置概述。
通过ES机器学习实现对乱码的文本识别
在分析社交媒体、论坛或在线交流中的文本时，可能会遇到含糊不清、无逻辑性或乱码的文本，导致数据分析的准确性降低，进而影响到数据驱动决策的质量。本文介绍如何在Elasticsearch（简称ES）中通过一个NLP模型识别和过滤出乱码的文本。准备...
Serverless快速入门
本文介绍了如何快速创建一个阿里云ES Serverless应用，并通过Kibana完成索引创建、数据写入和数据查询。前提条件 拥有ES Serverless服务的管理权限，具体操作请参见 ES Serverless自定义权限策略。步骤一：开通服务 第一次使用ES ...
管理与使用词库
阿里云Elasticsearch Serverless（简称ES Serverless）允许用户上传和管理词库，提供更为灵活高效的检索能力，使得用户能够根据业务需求灵活地自定义和调整分词策略，助力企业级用户构建智能、高性能的搜索与分析系统。管理词库 登录 阿里...
查询分析RocketMQ客户端日志
具体分析方法如下：在 Discover 页面的数据查询区域输入如下搜索语句，筛选出ERROR级别日志。log_level:ERROR 解读筛选的日志信息。从筛选结果可以看到：所选时间段内有10条ERROR日志。具体的报错信息是 No route info of this topic,MQ_...
二级索引
重要 由于开源HBase API的一些限制，使用HBase API兼容的二级索引存在一系列限制和问题，因此该功能不再维护，不推荐新用户使用。欢迎大家通过Lindorm SQL使用二级索引，相关内容请参见 二级索引。二级索引简介 HBase原生提供了主键索引，...
Kibana FAQ
为什么7.16版本的Kibana私网域名解析出的IP地址不在我的VPC网络下？通过Kibana导出CSV格式的日志数据，可以设置数据量大小吗？如何安装Kibana插件？Discover界面筛选使用的时间戳与Elasticsearch文档中存储的时间戳不相符，是什么原因？...
使用aliyun-codec插件
aliyun-codec插件是阿里云自主开发的索引压缩插件，可以对Elasticsearch（ES）底层多种索引文件进行压缩，同时支持source_reuse_doc_values特性。适用于写入量大、索引存储成本高的场景，例如日志场景、时序分析场景等，可以大幅降低索引的...
开放搜索的审计事件
开放搜索已与操作审计服务集成，您可以在操作审计中查询用户操作开放搜索产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过Open...
压测指标和任务参数说明
使用Elasticsearch官方压测工具ESRally对不同规格的阿里云ES实例进行压力测试和压力测试对比实验，本文对压测中涉及的重要指标和任务进行说明。背景信息 ESRally是Elasticsearch官方提供的用于对ES集群进行压力测试的工具。压测的详细说明...
通过客户端访问阿里云Elasticsearch
type="<YourEsType>",id=,body={"<YourEsField1>":"<YourEsFieldValue1>","<YourEsField2>":"<YourEsFieldValue2>"})res=es.get(index="<YourEsIndex>",doc_type="<YourEsType>",id=)print(res['_source'])以上代码示例只展示了HTTP连接...
通过OpenStore自定义冷热存储实现海量数据存储
该方式虽然能够实现长期日志数据归档，但是存储后不能直接进行查询，查询前需要调用相关API把快照信息恢复到集群中，等待快照中的索引初始化完成后再进行查询，面临着查询复杂度大、长时间存储成本高的问题。OpenStore存储引擎是阿里云...
深度解析Lindorm搜索索引（SearchIndex）特性
索引是加速数据库查询的重要手段，Lindorm除了提供高性能的二级索引外，同时支持搜索索引(SearchIndex)，主要面向复杂的多维查询场景，并能够覆盖模糊查询、聚合分析、排序、分页等场景。本文主要介绍SearchIndex的技术原理和核心能力。...
应用配额与服务限制
为了保证您的业务稳定运行，阿里云Elasticsearch Serverless（简称ES Serverless）服务会对单个应用的资源及使用进行相关限制。本文介绍Serverless不同应用类型的资源配额和服务限制，在因配额不足或服务受到限制导致任务执行失败时，您还...
小程序场景
第二轮为精排，对粗排的结果做更精细筛选-人气模型——量化出每个商品的静态质量及受欢迎的程度的值，不断训练统计形成人气分，构建更精细化的排序模型，精准命中搜索需求 下拉提示 在用户输入查询词的过程中，智能推荐候选query，帮助用户...
通过RollUp实现流量汇总最佳实践
GET monitordata-logstash-rollup-1h-1/_search {"query":{"match_all":{} } } 查询仅能指定一个汇总索引，即不支持模糊匹配。对实时索引数据查询没有限制要求，查询可指定多个索引。查询仅支持Term、Terms、Range query、MatchAll query、...
通过Logstash将自建Elasticsearch数据全量或增量迁移...
说明 8.5版本Logstash的配置参数有所调整，本文同时列出了7.10.0版本和8.5.1版本Logstash的配置示例。为了保证迁移数据的准确性，建议您创建多个Logstash管道配置文件，分批次迁移数据，每个Logstash迁移部分数据。7.10.0版本 input{ ...
通过Logstash将RDS MySQL数据同步至Elasticsearch
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
Search
TairSearch是 Tair 全自研的全文搜索数据结构，采用和Elasticsearch相似（ES-LIKE）的查询语法。TairSearch简介 TairSearch具有如下主要特点：低延迟、高性能：依托Tair的超高性能计算能力，提供毫秒级别的写入和全文搜索能力，更多信息请...
通过自建Metricbeat收集系统指标信息
在 Create index pattern 页面，输入索引模式名称（待查询的索引名称）。单击 Next step。单击 Create index pattern。在左侧导航栏，单击 Dashboard。在 Dashboard 页面查看相关信息。各类相关指标列表 单击 Metricbeat-cpu，查看CPU指标...
Elastic Agent采集Nginx日志数据
暂不支持7.16版本阿里云Elasticsearch实例。创建2台ECS实例。具体操作，请参见 自定义购买实例。ECS实例与Elasticsearch实例处于同一专有网络下。ECS需要绑定弹性公网IP。具体操作，请参见 绑定和解绑弹性公网IP。说明 ECS实例作为源端...
通过Filebeat采集Apache日志数据
启动成功后，系统弹出 启动成功 对话框。单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Filebeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 列下的 查看运行实例。在 查看...
ListStatisticReport-报告类统计查询
1 pageSize integer 否 每页返回数目，默认 pageSize=10 10 columns string 否 查询的字段 格式为 colums=”pv,uv,ipv”,参考：统计报表指标释义 pv,uv query string 否 查询条件，格式 k1:v1,k2:v2 experimentSerialNumber 实验的全局唯一...
GetAlertRules-获取已经创建的告警规则
查询已经创建的告警规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action 元素中...
通过OpenStore智能混合存储实现海量数据存储
该方式虽然能够实现长期日志数据归档，但是存储后不能直接进行查询，查询前需要调用相关API把快照信息恢复到集群中，等待快照中的索引初始化完成后再进行查询，面临着查询复杂度大、长时间存储成本高的问题。OpenStore存储引擎是阿里云...
通过X-Pack Watcher实现CCR异常报警通知
以上示例表示循环获取buckets key值，并通过空格进行分割，过滤出延迟索引名。actions 满足条件时，执行的具体操作。以上示例设置两个action：add_index：将上面返回的结果写入索引中，在调试Watcher配置环节，定义index进行调试。my_...
多轮对话搜索
interger 用于索引INT类型数字，数字类型可以用于排序、范围查询等操作 long 用于索引LONG类型数字，数字类型可以用于排序、范围查询等操作 double 用于索引DOUBLE类型数字，数字类型可以用于排序、范围查询等操作 float 用于索引FLOAT类型...
DescribeTopSQLList-查询 TopSQL 列表
查询诊断系统采集到的 SQL 执行性能数据列表。接口说明 为优化用户体验，云数据库对 SQL 诊断功能进行了升级，本接口已下线并由新的接口替代，详情请参见【通知】云数据库诊断管理 API 接口下线。调试 您可以在OpenAPI Explorer中直接运行...
ListCheckInstanceResult-获取检测项下的实例
变更历史 变更时间 变更内容概要 操作 2024-03-14 API 内部配置变更，不影响调用 看变更集 变更项 变更内容 API 内部配置变更，不影响调用。2023-07-17 OpenAPI 返回结构发生变更 看变更集 变更项 变更内容 出参 OpenAPI 返回结构发生变更...
通过Logstash将PolarDB-X（DRDS）数据同步至Elastic...
通过Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），可批量查询PolarDB-X中的数据并同步到Elasticsearch中。同时，logstash-input-jdbc插件会定期对PolarDB-X中的数据进行轮询查询，并将自上次轮询以来插入或更改的记录同步...
- 产品推荐
- 这些文档可能帮助您