库表数太多导致实例卡顿或异常
索引优化的一些基本原则如下：避免无用索引 查询根本不会访问到的字段，索引也自然不会命中，属于无用索引，可以删除。索引的前缀匹配规则 例如 {a:1} 和 {a:1,b:1} 两个索引，前者就属于前缀匹配的冗余索引，可以删除。等值查询时的索引...
表分区
当查询或更新访问一个分区的大部分行时，可以通过该分区上的一个顺序扫描来取代分散到整个表上的索引和随机访问，这样可以改善性能。如果批量操作的需求是在分区设计时就规划好的，则批量装载和删除可以通过增加或者去除分区来完成。执行 ...
常见问题
产品FAQ 阿里云Elasticsearch实例FAQ 计费常见问题 Kibana FAQ Logstash FAQ 访问控制FAQ 客户端访问Elasticsearch FAQ 开源Elasticsearch FAQ API FAQ 常见报错 Elasticsearch问题 自定义插件安装错误的排查与解决方法 集群磁盘使用率过高...
HTAP中的行列混存查询优化
确定表的访问方法，根据使用的索引优化掉ORDER BY与DISTINCT。该查询优化流程非常清晰，在MySQL的执行模式下也足够好，但是在添加列式replica的负载下，这个优化体系也暴露出了一些问题。如下：基于MySQL执行模式的限制，join reorder仅能...
Limit Offset下推
当需要查询大量数据的时候，引擎层访问数据、SQL层的交互和计算都会占用大量的开销。PolarDB MySQL版 会将Limit Offset下推到引擎层进行计算，极大的减少性能开销，提升查询性能。前提条件 集群版本需为 PolarDB MySQL版 8.0版本且修订版本...
Java API Client(8.x)
安装方法请参见 安装JDK。创建阿里云Elasticsearch实例，版本需大于或等于Java API Client的版本。本文创建一个8.x版本的实例，创建方法请参见 创建阿里云Elasticsearch实例。说明 为了保证最大程度地使用新版客户端的特性，推荐Java API ...
High Level REST Client（6.3.x）
安装方法请参见 安装JDK。创建阿里云Elasticsearch实例，版本要求大于等于Java High Level REST Client的版本。本文创建一个6.3.2版本的实例，创建方法请参见 创建阿里云Elasticsearch实例。重要 High Level Client能够向上兼容，例如6.3.2...
PolarDB HTAP实时数据分析技术解密
MySQL采用树形迭代器模型，其受限于存储引擎访问方法，导致其很难对复杂的逻辑计算进行优化。在列存格式下，由于每一列的数据都单独顺序存储，涉及到某一个特定列上的表达式计算过程都可以批量进行。对每一个计算表达式，其输入和输出都以...
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
High Level REST Client（6.7.x）
安装方法请参见 安装JDK。创建阿里云Elasticsearch实例，版本要求大于等于Java High Level REST Client的版本。本文创建一个6.7.0版本的实例，创建方法请参见 创建阿里云Elasticsearch实例。重要 High Level Client能够向上兼容，例如6.7.0...
通过索引生命周期管理Heartbeat数据
对于时间序列数据，会随着时间的积累越来越大，您可以通过索引生命周期管理ILM（Index Lifecycle Management）定期将数据滚动到新索引，防止因数据过大影响查询效率和成本。随着索引的老化和查询频率的降低，您可以将其转移到价格较低的...
开发运维建议
对于线性顺序存储的数据（如流式数据、时间字段或自增字段），通常查询时使用范围查询，建议使用 BRIN 索引，减少索引的大小，加快数据插入速度。CREATE INDEX idx ON tbl using BRIN(id);建议避免全表扫描（大数据量扫描的数据分析除外）...
INSERT
本文介绍了INSERT语法的简介、使用方法以及示例等内容。简介 INSERT 将新行插入到一个表中。可以插入一个或者更多由值表达式指定的行，或者插入来自一个查询的零行或者更多行。目标列的名称可以以任意顺序列出。如果没有给出列名列表，则有...
0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
快速入门
快速入门索引 集群类型 入门文档 托管版与专有版容器集群ACK 入门概述 介绍容器服务ACK的快速使用流程及使用方法索引。首次使用容器服务Kubernetes版 介绍如何在容器服务管理控制台上授权及开通容器服务ACK。在ACK集群中快速搭建魔方游戏 ...
通过Logstash迁移自建Elasticsearch数据
重要 Logstash服务不会将源索引的 settings 等信息拷贝到目标索引中，因此，如果您希望目标索引具备与源索引相同的配置或映射规则，则需要在创建目标索引时进行配置，预先指定好 settings，mappings，shard counts 等参数。本文使用 ...
通过elasticsearch-dump工具迁移数据
通过elasticsearch-dump工具，您可以将阿里云Elasticsearch实例索引的settings、mapping、data等数据迁移至本地或者其他阿里云实例上。本文介绍如何安装与使用elasticsearch-dump工具。背景信息 elasticsearch-dump是一个开源的...
通过Postman访问与管理Elasticsearch
说明 已将安装Postman设备的IP地址添加到 Elasticsearch实例 或Serverless应用 公网地址访问白名单中。具体操作，请参见 配置Elasticsearch实例公网或私网访问白名单 和 配置Serverless应用公网访问白名单。已安装Postman工具。说明 本文以...
CREATE TABLE
table_constraints（索引）AnalyticDB for MySQL 支持多种索引，包括INDEX索引、主键索引、聚集索引、外键索引、全文索引、向量索引等。一个表可以有一种或多种索引。INDEX|KEY 定义普通索引。INDEX和KEY作用相同。默认情况下，AnalyticDB ...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
采集ECS服务日志
如果重试失败，可参见 Beats安装失败的排查与解决方法 排查解决。单击 添加安装实例，可继续添加需要安装同样配置和类型的采集器的ECS。可选：查看Monitoring或Dashboard。如果您在创建采集器时选中了 启用Monitoring 或 启用Kibana ...
向量索引最佳实践
（如上图所示）如果开启了属性压缩，建议前往「部署管理-数据节点-在线表配置」编辑索引加载方式，以此降低对性能的影响 设置索引，主键字段索引类型设置为PRIMARYKEY64，向量索引类型选择 CUSTOMIZED：索引字段设置压缩：索引字段可以选择...
使用Java SDK管理索引
索引是一种倒排的数据存储结构，由关键词和指向实际数据的逻辑指针组成，用于快速根据关键词定位到具体数据行，类似于数据的目录。您只有配置索引后，才能进行查询和分析操作。本文通过代码示例介绍如何创建、修改、查询、删除索引。前提...
通用版快速入门
（如上图所示）如果开启了属性压缩，建议前往「部署管理-数据节点-在线表配置」编辑索引加载方式，以此降低对性能的影响 设置索引，主键字段索引类型设置为PRIMARYKEY64，向量索引类型选择 CUSTOMIZED：索引字段设置压缩：索引字段可以选择...
内核增强版高级特性应用
日志场景一般管理的索引数、数据量比较大，而大批量删除索引或数据（如减少TB级别索引副本数），可能会影响节点稳定性，建议避免一次性大批量删除索引，结合ILM管理索引生命周期，将大数据量索引建议拆分成小索引。索引存储到Openstore智能...
图搜场景快速入门
设置索引，“向量：图片搜索”模板默认生成2个预置索引（主键索引、向量索引），预置索引内容均可手动修改 索引字段设置压缩：索引字段可以选择是否压缩，默认为不压缩，选择file_compressor表示开启压缩 说明 主键索引不支持压缩 索引压缩...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
对象存储OSS
OSS数据源创建好后，在 配置中心>索引结构 进行添加索引表 配置索引表，索引表名称 可自定义，数据源选择配置好的OSS数据源：案例中配置了2个字段pk、embeddings，样例数据可参考（样本数据：oss_test.txt）CMD=add pk=999000 embeddings=0...
对象存储OSS
OSS数据源创建好后，在 配置中心>索引结构 进行添加索引表 配置索引表，索引表名称 可自定义，数据源选择配置好的OSS数据源：案例中配置了2个字段pk、embeddings，样例数据可参考（样本数据：oss_test.txt）：CMD=add pk=999000 embeddings...
OSS+API 数据源
或至少一个索引表分片数为1，其余索引表分片数一致 数据更新资源数：数据更新所用资源数，每个索引默认免费提供2个4核8G的更新资源，超出免费额度的资源将产生费用，详情可参考 向量检索版计费概述 场景模板：向量检索版内置了3种模板可供...
如何将一棵LSM-Tree塞进NVM
DCPMM虽然提供和DRAM相同的字节寻址能力，但其I/O表现与DRAM存在较大差异，主要体现在介质访问粒度、cache控制、并发访问以及跨NUMA节点访问等方面。X-Engine简介 X-Engine是一种基于LSM-tree架构的OLTP数据库存储引擎，其实现架构如下图所...
文本向量场景快速入门
预置索引内容均可手动修改：索引字段设置压缩：索引字段可以选择是否压缩，默认为不压缩，选择file_compressor表示开启压缩 说明 主键索引不支持压缩 索引压缩，开启后将节省存储空间，但查询性能可能有所下降，详见说明文档 3.1....
Demo 工程
Demo 工程包含普通消息、顺序消息、事务消息和定时、延时消息的配置以及测试代码。前提条件 安装 IDE。您可以使用 IntelliJ IDEA 或者 Eclipse，本文以 IntelliJ IDEA 为例。在 https://www.jetbrains.com/idea/ 下载 IntelliJ IDEA ...
通过ES-Hadoop实现Hive读写阿里云Elasticsearch数据
操作流程 准备工作 创建同一专有网络下的阿里云Elasticsearch和E-MapReduce（以下简称EMR）实例、关闭Elasticsearch实例的自动创建索引功能并创建索引和Mapping、下载与Elasticsearch实例版本一致的ES-Hadoop安装包。步骤一：上传ES-Hadoop...
顺序消息
顺序消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 在有序事件处理、撮合交易、数据实时增量同步等场景下，异构系统间需要维持强一致的状态同步，...
HBase SQL（Phoenix）FAQ
此时有两种解决方法：通过 alter index 命令rebuild索引。删除building状态的索引表，配置更大的客户端超时时间，重新创建索引。关系型数据库怎么导入云HBase的phoenix表中？通过datax导入，具体操作请参见 示例参考。查询时发生遇到 ERROR...
将Amazon OpenSearch Service中的Elasticsearch索引...
本文介绍如何将Amazon OpenSearch Service中的Elasticsearch（以下简称ES）索引数据迁移到阿里云Elasticsearch中。方案说明 该方案不局限云服务厂商，均依赖ES快照机制实现。例如，使用阿里云在线迁移（迁移实施）将存储在腾讯云COS的ES...
Logstash FAQ
所以在使用阿里云Logstash上传数据之前，需要先把集群的 自动创建索引 设置为允许，或提前创建好索引和mapping。阿里云Logstash支持rubydebug模式吗？不支持。阿里云Logstash提供 logstash-output-file_extend插件 来打印调试日志，不推荐...
Python前言
put_row、get_row、update_row等接口的primary_key参数由dict类型变更为list类型，目的是保证主键的顺序性。put_row、update_row等接口的attribute_columns参数由dict类型变更为list类型。put_row、update_row等接口的attribute_columns...
通过reindex将自建ES数据迁移至阿里云
本文介绍通过reindex方式，将ECS上自建Elasticsearch（简称ES）集群中的数据迁移至阿里云ES中，包括创建索引和迁移数据。背景信息 通过reindex迁移数据，仅支持单可用区实例。如果您使用的是多可用区实例，建议采用如下方案将自建ES数据...
- 产品推荐
- 这些文档可能帮助您