表分区
当查询或更新访问一个分区的大部分行时，可以通过该分区上的一个顺序扫描来取代分散到整个表上的索引和随机访问，这样可以改善性能。如果批量操作的需求是在分区设计时就规划好的，则批量装载和删除可以通过增加或者去除分区来完成。执行 ...
HTAP中的行列混存查询优化
确定表的访问方法，根据使用的索引优化掉ORDER BY与DISTINCT。该查询优化流程非常清晰，在MySQL的执行模式下也足够好，但是在添加列式replica的负载下，这个优化体系也暴露出了一些问题。如下：基于MySQL执行模式的限制，join reorder仅能...
Limit Offset下推
当需要查询大量数据的时候，引擎层访问数据、SQL层的交互和计算都会占用大量的开销。PolarDB MySQL版 会将Limit Offset下推到引擎层进行计算，极大的减少性能开销，提升查询性能。前提条件 集群版本需为 PolarDB MySQL版 8.0版本且修订版本...
JSON类型
本文介绍了JSON类型的定义及相关语法。根据 RFC 7159 中的说明，JSON 数据类型是用来存储 JSON（JavaScript Object Notation）数据的。...如果在这个列上创建一个 GIN 索引，下面这样的查询就能利用该索引：寻找键"company"有值"Magnafone...
PolarDB HTAP实时数据分析技术解密
MySQL采用树形迭代器模型，其受限于存储引擎访问方法，导致其很难对复杂的逻辑计算进行优化。在列存格式下，由于每一列的数据都单独顺序存储，涉及到某一个特定列上的表达式计算过程都可以批量进行。对每一个计算表达式，其输入和输出都以...
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
将Amazon OpenSearch Service中的Elasticsearch索引...
本文介绍如何将Amazon OpenSearch Service中的Elasticsearch（以下简称ES）索引数据迁移到阿里云Elasticsearch中。方案说明 该方案不局限云服务厂商，均依赖ES快照机制实现。例如，使用阿里云在线迁移（迁移实施）将存储在腾讯云COS的ES...
INSERT
本文介绍了INSERT语法的简介、使用方法以及示例等内容。简介 INSERT 将新行插入到一个表中。可以插入一个或者更多由值表达式指定的行，或者插入来自一个查询的零行或者更多行。目标列的名称可以以任意顺序列出。如果没有给出列名列表，则有...
列存索引
索引是加速数据查询的重要方法。列存索引可以增强宽表中海量数据的分析计算能力，主要适用于车联网与物联网的设备信息统计、电商领域的数据分析、物流行业的订单统计等场景。本文介绍列存索引的基础用法和高阶用法，帮助您快速上手并进一步...
Kibana FAQ
可能原因 解决方法 存在多个Kibana系统索引或者数据结构发生了变化 删除.kibana 开头的相关索引，并通过控制台重启Kibana节点，或者重启Elasticsearch实例，重启操作请参见 重启实例或节点。警告 删除.kibana 索引后，会丢失Kibana中已创建...
部分索引
一个 部分索引 是建立在表的一个子集上，而该子集则由一个条件表达式（被称为部分索引的 谓词）定义。而索引中只包含那些符合该谓词的表行的项。部分索引是一种专门的特性，但在很多种情况下它们也很有用。使用部分索引的一个主要原因是...
表结构设计
选择聚集索引键 聚集索引中键值的逻辑顺序决定了表中相应行的物理顺序。选择聚集索引键时需要注意如下几点：每个表仅支持创建一个聚集索引。创建方式，请参见 CREATE TABLE。建议将查询一定会携带的字段作为聚集索引键。例如，每个学生在...
0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
创建索引
倒排索引是一种数据存储结构，由关键词和指向实际数据的逻辑指针组成，记录了特定文本内容出现在哪些日志中，用于快速根据关键词定位到具体数据行，类似于数据的目录。创建索引后，您才能对日志数据进行查询和分析。本文为您介绍日志服务...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
宽表模型介绍
6 使用索引加速数据查询 说明 使用合适的索引能大幅提升数据查询效率以及降低使用成本，建议您参考 索引选择最佳实践 和 多元索引最佳实践 进行索引选择和设计。如果基于数据表主键的数据读取不能满足业务的查询需求，您可以使用索引加速...
向量索引最佳实践
（如上图所示）如果开启了属性压缩，建议前往「部署管理-数据节点-在线表配置」编辑索引加载方式，以此降低对性能的影响 设置索引，主键字段索引类型设置为PRIMARYKEY64，向量索引类型选择 CUSTOMIZED：索引字段设置压缩：索引字段可以选择...
内核增强版高级特性应用
日志场景一般管理的索引数、数据量比较大，而大批量删除索引或数据（如减少TB级别索引副本数），可能会影响节点稳定性，建议避免一次性大批量删除索引，结合ILM管理索引生命周期，将大数据量索引建议拆分成小索引。索引存储到Openstore智能...
通用版快速入门
（如上图所示）如果开启了属性压缩，建议前往「部署管理-数据节点-在线表配置」编辑索引加载方式，以此降低对性能的影响 设置索引，主键字段索引类型设置为PRIMARYKEY64，向量索引类型选择 CUSTOMIZED：索引字段设置压缩：索引字段可以选择...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
图搜场景快速入门
设置索引，“向量：图片搜索”模板默认生成2个预置索引（主键索引、向量索引），预置索引内容均可手动修改 索引字段设置压缩：索引字段可以选择是否压缩，默认为不压缩，选择file_compressor表示开启压缩 说明 主键索引不支持压缩 索引压缩...
对象存储OSS
OSS数据源创建好后，在 配置中心>索引结构 进行添加索引表 配置索引表，索引表名称 可自定义，数据源选择配置好的OSS数据源：案例中配置了2个字段pk、embeddings，样例数据可参考（样本数据：oss_test.txt）CMD=add pk=999000 embeddings=0...
对象存储OSS
OSS数据源创建好后，在 配置中心>索引结构 进行添加索引表 配置索引表，索引表名称 可自定义，数据源选择配置好的OSS数据源：案例中配置了2个字段pk、embeddings，样例数据可参考（样本数据：oss_test.txt）：CMD=add pk=999000 embeddings...
Logstash FAQ
所以在使用阿里云Logstash上传数据之前，需要先把集群的 自动创建索引 设置为允许，或提前创建好索引和mapping。阿里云Logstash支持rubydebug模式吗？不支持。阿里云Logstash提供 logstash-output-file_extend插件 来打印调试日志，不推荐...
OSS+API 数据源
或至少一个索引表分片数为1，其余索引表分片数一致 数据更新资源数：数据更新所用资源数，每个索引默认免费提供2个4核8G的更新资源，超出免费额度的资源将产生费用，详情可参考 向量检索版计费概述 场景模板：向量检索版内置了3种模板可供...
如何将一棵LSM-Tree塞进NVM
DCPMM虽然提供和DRAM相同的字节寻址能力，但其I/O表现与DRAM存在较大差异，主要体现在介质访问粒度、cache控制、并发访问以及跨NUMA节点访问等方面。X-Engine简介 X-Engine是一种基于LSM-tree架构的OLTP数据库存储引擎，其实现架构如下图所...
文本向量场景快速入门
预置索引内容均可手动修改：索引字段设置压缩：索引字段可以选择是否压缩，默认为不压缩，选择file_compressor表示开启压缩 说明 主键索引不支持压缩 索引压缩，开启后将节省存储空间，但查询性能可能有所下降，详见说明文档 3.1....
规则vs触发器
不过，触发器方法从概念上要远比规则方法简单，并且很容易让新人上手。下面我们展示一个例子，该例子说明了在同种情况下两种选择的比较。这里有两个表：CREATE TABLE computer(hostname text,-被索引 manufacturer text-被索引);CREATE ...
通过OpenStore智能混合存储实现海量数据存储
本文介绍使用OpenStore智能混合存储实现海量数据存储的方法。背景信息 在日志全观测场景下，通常因为业务场景或监管需求，需要长时间存储数据或归档审计。在使用开源Elasticsearch的过程中，需要进行集群冷热数据分离，将30天或者更长时间...
降配集群
如果集群负载高且索引没有副本，同时在降配过程中存在大量的写入或查询等情况，业务可能会出现偶发的访问超时现象，无法保证高可用机制，业务稳定性无法保证。GET_cat/indices?v 使用限制 节点磁盘空间和Kibana节点规格，不支持降配操作。...
HBase SQL（Phoenix）FAQ
此时有两种解决方法：通过 alter index 命令rebuild索引。删除building状态的索引表，配置更大的客户端超时时间，重新创建索引。关系型数据库怎么导入云HBase的phoenix表中？通过datax导入，具体操作请参见 示例参考。查询时发生遇到 ERROR...
Python前言
put_row、get_row、update_row等接口的primary_key参数由dict类型变更为list类型，目的是保证主键的顺序性。put_row、update_row等接口的attribute_columns参数由dict类型变更为list类型。put_row、update_row等接口的attribute_columns...
GiST索引
它是一种平衡的树结构的访问方法，它作为一种模板可用来实现任意索引模式。B tree、R tree和很多其他索引模式都可以在GiST中实现。应用场景 几何类型：支持位置搜索（包含、相交、在上下左右等），按距离排序。范围类型：支持位置搜索...
术语表
基础资源 术语 说明 项目（Project）项目是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。更多信息，请参见 项目（Project）。日志库（Logstore）日志库是日志服务中日志数据的采集、存储和查询单元。更多信息，请参见 ...
普通消息
普通消息为 云消息队列 RocketMQ 版 中最基础的消息，区别于有特性的顺序消息、定时/延时消息和事务消息。本文为您介绍普通消息的应用场景、功能原理、使用方法和使用建议。应用场景 普通消息一般应用于微服务解耦、事件驱动、数据集成等...
升配集群
升级集群时，如果集群负载不高且索引有副本的情况下，集群在变更过程中可以持续对外提供服务，但性能可能会受影响，且变更时间会比较长。前提条件 完成集群规格容量评估。评估方法，请参见 规格容量评估。在Kibana控制台 执行以下命令，...
MongoDB数据库大版本升级说明
即使在索引创建过程中，也可以保证备库访问到最新的数据。MongoDB 4.4的更多信息，请参见 Compatibility Changes in MongoDB 4.4。MongoDB 4.2 不再支持 geoNear，请使用$geoNear(aggregation)替代，更多信息，请参见 geoNear 和$geoNear...
多轮对话搜索
interger 用于索引INT类型数字，数字类型可以用于排序、范围查询等操作 long 用于索引LONG类型数字，数字类型可以用于排序、范围查询等操作 double 用于索引DOUBLE类型数字，数字类型可以用于排序、范围查询等操作 float 用于索引FLOAT类型...
pg_amproc
目录 pg_amproc 存储关于访问方法操作符族相关的支持函数。简介 目录 pg_amproc 存储关于访问方法操作符族相关的支持函数。属于一个操作符族的每一个支持函数在这个目录中都有一行。列名称 列类型 描述 oid oid 行标识符。amprocfamily oid...
Search
为节省内存，推荐使用如下方法：创建索引（index）时请将文档中需要创建（反向）索引的字段设置为索引字段（将字段的index设置为true），其余字段的index设置为false。使用_source参数中的include与exclude机制剔除源文档中不需要的字段...
- 产品推荐
- 这些文档可能帮助您