导入Kafka数据
解析数组元素 打开 解析数组元素 开关后，对于JSON数组格式的数据，系统会按其数组元素拆分为多条数据后进行导入。编码格式 待导入数据的编码格式（即字符集），目前支持UTF-8和GBK。VPC实例ID 如果Kafka集群是VPC环境下的阿里云 云消息...
概述
方法 子程序类型 语法 描述 DELETE 过程 collection.delete()collection.delete(index)从集合中删除元素。如果指定了数量，则删除指定位置上的元素，否则删除全部元素。TRIM 过程 collection.trim()collection.trim(number)从变长数组或...
多元索引数组类型
数据表中数据类型 多元索引中数据类型 SQL数据类型 字符串 数组元素的实际类型，同时开启该列的数组属性（即在控制台打开对应列的数组选项或使用SDK将对应列的IsArray设置为true）VARCHAR（主键）MEDIUMTEXT（预定义列）创建方法 ...
COMBINATIONS
返回输入数组元素的N元组合组成的数组。命令格式 combinations(array(T),n)参数说明 array：为输入数组。n：元数。返回值说明 返回输入数组元素的N元组合组成的数组。如果输入数组没有重复项，则返回N元子集数组。子集是确定的但顺序不保证...
规则vs触发器
因为触发器会为每一个从 computer 中删除的独立行调用一次，那么它可以准备并且保存这个命令的规划，把 hostname 作为参数传入。规则应该被写为：CREATE RULE computer_del AS ON DELETE TO computer DO DELETE FROM software WHERE ...
MongoDB 4.4功能概览
隐藏索引（Hidden Indexes）众所周知数据库维护太多的索引会导致写性能下降，但是往往业务上的复杂性导致了运维人员不敢轻易去删除一个潜在的低效率索引，担心误删除会带来业务性能的抖动，而重建索引的代价也非常大。为了解决上述问题，...
常见问题（FAQ）
OpenSearch有最大的返回结果数的限制（具体查看系统限制），即使翻页也只能在返回结果数viewtotal中进行。Q：Array类型为什么在查询结果里面是string，而不是数组？Array类型搜索结果是通过\t分隔的。Q：OpenSearch能否自行指定分词方式和...
阿里云Elasticsearch实例FAQ
新建索引时会偶现索引UUID冲突报错（index uuid conflicted），索引文档写不进去，怎么办？如何修改index.max_result_window（分页查询时查询的最大文档数量）？ES更新数据时报错：Rejecting mapping update to[]as the final mapping ...
Fn:Index
调用内部函数Fn:Index，用于查找列表中某个元素的索引。函数声明 JSON {"Fn:Index":["item_to_find_index",["item1","item2",.]]} YAML 完整函数的语法。Fn:Index:item_to_find_index-item1-item2-.缩写形式。Index[item_to_find_index,...
pg_index
目录 pg_index 包含关于索引的部分信息。其他信息大部分在 pg_class 中。列名称 列类型 描述 indexrelid oid 此索引的 pg_class 项的OID。indrelid oid 此索引的基表的 pg_class 项的OID。indnatts int2 索引中的总列数（与 pg_class....
列存索引技术架构介绍
本文介绍了列存索引的技术背景、简介以及技术架构等内容。技术背景 MySQL生态HTAP数据库解决方案 MySQL是一款主要面向OLTP型场景设计的开源数据库，开源社区的研发方向侧重于加强其事务处理能力。如提升单核性能、多核扩展性和增强集群能力...
ARRAY_POSITION
计算元素 element 在ARRAY数组 a 中第一次出现的位置。ARRAY数组元素位置编号自左往右，从1开始计数。命令格式 bigint array_position(array<T><a>,T)参数说明 a：必填。ARRAY数组。array中的 T 指代ARRAY数组元素的数据类型。支持的数据...
升级数据库版本
说明 这是由于MySQL 8.0的20221231及之后小版本引入参数loose_upgrade_clear_invalid_comment，该参数取值为ON（即默认值）时，在升级过程中会自动清空表、字段、索引的注释乱码，避免升级失败。建议您克隆原实例，先使用克隆实例进行升级...
数组函数和运算符
示例 提取二维数组中索引相同的元素组成一个新的二维数组，例如数组[0,1,2,3]、[10,19,18,17]、[9,8,7]中的0、10、9的索引都为1，则组成数组[0.0,10.0,9.0]。查询和分析语句*|SELECT array_transpose(array[array[0,1,2,3],array[10,19,18,...
建表概述
table_group 在Hologres中，Shard是指数据分片，Table Group是Hologres中特有的逻辑存储概念，用于管理Shard数，一个Table Group唯一对应一组Shard。新建数据库后，如果没有创建新的Table Group，那么创建第一个表时，会自动建立一个名称为...
RDS MySQL 5.6开放参数一览表
您可以在这里了解到截止到发表日MySQL 5.6所有已开放的参数...innodb_flush_method 5.6 0 O_DIRECT[fsync|O_DSYNC|littlesync|nosync|O_DIRECT|O_DIRECT_NO_FSYNC]无限制 定义用于将数据刷新到InnoDB数据文件和日志文件的方法，这可能会影响I...
约束
简介 数据类型是一种限制能够存储在表中数据类别的方法。但是对于很多应用来说，它们提供的约束太粗糙。例如，一个包含产品价格的列应该只接受正值。但是没有任何一种标准数据类型只接受正值。另一个问题是我们可能需要根据其他列或行来...
表分区
划分可以取代索引的主导列、减小索引尺寸以及使索引中访问压力大的部分更有可能被放在内存中。当查询或更新访问一个分区的大部分行时，可以通过该分区上的一个顺序扫描来取代分散到整个表上的索引和随机访问，这样可以改善性能。如果批量...
CREATE OPERATOR CLASS
如果 data_type 列被指定为 anyarray，那么 storage_type 可以被声明为 anyelement 以指示索引条目是属于为每个特定索引创建的实际数组类型的元素类型的成员。OPERATOR、FUNCTION 和 STORAGE 子句可以以任何顺序出现。说明 因为索引机制在...
创建向量索引
向量数据库中的FastANN向量检索引擎实现了主流的HNSW（Hierarchical Small World Graph）算法，它基于PostgreSQL中的段页式存储实现，并且在索引中只存储了指向表中向量列的指针，极大地减少了向量索引的存储空间。同时FastANN向量检索引擎...
REINDEX
语法 REINDEX[(option[,.])]{ INDEX|TABLE|SCHEMA|DATABASE|SYSTEM }[CONCURRENTLY]name 其中 选项 可以是以下之一：VERBOSE 简介 REINDEX 使用索引的表里存储的数据重建一个索引，并且替换该索引的旧拷贝。有一些场景需要使用 REINDEX：...
索引结构
索引表结构介绍 每个Document都是由多个field组成，每个field中包含一系列的词语，构建索引的目的是为了加快检索的速度，根据映射关系方向的不同，索引可以分为：字段（filed）：用于定义索引表的字段名及字段类型。倒排索引（index）：倒...
多元索引限制
本文介绍了多元索引创建多元索引时的Mapping限制，使用Search接口和ParallelScan接口查询数据时的限制，多元索引速率、总大小、行数等限制以及多元索引的支持地域。Mapping 创建多元索引时对字段长度、字段数量、字段类型映射、嵌套类型、...
exZset
WITHSCORES：返回值中包含元素的分数，即返回列表的数据格式为 值1，分数1，.，值N，分数N，例如：1)"b"2)"1#0#2"3)"a"4)"3#2#4"返回值 返回指定范围内元素的列表，如果使用了 WITHSCORES 选项，则返回结果中包含元素的分数。示例 命令示例...
HTMLStream API
removeAndKeepContent()：删除元素的标签和属性，保留内容。TextChunk 定义 该对象会在text回调函数被调用时提供给您，代表某个被选择的HTML的Text部分。属性 removed（bool)：只读，表示该元素是否被删除。删除一个元素使用remove，多数...
HTMLStream API
removeAndKeepContent()：删除元素的标签和属性，保留内容。TextChunk 定义 该对象会在text回调函数被调用时提供给您，代表某个被选择的HTML的Text部分。属性 removed（bool)：只读，表示该元素是否被删除。删除一个元素使用remove，多数...
HTMLStream API
removeAndKeepContent()：删除元素的标签和属性，保留内容。TextChunk 定义 该对象会在text回调函数被调用时提供给您，代表某个被选择的HTML的Text部分。属性 removed（bool)：只读，表示该元素是否被删除。删除一个元素使用remove，多数...
BloomFilter索引
集合中的x、y、z三个元素通过3个不同的哈希函数散列到位数组中。当查询元素w时，通过哈希函数计算之后因为有一个比特为0，因此w不在该集合中。如何判断某个元素是否在集合中，同样是这个元素经过哈希函数计算后得到所有的偏移位置，若这些...
Search
避免在单个索引中插入过多的文档，建议将文档存入多个不同的索引中，并控制单个索引的文档数在500万以下，从而规避（集群）实例发生数据倾斜，均衡读写流量，避免造成大Key与热key。命令列表 表 1.全文检索命令 命令 语法 说明 TFT....
数组类型
一个已存储的数组值可以被通过为其还不存在的元素赋值来扩大之。任何位于之前已存在的元素和新元素之间的位置都将被空值填充。例如，如果数组 myarray 目前有 4 个元素，在用一个更新对 myarray[6]赋值后它将有 6 个元素，其中 myarray[5]...
MongoDB实例的CPU使用率高问题
针对这类查询，您可以通过添加索引的方法优化，如果当前已不能使用该方法，则在业务侧控制该表的数据量和执行频率。更多关于查询执⾏计划的解读，请参见：Explain Results 和 Cursor Methods。索引设计和优化 除了全表扫描以外，当查询的...
FIRST/LAST
结果显示如下：NOTICE:1.11 NOTICE:2.22 NOTICE:3.33 NOTICE:NOTICE:1.11 NOTICE:2.does not exist NOTICE:3.33 NOTICE:DO 对于关联数组来说，第一个和最后一个的定义取决于索引的排序规则。以下是一个关联数组的 first/last 基础使用示例...
列存索引如何实现高效数据过滤
列存索引中TopK算子的实现 一文中介绍了PolarDB IMCI如何利用统计信息在运行时进行剪枝，以提高TopK算法的查询性能。本文将进一步全面介绍PolarDB IMCI的查询剪枝（pruning or data skipping）技术。背景与作用 在HTAP场景中，PolarDB IMCI...
使用限制
TEXT、SHORT_TEXT类型字段个数 32个 64个 数值分析索引个数 4个 8个 组合索引个数 4个 8个 单个组合索引包含字段数 8个 INT类型构建数值分析索引个数 4个 8个 GEO_POINT类型构建数值分析索引个数 2个 TIMESTAMP类型构建数值类型索引个数 4...
规格容量评估
在购买或升缩配阿里云Elasticsearch集群前，您可以根据本文提供的相对通用的评估方法，初步评估集群所需资源的规格容量，包括节点规格、节点存储空间和节点数量。创建索引前或遇到节点间磁盘使用率差距很大、节点CPU使用率呈现明显的负载不...
集群负载不均问题的分析方法及解决方案
重新分配分片，确保主shard数与副shard数之和是集群数据节点的整数倍，集群的CPU负载趋于稳定。优化后的CPU趋势图如下。解决方案 在创建索引时，合理规划shard，详情请参见 Shard评估建议。Shard评估建议 Shard大小和数量是影响ES集群稳定...
使用须知
问题描述：如果用户对应的索引存储的cache在一定时间内没有被访问，那么会从cache中删除。解决方法：重启queryserver或者重客户端，或者重新设置cache的过期时间。对于数据量较大的复杂查询（JOIN、ORDER BY、GROUP BY），您需要合理地控制...
常见问题（FAQ）
OpenSearch有最大的返回结果数的限制（具体查看系统限制），即使翻页也只能在返回结果数viewtotal中进行。Q：Array类型为什么在查询结果里面是string，而不是数组？Array类型搜索结果是通过\t分隔的。Q：OpenSearch能否自行指定分词方式和...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
数据导入性能优化
当索引数据量超过表数据量时，需要检查表中是否有较长的字符串列，这种索引列不仅构建耗时，还占用存储空间，可以删除索引，请参见 删除索引。说明 主键索引无法删除。需要重建表。增加Hint加速导入 在导入任务前增加Hint（direct_batch_...
- 产品推荐
- 这些文档可能帮助您