创建向量索引
为1时，该索引会采用mmap构建索引，该模式不支持删除、更新等操作。0[0,1]示例 假设有一个文本知识库，将文章分割成chunk后，转换为embedding向量，最后存入数据库中，其中切割生成的chunks表包含以下字段：字段 类型 说明 id serial 编号...
库表数太多导致实例卡顿或异常
说明 库表数量多不一定会出现问题，是否出现问题与业务模型和负载等因素也有关系。例如以下两种业务场景，数据库规格相同且都有1万的库表数和10万的总文件数，但面临的问题完全不一样：会计软件系统：访问具备明显的聚集性特征，大多数库表...
电商行业
每个语义实体会被打上相应的类型标签，类型标签重要性低的语义实体在查询中可能会被省略；类型标签重要性高的语义实体会直接影响类目预测模型的训练。比如“耐克修身连衣裙”，实体识别的结果为“耐克/品牌/中”“修身/款式元素/低”...
查询分析概览
同义词功能基本介绍 在实际搜索场景中，会经常出现包含同义词的表达。例如，用户在搜索苹果手机的同时，包含iPhone的内容也能被检索并呈现。同义词功能主要是对查询词进行同义扩展，扩大召回和查询词同义的文档。实体识别功能基本介绍 命名...
分区设计
表的数据将拆解成多个数据分区独立存储，通常的设计原则是：主键（Primary Key）单实例数据库不要求表一定要有主键，但是对于分布式数据库，主键则是必须的，以保证一行数据是全局唯一的，避免迁移过程出现问题。如果用户没有特殊的性能...
创建多元索引
可以选择部分主键列作为路由字段，在进行索引数据写入时，会根据路由字段的值计算索引数据的分布位置，路由字段的值相同的记录会被索引到相同的数据分区中。indexSort 索引预排序设置，包含sorters设置。如果不设置，则默认按照主键排序。...
通过SDK使用多元索引
如果实际业务中要用到非主键列查询、多条件组合查询等多种查询功能，您可以通过控制台为数据表创建多元索引，然后使用多元索引查询与分析数据。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1，数据生命周期（Time ...
功能发布记录
本文介绍了表格存储每次发布涉及...多元索引会自动清理超过保存时间的数据，减少用户的数据存储空间，降低存储成本。2021-12-07 华东1（杭州）、华东1 金融云、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国（香港）、...
MongoDB实例IOPS使用率高问题
创建过多的索引会使数据规模很大，导致WiredTiger Cache缓存的热数据减少，业务数据写操作过程中需要多⼀次I/O操作以更新索引，从而影响I/O性能。为了避免以上情况，建议您创建合适的索引，详情请参见 Indexes。业务架构和运维优化 在业务...
集群负载不均问题的分析方法及解决方案
从结果可以看到查询请求都是普通的term查询，且主日志正常，可以排除ES集群本身出现问题以及存在消耗CPU的查询语句的情况。总结 通过以上分析，可以判断CPU负载不均主要是由于shard分布不均导致的。重新分配分片，确保主shard数与副shard数...
使用限制
支持 说明 当 a BETWEEN b AND c 中 b 和 c 的数据类型不同时，会存在兼容性问题，可能会导致查询结果与不使用列存索引的查询结果不一致问题。GREATEST()支持 说明 当入参分别包含TIME类型和字符串类型时，比较结果可能会与不使用列存索引...
Android Hotfix常见问题索引
1、调试工具相关问题索引 1）调试工具连接应用找不到包名的问题，文档链接 https://help.aliyun.com/knowledge_detail/51446.html 2）一般手机可以调到开发者模式找一下aidl的开关，或者给调试工具自启动权限，或者把调试工具放到白名单中 ...
多元索引最佳实践
在订单场景中，当用户拼接“UserId+商品ID”作为分区键且商品ID是自增的时，如果某个UserId的写TPS过高，则会发生写尾部分区问题，即写入的均为Tablestore数据表的最后一个分区，这样写入数据会影响多元索引的同步延时和查询性能。...
PolarDB MySQL版8.0.2版本发布日志
2024-04-17 问题修复 修复Statement Outline和Concurrency Control等功能在执行Reload操作时，出现的内存泄漏的问题。修复左连接 INFORMATION_SCHEMA 库中的表时结果错误的问题。修复了当已创建DLM策略的表的表结构发生变更后，DLM策略仍能...
常见问题
另外，当数据量很大时，单机分区数也会很多，服务端的并发请求可能会出现排队现象。如果设置固定查询字段进行HASH分区，则查询时只需要扫描某一个或某几个分区。因此，当分区数量较多时，设置固定字段会带来明显的RT和QPS提升。说明 为提升...
二级索引简介
维度 全局二级索引 本地二级索引 同步方式 异步方式 同步方式 第一列主键要求 可选数据表中的任意主键列或者预定义列 必须和数据表的第一列主键相同 同步延迟 毫秒级别 实时 读取一致性 最终一致性 强一致性 功能特性 二级索引的功能特性...
互联网服务：小打卡
在单机RDS的情况下，由于单表数据量大，会出现读性能瓶颈导致APP卡顿甚至崩溃。基于 PolarDB-X+RDS的分布式数据库解决方案能在表拆分成小的物理表后，提供海量数据平稳高并发读能力，保证了客户核心业务的稳定性和高性能。小打卡的圈子打卡...
Task快速重启配置
目前，配置Task快速重启后，如果发生作业Failover，将会出现数据丢失或重复。因此请您一定要先请确保您的业务可以允许出现数据的丢失或重复，再配置Task快速重启。启用Task快速重启后，您可以忽略Flink UI页面上显示的Checkpoint一致性语义...
阿里云Elasticsearch实例FAQ
本文列举了阿里云Elasticsearch（ES）相关的常见问题，包括购买、退订、配置、访问、查询、写入、插件、分词、日志、重启、负载或状态异常、备份与恢复、监控报警等相关问题。常见问题概览 购买或退订实例问题 购买ES实例时选错配置，如何...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
规格容量评估
创建索引前或遇到节点间磁盘使用率差距很大、节点CPU使用率呈现明显的负载不均衡等现象时，评估索引的shard存储量和数量。注意事项 本文根据实际测试结果和用户使用经验提供评估方法。由于不同用户在数据结构、查询复杂度、数据量大小、...
指标含义与异常处理建议
查询算法差异性：例如，阿里云Elasticsearch集群监控和Kibana监控采集数据时都会受集群稳定性的影响，集群监控QPS指标会因集群的抖动会出现监控突增、负值或无监控等状况，而Kibana监控可能显示为空。说明 如果集群监控提供的指标比Kibana...
PolarDB HTAP实时数据分析技术解密
但是应用这个方案的前提是用户需要迁移到对应的NewSQL数据库系统，而这会出现各种兼容性适配问题。一体化的行列混合存储方案 较多副本Divergent Design方法更进一步的方案，是在同一个数据库实例中采用行列混合存储，同时响应TP型和AP型...
列存索引技术架构介绍
默认列索引会全部常驻内存以实现最大化分析性能。但是，当内存不够时也支持将其持久化到共享存储中。在SQL执行器层，重写了一套面向列存的执行器引擎框架（Column-oriented），该执行器框架充分利用列式存储的优势，如以4096行的一个Batch...
升级数据库版本
常见问题 Q：升级过程中，为什么会出现实例切换？是否会有其他严重风险？A：为保证业务稳定，本地SSD盘实例升级采用先备后主的方式，备实例升级完成后，业务自动切换至备实例。ESSD云盘实例升级采用新建节点的方式，新节点升级完成后，业务...
2021年
修复栅格数据导入时可能会出现崩溃的问题。2021年4月 内核小版本（V1.1.11）类别 名称 描述 相关文档 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会被释放。取值范围...
常见问题
本文介绍您在使用全文索引过程中可能遇到的一些问题和解决方法。创建索引时设置shard个数和replica个数 创建索引时设置shard个数和replica个数需要满足以下规则：单个shard的最大document条数不能超过int的最大值，大概21亿。否则就会因...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版 实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版 在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版 的版本如下：PostgreSQL 11（内核小版本1.1.28及以上）...
PolarDB PostgreSQL版：ePQ架构详解
PolarDB PostgreSQL版（兼容Oracle）实现了弹性跨机并行查询（ePQ）特性，能够帮助您解决原先的 PolarDB PostgreSQL版（兼容Oracle）在处理复杂的AP查询时会遇到的问题。前提条件 支持的 PolarDB PostgreSQL版（兼容Oracle）的版本如下：...
基于Indexing Service实现数据流管理
说明 由于数据流nginx-log配置了索引滚动策略，所以在云托管服务上，每次仅保存最新生成的后备索引（本场景中的.ds-nginx-log-2021.04.26-000004），旧的后备索引会自动从云托管上关闭。取消索引托管。独立索引或未设置滚动策略的索引将...
2021年
2021年5月 修复栅格数据导入时可能会出现崩溃的问题。2021年5月 V1.1.11 内核小版本 类别 名称 描述 相关文档 发布时间 新增 idle_session_timeout参数 新增idle_session_timeout参数，用于控制空闲会话的保留时间，超出保留时间的会话将会...
MongoDB 4.4功能概览
隐藏索引（Hidden Indexes）众所周知数据库维护太多的索引会导致写性能下降，但是往往业务上的复杂性导致了运维人员不敢轻易去删除一个潜在的低效率索引，担心误删除会带来业务性能的抖动，而重建索引的代价也非常大。为了解决上述问题，...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
常见问题
本文汇总了使用冷热分离功能时的常见问题。Q：数据什么时候进入冷存储？A：Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储，系统触发时间默认为冷热分界线的一半，最小为1天，最大为 major compaction 周期的一半，major ...
通过Logstash迁移自建Elasticsearch数据
如果同时执行全量和增量数据迁移任务，可能会出现历史数据将更新后的数据覆盖的情况。因此，建议您先执行历史全量数据迁移任务，待任务执行结束后，再启动增量数据滚动迁移任务。步骤四：检查迁移结果 您可以通过查询ES数据源索引和Lindorm...
基本概念
每个集群都应有一个唯一的集群名（ClusterName），同一环境内如果存在同名集群，可能会出现不可知异常。节点（node）一个节点是集群中的一个服务器，用来存储数据并参与集群的索引和搜索。一个集群可以拥有多个节点，每个节点可以扮演不同...
部署和使用跨可用区实例
跨可用区部署可提升集群的容灾能力，系统会自动选择库存充足的可用区创建集群。在索引配置了副本的情况下，当某一可用区出现故障时，剩余的可用区依然可以不间断地提供服务，显著增强了集群的可用性。同时，您可以通过控制台的切流操作，将...
ORDER BY LIMIT执行效率低
问题现象 在RDS MySQL实例中，执行 WHERE$CONDITION ORDER BY$A LIMIT$N 类型的语句时，在$N 值较小的情况下出现执行效率低的问题。查看执行计划，发现优化器选择了$A 作为索引，而不是和$CONDITION 相关的索引。可能原因 问题现象中的SQL...
ORDER BY LIMIT执行效率低
问题现象 在RDS MySQL实例中，执行 WHERE$CONDITION ORDER BY$A LIMIT$N 类型的语句时，在$N 值较小的情况下出现执行效率低的问题。查看执行计划，发现优化器选择了$A 作为索引，而不是和$CONDITION 相关的索引。可能原因 问题现象中的SQL...
HTAP中的行列混存查询优化
因为添加索引是一个 通过将读负载均摊到写入操作 的行为，大量的二级索引会占用大量的存储空间，同时也会减慢数据库的写入效率，虽然MySQL在8.0引入了histogram，但其使用范围有限，仅支持在单表上过滤条件和估计选择率，如果查询语句复杂...
- 产品推荐
- 这些文档可能帮助您