典型慢查询
本文介绍 AnalyticDB MySQL版 中几种典型的慢查询以及导致慢查询的原因。消耗内存的慢查询 查询...过滤条件下推，但是过滤条件设置的范围较大，仍然有大量数据被扫描。需要扫描的分区较多。通常情况下，分区越多意味着需要扫描的数据量越大。
ALTER INDEX
语法 alter_index_statement:=ALTER INDEX[index_name]ON table_name index_state 创建索引后，如果数据库中有存量历史数据需要执行 BUILD INDEX 操作，具体操作请参见 BUILD INDEX。参数 参数说明如下表：参数 说明 index_name 索引表名。...
索引重建导数原理
定时索引重建 线下变更 高性能检索版 RDS/polarDB RDS/polarDB全量 RDS/polarDB全量 RDS/polarDB+DTS增量 RDS/polarDB全量+DTS增量 RDS/polarDB全量+DTS增量 MaxCompute全量+API推送增量 MaxCompute全量 MaxCompute数据源全量+索引重建中...
计费案例
3.6秒/3600=0.001小时 0.35元/核*小时 0.00035元 按写入数据量计费案例 案例1 A客户写入数据量1天10 TB，数据保存30天，同时使用到了数据加工、查询分析、定时SQL、智能告警、数据投递等功能，具体明细如下表所示：计费项 说明 日计量 单价...
批量数据合并
参数说明 IN1端口-输入参数 参数名 参数描述 是否必填 输入数据类型 数据源类型 IN1-索引列 配置IN1端口输入数据的索引列。IN1索引和IN2索引的个数要相同。是 不限 说明 IN1-索引列和IN2-索引列对应的参数的输入数据类型需一致。csv组件。...
ALTER INDEX
如果需要导入或更新大量数据，建议在导入或更新前通过ALTER INDEX禁用索引以保证导入效率，提高更新速度。引擎与版本 ALTER INDEX 语法仅适用于宽表引擎。无版本限制。重要 使用 ALTER INDEX 修改搜索索引、列存索引要求Lindorm SQL为 2.6....
数据存储冷热分离
cold_total_size 冷分区总数据量（单位：Byte），是 cold_data_size 和 cold_index_size 的总和。cold_data_size 冷分区的数据量（单位：Byte）。cold_index_size 冷分区数据的主键和索引大小（单位：Byte）。table_usage表说明：table_...
全量数据索引构建
全量数据构建 在HBase Shell中执行 build_external_index 为HBase表中的历史数据构建索引，该命令是异步执行的。重要 全量构建索引过程中，会阻塞HBase表的DDL操作，直到构建完成才能继续执行，但不会影响表的读写。hbase shell>build_...
索引优化
大数据集场景下优先考虑稀疏索引：如果您的数据量非常地大，并且您的查询限定条件为<、、=、>=、>，需要从大数据量的表中取出少于50%的数据，那么使用稀疏索引（BRIN Index或者AOCS表的metascan）可以极大地减少无效数据的加载。...
开发运维建议
建议避免全表扫描（大数据量扫描的数据分析除外），PostgreSQL支持几乎所有数据类型的索引。索引接口包括：B-Tree、Hash、GIN、GiST、SP-GiST、BRIN、RUM（扩展接口）、Bloom（扩展接口）、PASE（扩展接口）。主键索引建议以 pk_开头，唯一...
二级索引计量计费
索引表的数据量是索引表中所有行的数据量之和，所有行的数据量是所有单行数据的主键和属性列数据量之和。更多信息，请参见 数据存储量。构建索引表的读吞吐量 为数据表创建二级索引时，会产生一定量的读吞吐量。具体规则请参见下表。操作...
使用扩展属性定制列存索引
3：Tradeoff，与kSkip4K相比较更进一步，当写入的数据量小于1 MB（IMCI IO单位大小）时等价于ForPerformance，写入的数据量大于或等于1 MB时，尽可能地将数据分割到不同的文件中。未指定write_policy时，默认使用全局参数 loose_imci_...
通过_shrink API快速减少主分片数
在Elasticsearch集群中创建索引时，如果您无法评估实际数据量，可能导致设置的主分数很大，但实际业务的数据量并不多，此时您需要减少主分片数，防止因主分片数太多导致集群资源消耗过大或影响查询写入速率等。本文为您介绍如何通过_shrink...
通过Reindex API迁移自建Elasticsearch数据
password 步骤二：迁移数据 全量数据迁移 如果您的自建ES集群中的数据源索引不再有任何变化，即没有文档的增、删、改，则可以通过全量数据迁移的方式将数据源索引中的所有文档迁移至Lindorm搜索引擎。通过在Lindorm搜索引擎上执行Reindex...
慢日志
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的...
慢SQL
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。常见问题 Q：为什么会出现慢日志记录的SQL执行完成时间与SQL语句的...
慢日志分析
对于大数据量复杂查询，推荐使用列存索引（IMCI）提升查询性能。在 慢日志明细 区域，单击目标SQL 操作 列的 优化 和 限流，也可对目标SQL进行 SQL诊断优化 和 SQL限流。查看全局慢日志 若您有多个数据库实例，您可以在 全局慢日志趋势 ...
列存索引技术架构介绍
在处理大数据量下复杂查询所需要的能力方面，如优化器处理子查询的能力、高性能算子HashJoin、SQL并行执行能力等，MySQL社区一直将其放在比较低优先级上，因此，MySQL的数据分析能力提升进展缓慢。随着MySQL发展为世界上最为流行的开源数据...
手动/定时索引重建
如果有涉及到应用结构变更、或者需要导入全量数据的情况下，需要进行索引重建操作。目前有4种操作会触发索引重建：手动索引重建：一般用于修改应用结构或者导入全量的用户数据时使用；定时索引重建：一般用于 MaxCompute 等数据源每天导入...
指标含义与异常处理建议
重要 强烈建议您配置该监控指标，以便在发生报警时，及时扩容磁盘和节点或清理索引数据等，避免影响集群服务。节点磁盘使用率不仅包含了阿里云Elasticsearch系统级别的资源的占用情况，也包含了Elasticsearchs任务的资源占用情况。old区...
搜索索引使用限制
云原生多模数据库 Lindorm 的搜索索引（SearchIndex）服务在使用过程中存在一些限制，本文介绍搜索索引的使用限制。搜索索引（SearchIndex）服务在使用过程中存在以下限制：数据类型 索引列支持的数据类型包括：BOOLEAN，BYTE，SHORT，INT...
通过Logstash迁移自建Elasticsearch数据
步骤三：数据迁移 全量数据迁移 如果您的自建ES集群中的数据源索引不再有任何变化，即没有文档的增、删、改，则可以通过全量数据迁移的方式将数据源索引中的所有文档迁移至Lindorm搜索引擎。创建Logstash配置文件 fulldata.conf，用于配置...
产品优势
本文介绍了 表格存储 的优势，包括多模型数据存储、多元化数据索引、多计算生态接入、访问安全性等。多模型数据存储 表格存储 支持宽表（WideColumn）模型、时序（TimeSeries）模型、消息（Timeline）等多种数据存储模型，能实现多种类型...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
扩缩分片
执行快速扩缩分片后，会基于选中的全量索引版本自动生成新配置，同时将实例中当前配置编辑内容覆盖 每次快速扩/缩分片只能选择一个数据源进行操作；快速扩缩分片功能操作后，默认自动切换上线；快速扩缩分片功能不支持带有向量索引的索引表...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表的同时支持创建一个或者多个索引表。说明 创建数据表后需要几秒钟进行加载，在此期间对该数据...
创建时空索引
时空索引包括Z-ORDER索引和网格二级索引，合理使用时空索引可以有效提高时空查询的效率。本文介绍创建两种时空索引的方法和示例。Z-ORDER索引 Z-ORDER索引分为Z-ORDER主键索引和Z-ORDER二级索引两种。使用区别 下表介绍Z-ORDER主键索引和Z-...
API 数据源
本文将介绍以API为数据源时如何添加表。添加表 在 实例详情>表管理页，点击 添加表：填写...即可在查询测试页面进行查询测试：注意事项 API数据源索引重建时会将以前推送的数据清空，从指定的时间戳开始追实时数据，所以API数据源全量要慎重。
从索引中恢复数据
因此为保证用户API推送数据的完整性，召回引擎版提供了从当前全量版本中恢复数据的功能，保证用户API推送的数据可以在下一次全量版本中保留，其原理如下图：操作步骤 需求：API数据源有全量需求（修改索引表、修改词典等），但需要保证新全...
从索引中恢复数据
因此为保证用户API推送数据的完整性，向量检索版提供了从当前全量版本中恢复数据的功能，保证用户API推送的数据可以在下一次全量版本中保留，其原理如下图：操作步骤 需求：API数据源有全量需求（修改索引表、修改词典等），但需要保证新全...
算子
TableScan 该算子用于从数据源读取数据，如果需要过滤数据，那么数据过滤由底层数据源使用索引高效完成。TableScan算子包含了以下属性。属性 说明 TableName 扫描的数据所属表名。SelectFields 表扫描节点扫描的字段。DataBase 扫描的数据...
数据表操作
如果要为数据表配置数据生命周期等，请打开 高级设置 开关并配置数据生命周期、最大版本数、数据有效版本偏差、预留读吞吐量或者预留写吞吐量。单击 确定。创建数据表后，请根据实际需要执行相应操作管理数据表。操作 说明 列出表名称 在 ...
全局二级索引（GSI）
PolarDB MySQL版 支持在分区表上创建全局二级索引（Global ...由以上的测试结果可以看出：在查询条件不包含分区键的场景中，执行 SELECT、UPDATE 和 DELETE 命令时，使用全局二级索引的执行耗时较短，且数据量越大执行耗时差异越明显。
聚类分片
适用场景 聚类分片方式适用于数据量非常大的情况（十亿数据量级），特别是query数据量极大的场景。适用于构建一次索引，后续多次查询该索引（即一次build，多次seek）的场景。说明 聚类索引分片划分方法需要对doc集合进行kmeans聚类，产生...
产品架构
多元化数据索引 除了支持主键查询，表格存储 还支持二级索引和多元索引的索引方式，提供强大的数据查询能力。索引类型 描述 数据表主键 数据表类似于一个巨大的Map，它的查询能力也就类似于Map，只能通过主键查询。二级索引 通过创建一张或...
创建二级索引
MainTableName:tableName,IndexMeta:indexMeta,/*通过将IncludeBaseData参数设置为true，创建索引表后会开启数据表中存量数据的同步，然后可以通过索引表查询全部数据，同步时间跟数据量的大小有一定的关系。IncludeBaseData:true,} resp,...
如何选择二级索引和多元索引
在实际业务中，主键查询也常常不能满足需求，而使用Filter在大数据量时效率很低。Tablestore推出了二级索引和多元索引两个功能来弥补原生Tablestore查询方式单一的缺点。索引介绍 表格存储提供了二级索引和多元索引用于加速数据查询。二级...
快速扩缩分片
执行快速扩缩分片后，会基于选中的全量索引版本自动生成新配置，同时将实例中当前配置编辑内容覆盖 每次快速扩/缩分片只能选择一个数据源进行操作；快速扩缩分片功能操作后，默认自动切换上线；快速扩缩分片功能不支持带有向量索引的索引表...
创建二级索引
创建索引表后会开启数据表中存量数据的同步，然后可以通过索引表查询全部数据，同步时间和数据量的大小有一定的关系。client.create_secondary_index('<TABLE_NAME>',index_meta,True)创建本地二级索引 以下示例用于在主键为pk1、pk2的数据...
- 产品推荐
- 这些文档可能帮助您