数据导出到OSS概述
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。读取表格存储数据时会消耗计算资源，计算资源的计费涵盖在计算能力费用中。按量模式：计费项包括读吞吐量、写吞吐量、...
术语表
局部索引 存储节点内，由MySQL维护的索引。又称二级索引。全局二级索引（Global Secondary Index，简称GSI）全局的二级索引，索引中的数据按照指定的拆分方式分布在各个存储节点上。聚簇索引 一种特殊的全局二级索引，默认覆盖列包含主表的...
使用须知
问题描述：如果用户对应的索引存储的cache在一定时间内没有被访问，那么会从cache中删除。解决方法：重启queryserver或者重客户端，或者重新设置cache的过期时间。对于数据量较大的复杂查询（JOIN、ORDER BY、GROUP BY），您需要合理地控制...
索引表配置
注意：TIME/DATE/TIMESTAMP类型的正排索引存储含义如下：DATE:从1970.01.01到date的天数（单值4字节存储）,用户如有需要可以取值后乘以86400000（单日ms总数）换算为时间戳。TIME：从00:00:00到time的毫秒数（单值4字节存储）。TIMESTAMP:...
索引表配置
注意：TIME/DATE/TIMESTAMP类型的正排索引存储含义如下：DATE:从1970.01.01到date的天数（单值4字节存储）,用户如有需要可以取值后乘以86400000（单日ms总数）换算为时间戳。TIME：从00:00:00到time的毫秒数（单值4字节存储）。TIMESTAMP:...
时序模型介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的...
基于Indexing Service实现数据流管理
在阿里云Elasticsearch 7.10内核增强版Indexing Service系列中，推荐使用 数据流管理，可以帮您实现跨多索引存储仅追加时间序列数据，为请求提供唯一的命名资源；并且您可以根据关联的索引模板和Rollover策略实现自动取消托管，从而达到...
通过OpenStore智能混合存储实现海量数据存储
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本，智能混合存储可突破传统冷热分离架构，大幅降低集群数据接入复杂度的同时，进一步降低云上海量...
工作流模板与算子
建立索引过程会产生算子计费和索引存储费用。费用详情请参见 计费项。工作流模板 IMM提供的工作流模板如下表所示。TemplateId 说明 Official:DefaultEmptyId 空模板。在建立元数据索引时，所有算子都不操作，不会产生元数据信息。Official:...
OpenStore智能存储引擎介绍
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持根据实际存储数据量按量计费，无须提前预留集群存储容量，真正做到存储Serverless。OpenStore存储支持自定义冷热存储版本与智能混合...
开源Elasticsearch FAQ
本文列举了一些开源Elasticsearch（ES）相关的常见问题，例如，如何配置索引线程池大小，如何重新分配索引分片，如何批量删除索引等。常见问题概览 如何配置索引线程池大小？出现内存溢出OOM（OutOfMemory）的错误，如何处理？如何手动对...
表设计
说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀，避免热点。假设数据分布不均匀，会出现以下...
基于reindex实现低版本多type数据迁移
阿里云Elasticsearch实例：存储索引数据。阿里云Logstash实例：通过管道配置功能，迁移处理后的数据。步骤一：转换索引类型 通过reindex，将阿里云Elasticsearch 5.x实例中的多type索引转换为单type索引。您可以通过以下两种方式来实现：...
TimeStream管理Elasticsearch时序数据快速入门
指标字段：支持double和long类型，只存储doc_values，不存储索引。如果您需要自定义索引的模板信息，可直接使用index_template语法，示例如下：自定义索引的shard数量 PUT_time_stream/test_stream {"template":{"settings":{"index":{...
使用索引压缩插件beta版本（codec-compression）
背景信息 codec-compression插件支持brotli和zstd压缩算法，适用于写入量大、索引存储成本高的场景，例如日志场景、时序分析场景等，可以大大降低索引的存储成本。性能测试信息如下：测试环境 机器配置：数据节点16核64 GB*3+2 TB SSD云盘...
多元索引介绍
预留模式：计费项包括计算能力、数据存储量和外网下行流量，其中数据存储量包括高性能存储、容量型存储和多元索引存储。使用多元索引时，索引数据量占用的存储空间为多元索引存储，通过多元索引查询与分析数据会消耗计算资源。按量模式：...
通过表格存储控制台查看监控数据
通过表格存储控制台，您可以查看实例的每秒请求次数、行数统计、流量统计、CapacityUnit等监控数据，查看数据表、二级索引表或者多元索引的平均访问延迟、每秒请求次数等监控数据以及多元索引的存储量、预留读CU、行数等计量数据。...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
如何实现一键转冷存
参数 参数名称 描述 relname 分区表（父表）名称 reserved_subparts_cnt 存储位置不变的子分区表数量 说明 该函数只用于分区表，且只会将分区表子分区表数据转为OSS存储，子分区表上的索引数据存储位置不变。如果 reserved_subparts_cnt 为...
高速全文检索（RUM）
GIN索引不存储词汇的位置，因此在索引扫描之后，需要额外的扫描来检索词汇位置。短语查询慢 GIN索引需要位置信息来执行短语搜索。时间戳排序慢 GIN索引无法在带有词素的索引中存储一些相关信息，因此需要执行额外的扫描。基于GIN索引，RDS ...
在DMS中为MySQL建立索引时出现“Specified key was ...
max key length is 767 bytes 问题原因 以MySQL的varchar、char等字符串类型字段作为索引时，单个索引字段存储长度超过了767字节。解决方法 请根据实际情况选择对应的解决方法：启用innodb_large_prefix参数 如果您使用的是云数据库RDS，...
多元索引计量计费
使用多元索引时，索引数据会产生额外的数据存储量，索引查询也会消耗读吞吐量。本文介绍了多元索引的计费项、计费公式、计费示例以及常见问题。注意事项 索引单独计量计费，和数据表无关。多元索引的各计费项的价格和高性能实例费用一致。...
0004-00000302
单个阿里云账号的总QPS为10,000，但在不同的读写方式下，实际能达到的值如下：顺序读写：2,000 如果您在上传大量文件时，在命名上使用了顺序前缀（如时间戳或字母顺序），可能会出现大量文件索引集中存储于存储空间中某个特定分区的情况，...
搭建订单系统
步骤二：创建数据表多元索引 表格存储自动做全量、增量的索引数据同步。您可以通过控制台、命令行工具或SDK方式创建和管理多元索引。具体操作，请参见 通过控制台使用多元索引、通过命令行工具使用多元索引 或 通过SDK使用多元索引。步骤三...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
二级索引计量计费
索引表相关的计费项包括索引表数据存储量、构建索引表的读吞吐量、构建索引表的写吞吐量和索引表读吞吐量四部分。计费项 说明 索引表数据存储量 索引表的数据存储费用。单位为GB。构建索引表的读吞吐量 为了支持索引行的计算（旧行删除、新...
方案实现
步骤二：创建数据表索引 表格存储自动进行全量、增量的索引数据同步。您可以通过控制台、命令行工具或者SDK方式创建和管理多元索引。具体操作，请参见 通过控制台使用多元索引、。步骤三：导入数据 控制台 项目样例 中插入了1亿条数据，您...
深度解析Lindorm搜索索引（SearchIndex）特性
索引存储 索引数据存储在分布式文件系统Lindorm DFS上，存算分离的架构具有极好的扩展性，同时存储层的透明压缩和智能冷热分离可以显著降低索引的存储成本。核心特性 Online DDL Operations 作为一个分布式数据库，Lindorm可以横向扩展支持...
HASH索引
由于HASH索引只存储HASH值，不会存储实际的索引键值，所以适合字段长度较长，且字段选择性好的等值查询场景。索引结构 HASH值转换，HASH值映射到某个bucket。bucket数量为2的N次方。metapage包含索引内部的相关信息。每个bucket内至少一个...
方案背景
表格存储的分布式存储和强大的索引引擎能够支持PB级存储、千万TPS以及毫秒级延迟的服务能力。更多信息，请参见 什么是表格存储。多元索引基于倒排索引、列式存储、空间索引等，可解决大数据的复杂查询、分析聚合等需求。通过为数据表创建...
如何选择二级索引和多元索引
本文通过对原生Tablestore查询、二级索引（Secondary Index）和多元索引（Search Index）三种查询场景进行详细分析，为您提供索引的选择建议。详细分析请参见 Tablestore存储和索引引擎详解。背景信息 表格存储的数据查询依赖主键，主要是...
实时精准营销（人群圈选）
圈选条件组合多样化，没有固定索引可以优化，如果每个字段一个索引，存储空间又会暴增。性能要求高，因为实时营销要求秒级响应。数据更新时效要求高，用户画像要求近实时的更新，否则可能圈选到不精准用户（例如用户昨天在浏览手机，昨晚已...
监控与日志
多元索引计量数据 在数据表的 索引管理 页签，单击多元索引 操作 列的 索引详情，查看多元索引的存储量、预留读CU、行数等计量数据。时序表监控数据 在时序表的 监控指标 页签，查看时序表的表大小监控数据。健康状态监控 建议实时了解云...
GIN和GiST索引类型
GIN 索引只存储 tsvector 值的词（词位），并且不存储它们的权重标签。因此，在使用涉及权重的查询时需要一次在表行上的重新检查。一个 GiST 索引是 有损的，这表示索引可能产生假匹配，并且有必要检查真实的表行来消除这种假匹配（本数据...
概述
该场景涵盖的面很广，例如：实时指标监控 推荐模型 广告平台 搜索模型 Apache Druid架构 Apache Druid拥有优秀的架构设计，多个组件协同工作，共同完成数据从摄取到索引、存储和查询等一系列流程。Druid工作层（数据索引以及查询）包含以下...
物联网存储介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
倒排索引类型
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
倒排索引类型
PACK 索引 PACK索引介绍 PACK索引是多字段索引。对TEXT类型的字段建立索引。与TEXT索引相比，该索引将多个TEXT字段合并，建立一个索引，共同检索；该索引还可存储段落信息，用于查询每一个检索词所在的段落及相关信息。可以采用截断，高频...
概述
说明 全局二级索引和多元索引的更多信息请参见 海量结构化数据存储技术揭秘：Tablestore存储和索引引擎详解。表分区裁剪：根据过滤条件进行逻辑分区（Split）的细化匹配，提前筛选出无效的Split，降低服务端的数据出口量。Projection和...
通过OpenStore自定义冷热存储实现海量数据存储
OpenStore存储引擎是阿里云Elasticsearch针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本。本文介绍使用OpenStore自定义冷热存储实现海量数据存储的方法。背景信息 在日志全观测场景下，通常...
- 产品推荐
- 这些文档可能帮助您