索引和ORDER BY
规划器会考虑以两种方式来满足一个 ORDER BY 说明：扫描一个符合说明的可用索引，或者先以物理顺序扫描表然后再显式排序。对于一个需要扫描表的大部分的查询，一个显式的排序很可能比使用一个索引更快，因为其顺序访问模式使得它所需要的...
离线同步数据质量排查
以下介绍最常见的关系型数据库的写出模式（不同数据源类型写出模式不同）：insert into 将数据使用insert into的SQL语句写出至目标端，如果写出数据和目标存储已有数据发生数据约束（主键冲突、唯一键约束、外键约束等），则来源数据会作为...
索引加速
该结构是一种有序的数据结构，可以按照指定的列进行排序存储。在这种数据结构上，以排序列作为条件进行查找，会非常的高效。在Aggregate、Unique和Duplicate三种数据模型中，底层的数据存储是按照各自建表语句中AGGREGATE KEY、UNIQUE KEY...
常见问题
表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线...
CLUSTER
因为规划器会记录有关表顺序的统计信息，建议在新近被聚簇的表上运行 ANALYZE。否则，规划器可能会产生很差的查询计划。因为 CLUSTER 会记住哪些索引被聚簇，我们可以第一次手动聚簇想要聚簇的表，然后设置一个定期运行的维护脚本，其中...
产品优势
二级索引：相当于给数据表提供了另外一种排序方式，即对查询条件预先设计了一种数据分布，可加快数据查询的效率。多元索引：基于倒排索引和列式存储，支持多字段自由组合查询、模糊查询、地理位置查询、全文检索等，可解决大数据的复杂查询...
数据结构设计
分布式文件存储数据库(MongoDB)关系型数据库(MySQL)数据库（database）数据库（database）表（collection）表（table）记录（document）行（row）域（field）列（column）索引（index）索引（index）自动将_id 字段作为主键 主键（primary ...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
顺序消息
有限重试 云消息队列 RocketMQ 版 顺序消息投递仅在重试次数限定范围内，即一条消息如果一直重试失败，超过最大重试次数后将不再重试，跳过这条消息消费，不会一直阻塞后续消息处理。对于需要严格保证消费顺序的场景，请务必设置合理的重试...
列存表使用排序键和粗糙集索引加速查询
本文介绍如何在列存表中使用排序键结合粗糙集索引，从而提高查询性能。重要 本文适用于：存储预留模式：数据库内核版本为20200826版本之后的新建实例。存储弹性模式：数据库内核版本为20200906版本之后的新建实例。背景信息 当您创建表的...
Beam排序优化（7.0版）
若您经常针对Beam表的某几列进行范围查询或等值筛选时，您可以使用Beam排序键（组合排序键或多维排序键），获得更优的查询性能。Beam支持在创建表时指定一个或者多个排序键，系统会按照排序键持续对写入数据进行排序。当数据有序后，Beam在...
排序优化
ORDER BY加速 排序加速前（未排序）排序加速后 GROUP BY加速 排序加速前（未排序）排序加速后 JOIN加速 排序加速前（未排序）排序加速后 说明 JOIN排序加速需要关闭ORCA功能，打开mergejoin功能，语句如下：SET enable_mergejoin TO on;...
INSERT
INSERT语句用于插入新的行数据至表中。本文为您介绍在交互式分析Hologres中如何使用INSERT插入数据。命令介绍 您可以插入一个或多个由表达式指定的行，以及插入来自一个查询的零行或多行数据至Hologres。语句如下。INSERT INTO<schema>.[(...
小表广播
业务中存在一些配置表，存储重要的配置，读多写少。在实际业务查询中，很多业务表会和配置表进行联合数据查询。但在数据库水平拆分后，配置表是无法拆分的。因此，数据访问代理提供了小表广播功能，支持配置表同步至目标数据库的所有分库。...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
测试模型
表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载...
如何选择二级索引和多元索引
索引表相当于给数据表提供了另外一种排序方式，即对查询条件预先设计了一种数据分布，加快数据查询的效率。更多信息，请参见 二级索引简介。索引表的查询方式仍然是基于主键点查、主键范围查、主键前缀范围查询。为了确保主键的唯一性，...
宽表模型介绍
宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、宽行、多版本数据以及生命周期管理特点，支持主键列自增、局部事务、原子计数器、过滤器、条件更新等功能。模型介绍 表格存储 宽表模型是类Bigtable/...
表操作篇
设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是最小的分区单位，相同的分区键值下的数据无法再做切分。为了防止某一个分区键值的数据成为访问热点造成单机服务能力...
多元索引最佳实践
本文从数据表设计、多元索引设计、多元索引使用三个方面介绍了使用多元索引的最佳实践。数据表相关设计实践 主键设计 Tablestore数据表根据分区键进行Range范围分区，主键的设计会影响多元索引的同步速度和部分场景下的查询水平拓展。主键...
表索引诊断
统计信息日志表（hologres.hg_table_info）用于收集实例中表的相关元数据，包括创建时间、存储量等信息，以便业务对表做精细化治理。基于hg_table_info表，Hologres提供了表索引诊断功能，通过对表的索引（存储模式、索引设置）等不同维度...
创建Hologres内部表
Hologres可通过DDL方式创建Hologres内部表，也可使用DataWorks提供的可视化方式创建。本文为您介绍如何使用DataWorks可视化方式创建Hologres内部表。前提条件 工作空间已绑定Hologres引擎。详情请参见 绑定Hologres计算引擎。创建表的用户...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
表结构发布流程化
本文以设计结构（Develop，简称Dev）、测试（Test）、生产发布（Product）的表结构设计步骤向您介绍规范、安全的表结构发布流程。背景信息 在新项目、新需求或者优化等业务场景中，一般会涉及到新建表、修改表（加减字段、加减索引、调整...
表设计规范
表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表的数据量大小。对表数据的生命周期进行正确的管理，也能够直接降低存储的数据量及存储成本。降低计算成本 规范化的表设计可以帮助您优化数据的读取...
DDL多路归并排序
PolarDB 新增DDL多路归并排序功能。数据库大表中建立索引的DDL操作通常非常耗时，您可以通过DDL多路归并排序功能，缩短建立索引的DDL操作中索引排序的时间。前提条件 PolarDB 集群版本需满足如下条件之一：PolarDB MySQL版 8.0.2版本且修订...
账单和用量查询
低频存储写流量：低频介质写流量按量付费。配置容量：极速型NAS配置容量。数据流动带宽：CPFS数据流动带宽按量付费。存储容量：CPFS按量付费或极速型NAS按量付费。容量：CPFS包年包月配置容量。单价 按小时计费，不同的计费项单价不一样，...
方案设计
合理的表结构设计可以提高查询效率，在设计表data时，使用四个主键列：主键 说明 GridDataSetId 数据集Id，唯一标记这个数据集。Variable 变量名，即五维模型中的第一维。Time 时间，即五维模型中的第二维。Z 高度，即五维模型中的第三维。...
Hash Clustering
哈希聚簇（Hash Clustering）表通过设置表的Shuffle和Sort属性，进而MaxCompute根据数据已有的存储特性，优化执行计划，提高效率，节省资源消耗。本文为您介绍在MaxCompute中如何使用Hash Clustering表。背景信息 在MaxCompute查询中，连接...
OpenSearch-行业算法版文档排序实践
行业算法版中代表全局排序，而排序策略可以理解为sort子句中的一个层级的排序，排序策略是通过系统内置的函数结合表达式形成一种复杂的文档算分逻辑来实现用户复杂的业务场景，但最终参与排序的还是排序策略中表达式算出的最终得分。...
Kafka数据接入
如果 自动创建目标表 选择 否，表名称需与 表格存储 实例中已有表名称相同。kafka_table 表格存储 存储同步数据的表类型。推荐使用时序模型，作为物联网场景中的标准数据。取值范围如下：宽表模型 时序模型 时序模型 消息 Key 格式 消息Key...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文以物理库为例，介绍进行结构设计的...
实时存储引擎
本文介绍 云原生数据仓库AnalyticDB MySQL版 的实时存储引擎。背景 云原生数据仓库AnalyticDB MySQL版 作为一款实时数仓产品，为了支持低延迟的写入、更新场景，在传统数仓能力基础上，设计了实时存储引擎。数据写入和更新会以Append_only...
现代IM系统中的消息系统—架构
保证永远插入队尾：Timeline中是根据同步位点也就是顺序ID来同步消息，所以需要保证新写入的消息数据的顺序ID绝对不能比已同步的消息的顺序ID还小，否则会导致数据漏同步，所以需要支持对新写入的数据自动分配比当前已存储的所有消息的顺序...
产品简介
产品简介 阿里巴巴通义实验室千寻搜索算法，基于达摩院长期积累的自然语言处理技术，专注企业统一搜索场景，提供精准的多源异构搜索，以PaaS服务形式提供离线数据处理和搜索服务API。同时支持公有云、专有云、基于云原生的基础架构下混合云...
逻辑表结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、生产环境）之间结构的一致性。本文介绍逻辑表结构设计的方法。背景信息 分...
OpenSearch文档排序实践
排序策略说明 排序策略打分原理 对于排序策略的算分分为两个阶段：基础排序和业务排序，通过query召回并通过filter过滤后的文档，首先进入基础排序，根据基础排序表达式海选出文档得分较高的文档，然后取出TOP N个结果再按照业务排序表达式...
通过PrestoDB使用Tablestore
批量导入数据 重要 批量导入数据前，请确保已创建目标表，且目标表的表结构与源数据表的表结构保持一致。以下示例用于将main_table表中gid大于0且uid小于10000的gid、uid、c1、c2和c3列数据批量导入到sampletable表中。insert into ...
多元索引介绍
用户为数据表创建了多元索引后，当在数据表中写入数据时，数据会先写入数据表中，数据写成功后会立即返回用户写成功，同时另一个异步线程会从数据表中读取写入的数据然后写入到多元索引，采用异步方式创建多元索引不会降低表格存储的写入...
- 产品推荐
- 这些文档可能帮助您