排序优化
ORDER BY加速 排序加速前（未排序）排序加速后 GROUP BY加速 排序加速前（未排序）排序加速后 JOIN加速 排序加速前（未排序）排序加速后 说明 JOIN排序加速需要关闭ORCA功能，打开mergejoin功能，语句如下：SET enable_mergejoin TO on;...
列存表使用排序键和粗糙集索引加速查询
性能对比结果 排序方式 Q1 Q2 Q3 组合排序 0.07s 3.35s 3.64s 多维排序 0.44s 0.28s 0.047s 结论 对于Q1场景，由于包含排序键的首列，所以组合排序的效果非常好，而多维排序则会相对性能弱一些。对于Q2场景，由于不包含排序键的首列，组合...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
DoMetaQuery
调用 DoMetaQuery 接口查询满足指定条件的文件（Object），并按照指定字段和排序方式列出文件信息。您也可以通过Query的嵌套使用实现复杂查询，以及通过聚合操作实现对不同字段的值进行统计和分析。注意事项 要查询满足指定条件的文件，您...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
功能发布记录
本文介绍了表格存储每次发布涉及的功能变更及对应的文档，帮助您了解 表格存储 的发布动态。2023年 2023年12月 功能名称 功能描述 发布时间 发布地域 相关文档 时序分析存储商业化 使用分析存储（Analytical Store）功能，您可以低成本存储...
多元索引介绍
多元索引基于倒排索引和列式存储，可以解决大数据的复杂查询难题，包括非主键列查询、全文检索、前缀查询、模糊查询、多字段自由组合查询、嵌套查询、地理位置查询、统计聚合（max、min、count、sum）等功能。多元索引在车联网场景中主要...
存储引擎
AnalyticDB PostgreSQL版 存储引擎基于PostgreSQL实现，在继承了PostgreSQL存储引擎可扩展、高可用、强事务能力的基础同时，还具备如下特性：多种表类型：存储引擎同时支持行存表和列存表，行存表适用于高频数据增删改和点查场景，列存表...
多元索引功能
多元索引的核心功能包括任意列的查询（包括主键列和非主键列）、多字段自由组合查询、地理位置查询、全文检索、模糊查询、前缀查询、嵌套查询、去重、排序、查询数据总行数和统计聚合，请根据实际场景需要使用。多元索引部分功能可以实现与...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
使用前须知
简单上传 修改Object存储类型 数据无法访问、计费规则变化 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意Object的存储类型。如果您将.dlsdata/下任意Object的存储类型修改为低频类型时，通过OSS-HDFS...
媒资搜索协议
类型 描述 返回字段 精确匹配 模糊匹配 多值查询 范围查询 排序字段 MediaId String 辅助媒资ID ✓ ✓×AppIdString String 应用ID ✓×✓×CateId Long 分类ID×✓×Categories Category[]分类ID列表 ✓×StorageLocation String 存储区域...
pg_statistic
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
如何优化高并发IM系统架构
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时，最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
现代IM系统中的消息系统—架构
本章节主要介绍现代IM系统中的消息系统架构以及基于表格存储（Tablestore）自研的Timeline模型构建的消息系统。基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
异常处理
OSS常见错误码 错误码 描述 AccessDenied 拒绝访问 BucketAlreadyExists 存储空间已经存在 BucketNotEmpty 存储空间非空 EntityTooLarge 实体过大 EntityTooSmall 实体过小 FileGroupTooLarge 文件组过大 FilePartNotExist 文件分片不存在 ...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
错误处理
常见错误码 错误码 描述 HTTP 状态码 AccessDenied 拒绝访问 403 BucketAlreadyExists 存储空间已存在 409 BucketNotEmpty 存储空间非空 409 EntityTooLarge 实体过大 400 EntityTooSmall 实体过小 400 FileGroupTooLarge 文件组过大 400 ...
方案设计
传统方案中主要是通过MySQL等关系型数据库来存储，在本方案中我们通过单独的meta表来存储，并通过表格存储的多元索引功能来实现多条件的组合查询和多种排序方式，相比传统方案更加易用。在查询格点数据之前，一般要知道格点数据中各维度的...
表格存储建表注意事项
表格存储支持半结构化的表，即建表时只需要指定主键列（1至4列），不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制，且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时，表格存储需要应用程序指定...
概述
企业和组织一般将数据存储视为辅助服务，在数据上云后不会优化存储，也不会清理未使用的存储，从而使这些服务以巨额成本长期运行。根据 RightScale的博客文章，大约有7％的云上支出浪费在未使用的存储卷和旧快照（存储卷的副本）上。阿里云...
异常处理
OSS常见错误码 错误码 描述 HTTP状态码 AccessDenied 拒绝访问 403 BucketAlreadyExists 存储空间已经存在 409 BucketNotEmpty 存储空间非空 409 EntityTooLarge 实体过大 400 EntityTooSmall 实体过小 400 FileGroupTooLarge 文件组过大 ...
OSS小时数据
取值如下：standard：标准存储-本地冗余 IA：低频访问-本地冗余 archive：归档存储-本地冗余 coldarchive：冷归档存储 deepcoldarchive：深度冷归档存储 standard-zrs：标准存储-同城冗余 IA-zrs：低频访问-同城冗余 archive-zrs：归档存储...
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
附录：字段和操作符的支持列表
本文介绍了简单查询条件、聚合操作以及排序操作中支持的字段（Field）和操作符（Operation），以及字段对相应操作符的支持情况。注意事项 简单查询条件中支持使用的操作符包括eq（等于）、gt（大于）、gte（大于等于）、lt（小于）、lte...
什么是混合云存储
混合云存储包括 SA混合云存储阵列、CPFS并行文件存储、SDS分布式存储 和 HCI超融合 等多种形态，您可以像使用本地存储一样使用和管理本地和云端的各种存储资源（块、文件和对象）。本地存储可以通过云缓存、云同步、云分层、云备份等方式...
通过控制台使用多元索引
系统默认关闭排序功能，如需根据索引字段对返回结果进行排序，打开 是否排序 后，根据需要添加索引字段并配置排序方式。单击 确定。符合查询条件的数据会显示在 索引管理 页签中。附录：管理多元索引 创建多元索引后，请根据需要执行相应...
现代IM系统中的消息系统—实现
本文主要以钉钉（DingTalk）的功能为参照，详细说明如何基于表格存储的Timeline模型实现钉钉的IM功能。以下内容按照聊天系统的消息存储、关系维护、即时感知、多端同步四个功能模块分块，分别介绍每一部分的功能、方案介绍、表设计以及实现...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
SQL查询
创建分析存储的映射关系后，您可以使用SELECT语句查询与分析时序数据。本文通过一个样例介绍如何使用SQL查询。样例场景 某厂商有100000台设备，每台设备每两分钟会生成一组CPU监控数据。为了方便管理和分析设备状态，厂商会将采集的设备...
GetRange
当返回值不为空时，表示本次GetRange的响应消息中只包含了[inclusive_start_primary_key,next_start_primary_key)间的数据。如果需要继续读取剩下的数据，则需要将next_start_primary_key作为inclusive_start_primary_key，原始请求中的 ...
用户鉴权
创建Bucket 控制台：创建存储空间 SDK：Java SDK-Bucket 中新建Bucket API：PutBucket 设置Bucket权限 控制台：修改存储空间读写权限 SDK：Java SDK-Bucket 中设置Bucket ACL API：PutBucketAcl 默认创建的Bucket权限是私有读写，Object...
数据索引
使用场景 基于数据审计或者数据监管等原因，您可能需要从存放于OSS存储空间（Bucket）内多达上亿的海量Object中查找符合特定条件的Object。Object本身包含大量的元数据，例如Object名称、Object ETag、Object存储类型、Object大小、Object...
常见问题
若Bucket为非空（即Bucket中存在碎片、历史版本文件），仅使用 rm 命令无法删除该Bucket。解决方案：警告 Bucket及文件被删除后，无法恢复，请谨慎使用该命令。先删除碎片和历史版本文件（未开启过版本控制请忽略），再删除Bucket。删除...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
存储空间标签
您可以通过存储空间（Bucket）的标签功能，对Bucket进行分类管理，例如ListBucket时只显示带有指定标签的Bucket。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网Endpoint。...
异常处理
异常处理示例 以下代码展示了创建一个已存在的存储空间时的异常处理，并打印出错误信息（Message）。try {$ossClient->createBucket($bucket);} catch(OssException$e){ print("Exception:".$e->getMessage()."");} 您还可以获取以下信息：...
如何使用Java SDK快速删除存储空间及其中的历史版本
删除OSS服务中不需要的存储空间（Bucket）时，如果存储空间不为空，则存储空间无法删除，您必须先删除存储空间中的所有文件、未完成的分片文件、存在的livechannel以及多版本数据后，才能成功删除存储空间。本文是基于OSS的Java SDK来实现...
- 产品推荐
- 这些文档可能帮助您