索引选择
本文为您介绍如何选择表格存储的查询方式以及索引常见组合方案。无需使用索引 以下情况您可以不使用索引进行数据查询。如果基于主键和主键范围查询的功能已经可以满足业务需求，则不需要建立索引。更多信息，请参见 读取数据。如果对某个...
数据建模
时间分区 时间分区会按照时间维度进行数据分区存储，存储底层会将不同时间分区内的数据进行分段存储，一个时间分区内的数据包含时间线索引和时序数据。时序引擎支持在数据库设置时间分区，一般情况下，如果创建周期性时间线导致了时间线...
现代IM系统中的消息系统—实现
本文主要以钉钉（DingTalk）的功能为参照，详细说明如何基于表格存储的Timeline模型实现钉钉的IM功能。以下内容按照聊天系统的消息存储、关系维护、即时感知、多端同步四个功能模块分块，分别介绍每一部分的功能、方案介绍、表设计以及实现...
深度解析Lindorm搜索索引（SearchIndex）特性
存储引擎层每个KV都有时间戳，如果业务写入时没有显示的设置，服务端会自动设置为系统时间戳，遵循"时间戳大的优先可见"的原则。业务自定义时间戳的写入，在构建索引时需要获取到所有的历史数据（包括删除的数据），才能准确判断当前的写入...
X-Engine简介
X-Engine是阿里云数据库产品事业部自研的联机事务处理OLTP（On-Line Transaction Processing）数据库存储引擎。目前已经广泛应用在阿里集团内部诸多业务系统中，包括交易历史库、钉钉历史库等核心应用，大幅缩减了业务成本，同时也作为双...
如何将一棵LSM-Tree塞进NVM
我们以X-Engine为基础结合非易失内存的优势与限制，重新设计并实现了存储引擎的主要内存数据结构、事务处理和持久化内存分配器等基础组件，最终实现了不需要记录预写式日志的高性能事务处理，降低了整体系统的写入放大并提高了存储引擎的...
简介
以车联网为例，海量的车辆终端在不断地产生轨迹数据，轨迹数据包含了时间和空间位置。利用HBase Ganos，实时监测车辆的行驶轨迹、是否偏航、是否进入某个限制区域等。除了实时监控外，还可以进行实时时空查询，如查询某段时间的轨迹，某段...
写入或更新调优指南
推荐使用时间戳、日期等字段作为 segment_key，并且在写入时使对应字段的数据与写入时间有强相关性。Flink参数配置建议。Hologres Connector各参数的默认值是大多数情况下的最佳配置。如果出现以下情况，可以酌情修改参数。Binlog消费延迟...
按时间戳冷热分离
新写入的数据会先存储在热存储（标准型/性能型）中，随着时间的推移，如果 当前时间-写入时间＞COLD_BOUNDARY/CHS设置的值，则会在系统后台执行 compaction 时被归档到冷存储中。说明 自定义时间戳可能会影响数据的冷热判断。系统会将当前...
计费常见问题
本文介绍文件存储NAS（通用型NAS/极速型NAS）计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后，就开始计费吗？仅开通NAS服务，不会产生费用。当您在通用型NAS中写入...
常见问题
本文列举了阿里云 表格存储 的常见问题，帮助您快速了解 表格存储。一般性常见问题 什么是 表格存储？表格存储 面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM...
通用型NAS计费
通用型NAS计费项 通用型NAS按照存储规格、存储大小（每小时峰值）和时长收取一定的存储费用。如果您的业务涉及生命周期管理功能时，NAS会根据您转存储的存储类型收取存储容量费用和数据读写流量费用。关于生命周期管理的详细信息，请参见 ...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
多值数据写入
返回时，会将该批次数据中写入失败的数据全部返回，返回的响应内容和指定 details 时相同，只是此时通过 errors 字段返回的将是该一批次数据中所有的失败数据，未被返回的数据可以认为写入成功。名称 数据类型 描述 success Integer 写入...
Slowly Changing Dimension
业务数据随着时间在不断变化，如果您要对数据进行分析，则需要考虑如何存储和管理数据。其中数据中随着时间变化的维度被称为Slowly Changing Dimension（SCD）。E-MapReduce根据实际的数仓场景定义了基于固定粒度的缓慢变化维（G-SCD）。...
功能特性
数据存储 功能集 功能 功能描述 参考文档 元数据存储 宽表模型 宽表模型（WideColumn）是类Bigtable/HBase模型，可应用于元数据、大数据等多种场景。宽表模型通过数据表存储数据，单表支持PB级数据存储和千万QPS。数据表具有Schema-Free、...
缓冲区管理
主节点Buffer Pool中的数据页，根据是否包含未来数据（即只读节点的回放位点之后新产生的数据），可以分为两类：可以写入存储的数据页和不能写入存储的数据页。该判断依赖以下两个位点：Buffer最近一次修改对应的LSN，即Buffer Latest LSN...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
写入数据
表格存储 提供了单行插入、单行更新和批量写入的写入方式用于写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。在高并发应用中写入数据时，您可以配置行存在性条件或者列条件实现按照指定条件更新数据...
写入数据
请求路径和方法 请求路径 请求方法 描述/api/put POST 一次写入多个数据点。请求参数 名称 类型 是否必需 描述 默认值 举例 summary 无类型 否 是否返回摘要信息。false/api/put?summary details 无类型 否 是否返回详细信息。false/api/...
常见问题
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
什么是表格存储
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
使用流程
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。本文介绍通过控制台和命令行工具快速使用宽表模型和时序模型的流程。背景信息 使用表格存储前，您需要了解表格存储相关介绍，例如产品概述、基本概念等...
功能特性
数据管理 功能集 功能 功能描述 参考文档 存储类型 标准存储 提供高可靠、高可用、高性能的对象存储服务，面向温热数据，适合支持频繁的数据访问。标准存储 低频访问存储 提供高持久性、较低存储成本的对象存储服务。有最小计量单位（64 KB...
新功能发布记录
本文介绍对象存储OSS每次发布涉及的功能变更及对应的文档，帮助您了解OSS的发布动态。2024年04月 功能名称 功能概述 发布时间 支持地域 相关文档 文档智能处理 由智能媒体管理（IMM）提供的针对文档的AI处理功能，包括文档内容翻译、文档...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
存储空间地域属性
OSS存储空间（Bucket）地域属性分为有地域属性和无地域属性。有地域属性Bucket 有地域属性Bucket适用于OSS通用场景。您在创建Bucket时需选择有地域属性，并指定Bucket所在的具体Region，例如华东1（杭州）。更多信息，请参见 访问域名和...
管理健康报告
该健康报告提供了前一天（T+1）的数据，并包括SQL查询、表分析和导入任务三个核心部分。查看健康报告 进入EMR Serverless StarRocks实例列表页面。登录 E-MapReduce控制台。在左侧导航栏，选择 EMR Serverless>StarRocks。在顶部菜单栏处，...
Blink和Flink常见问题及诊断
基本概念 Hologres性能 写入性能 列存表：InsertOrIgnore>InsertOrReplace>InsertOrUpdate 行存表：InsertOrReplcae=InsertOrUpdate>InsertOrIgnore 参数 说明 InsertOrIgnore 结果表有主键，实时写入时如果主键重复，丢弃后到的数据。...
概览
支持行存储及列存储 建议使用行存储或行列共存 Hologres V0.8版本只支持行存储，V0.9及以上版本支持行存储及列存储。建议使用行存储。不支持 不支持 使用Bayes开发平台。推荐使用阿里云Flink全托管。开源Flink1.10 不支持 支持行存储及列...
常见问题
本文介绍在使用ossfs时遇到的一些问题案例及解决方案。通用说明 ossfs报错信息中均包含message。排查问题时，需要收集这些message，并根据message判断问题。例如socket建连失败、HTTP响应的状态码4xx、5xx等，使用前先开启debug-log。403...
将数据写入OSS
分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义解析器将数据写入OSS 当需要将数据以自定义格式文件写入OSS时，您可以通过基于自定义解析器创建的OSS外部表，执行...
主备方案介绍
A：存储的是数据D1和数据D2中时间戳更大的数据，数据在LTS同步过程中不会改变数据原有的时间戳，一般情况下存储的是数据D2，但是由于主备实例不同可能存在时间戳毫秒级的时间差异造成数据D2的时间戳比数据D1的时间戳小，在这种情况下存储的...
边缘存储
工作原理 当您在控制台或通过OpenAPI写入KV数据时，数据并未直接写入边缘节点，而是先写入中心节点的KV存储中，在数据存储到中心后的短时间内，我们将清除边缘节点KV中与之对应的“脏数据”，以保证存储数据的读取准确性。客户端发起请求时...
时序模型介绍
使用时序模型时，时间线数据占用的存储空间类型与所用实例规格（容量型存储或高性能存储）一致，时间线元数据占用的存储空间为高性能存储，查询与分析时序表中数据时会消耗计算资源。按量模式：时序模型计费项包括时间线数据和时间线元数据...
表设计
本章节主要为您介绍表格存储表设计的最佳实践。说明 关于表格存储索引选择的最佳实践，参见 存储和索引的引擎详解。主键设计——数据散列 为什么需要数据散列 数据散列是分布式数据系统中的通常要考虑的问题，散列的目的是让数据分布更均匀...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
- 产品推荐
- 这些文档可能帮助您