PolarDB HTAP实时数据分析技术解密
本文介绍IMCI背后的技术路线和具体方案。背景信息 PolarDB MySQL版 是因云而生的一个数据库系统。除云上OLTP场景外，大量客户也对PolarDB提出了实时数据分析的性能需求。对此，PolarDB技术团队提出了In-Memory Column Index（IMCI）的技术...
列存索引技术架构介绍
同时，结合 PolarDB 基于共享存储一写多读的架构特征，其包含如下几个关键的技术创新点：存储引擎（InnoDB）支持存储列式索引（Columnar Index），用户可以通过DDL语句为一张表中的全部列或者部分列创建列索引，列索引采用列压缩存储，其...
计费常见问题
据统计分析，大部分用户文件系统中80%的数据均为冷数据，按80/20定律进行成本估算，使用低频存储后，原性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB，原容量型NAS文件系统的有效存储成本可降低至0.19元/GiB/月。购买了资源包什么...
顺序消息
顺序消息为 云消息队列 RocketMQ 版 中的高级特性消息，本文为您介绍顺序消息的应用场景、功能原理、使用限制、使用方法和使用建议。应用场景 在有序事件处理、撮合交易、数据实时增量同步等场景下，异构系统间需要维持强一致的状态同步，...
MQTT客户端上下线事件数据流出
您可通过配置 云消息队列 MQTT 版 的客户端上下线通知规则，将获取的MQTT客户端上下线事件数据导出至其他阿里云产品。该方法为异步上下线通知。本文介绍客户端上下线通知的原理、应用场景、使用限制以及 云消息队列 MQTT 版 与其他阿里云...
常见问题
表格存储 单表支持PB级存储、千万QPS以及多种索引方式（二级索引、全文索引、倒排索引和时空索引），满足不同场景在线的查询需求，可以帮助您轻松实现高效的元数据管理。消息数据 表格存储 自研的Timeline模型主要用于消息数据，能够抽象出...
NAS性能测试
本文介绍如何在Linux/Windows系统中使用FIO工具对文件系统进行吞吐和IOPS的性能测试。前提条件 您已经创建了待测试的文件系统，并将文件系统挂载到ECS实例上。具体操作，请参见 快速入门。背景信息 本文示例的性能参数，均为Linux/Windows...
方案实现
使用接口/user/follow，输入关注和被关注用户ID后执行接口，在表格存储控制台可查看到用户关系表如下：发布Feed 使用接口/feed/post，输入操作用户ID和Feed内容后执行接口，在表格存储控制台可查看到存储表如下：同时可查看到同步表中，...
现代IM系统中的消息系统—模型
本章节主要介绍表格存储（Tablestore）的Timeline模型基本功能以及核心组件，并且会通过IM消息系统场景，介绍如何基于Timeline实现IM场景下消息同步、存储和索引等基本功能。Timeline模型 Timeline模型以简单为设计目标，核心模块主要包括...
现代IM系统中的消息系统—实现
用户可以基于表格存储实现一个任务队列，将写扩散任务写入队列中后直接返回，然后由其他进程保证任务队列的执行。任务队列保存了群ID、消息的完整信息，消费进程不断轮询读取新任务，获取任务后，才会从群关系表中获取完整的群成员列表，并...
产品概述
什么是PolarDB PolarDB 是阿里巴巴自研的新一代云原生数据库，在计算存储分离架构下，利用了软硬件结合的优势，为用户提供具备极致弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态，高度兼容Oracle语法。...
获取MQTT客户端在线状态
您可通过调用同步查询接口或使用异步上下线通知的方式获取 云消息队列 MQTT 版 客户端（下文简称为客户端）当前在线情况。应用场景 云消息队列 MQTT 版 需结合后端存储消息队列产品，如 云消息队列 RocketMQ 版 等使用，来和部署在云端...
查询消息轨迹
云消息队列 RocketMQ 版 将消息发送、消息存储、消息消费这几个关键节点的数据定义为轨迹参数，例如消息发送结果、发送耗时、消息到达服务端的时间、消息的消费结果、消费耗时、客户端信息等，并支持可视化查询。当消息收发结果不符合预期...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
宽表模型介绍
模型介绍 表格存储 宽表模型是类Bigtable/HBase模型，通过数据表采用三维结构（行、列和时间）存储数据。数据表的每一行可以有不同的列，可以动态增加或者减少属性列，创建表时无需为表的属性列定义严格的Schema。模型构成 宽表模型如上图...
快速玩转Tablestore入门与实战
技术进阶-全方位了解 从SQL到NoSQL—如何使用表格存储 深入对比HBase与阿里云的表格存储服务 表格存储数据模型和查询操作 Tablestore存储和索引引擎详解 详解Tablestore模糊查询——以订单场景为例 多元索引：如何在千亿行规模的表中快速...
生产者负载均衡
生产者发送消息到 云消息队列 RocketMQ 版 服务端时，云消息队列 RocketMQ 版 将根据生产者负载均衡策略将消息均匀的存储在多个队列中，避免产生热点队列和性能瓶颈。本文介绍 云消息队列 RocketMQ 版 生产者的负载均衡策略。背景信息 了解...
索引介绍
使用宽表模型的表引擎查询数据时存在依赖主键以及根据属性查询效率低的问题，表格存储提供了二级索引和多元索引用于解决宽表模型的数据查询问题。您也可以为数据表创建映射关系后，像使用传统数据库一样使用SQL查询表中数据。表引擎 宽表...
如何优化高并发IM系统架构
存储系统 存储系统采用阿里云表格存储，表格存储具有以下优势：表格存储写操作不仅支持单行写，也支持多行批量写，可满足大并发写数据需求。表格存储支持按范围读，消息多时可翻页。表格存储支持数据生命周期管理，可对过期数据进行自动...
现代IM系统中的消息系统—架构
基于Timeline构建的现代消息系统能够同时支持消息系统的多种特性，包括多端同步、消息漫游和在线检索，在性能和规模上能够实现全量消息云端存储和索引、百万TPS写入以及毫秒级延迟的消息同步和检索能力。背景 在这个高度信息化的移动互联网...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
方案分析
根据Feed流中的数据类型，本文分别设计系统存储、同步与元数据方案。不同类型的Feed流产品架构存在差异，本文设计的产品是基于单向关系的时间排序Feed流，类似于微博。存储 Feed流系统中的存储库主要存放具体的用户Feed消息，而Feed消息...
产品优势
对象存储OSS是阿里云提供的海量、安全、低成本、高持久性的云存储服务。本文将OSS与传统的自建存储进行对比，让您更好地了解OSS。下表列举了与自建存储相比，OSS在易用性、持久性、数据安全等方面的优势。对比项 对象存储OSS 自建服务器...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
存储CSI概述
当您在ACK集群中运行工作负载时，您可能会有应用数据持久化存储、敏感和配置数据存储、存储资源动态供应等存储需求。ACK集群基于CSI插件实现了容器存储功能，借助阿里云存储服务提供并管理静态或动态存储卷资源。支持的存储卷概览 容器存储...
通过控制台使用宽表模型
表格存储 提供了控制台、命令行工具（Tablestore CLI）和Tablestore SDK三种访问方式。通过控制台使用宽表模型（WideColumn）时，您需要开通表格存储服务，然后使用控制台进行创建实例、创建数据表、读写表中数据以及使用SQL查询数据的操作...
表操作篇
本文将为您提供关于表设计的最佳实践。如需了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。设计良好的主键 表格存储会根据表的分区键将表的数据自动切分成多个分区，每个分区调度到一台服务节点上。分区键的值是...
迁移HBase至Hologres
本文为您介绍如何迁移HBase的语法和数据至Hologres上进行数据开发。背景信息 Hologres支持行存表模式，在该模式下，提供高性能基于主键的点查能力，广泛应用在Flink维度表、ID-Mapping、标签获取、订单明细查询等场景中。相比传统的HBase等...
创建数据表
使用CreateTable接口创建数据表时，需要指定数据表的结构信息和配置信息，高性能实例中的数据表还可以根据需要设置预留读/写吞吐量。创建数据表时支持创建一个或者多个索引表。注意事项 创建数据表后需要几秒钟进行加载，在此期间对该数据...
使用Canal和RocketMQ实现数据库变更订阅处理
本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版，实现MySQL数据库Binlog数据的变更处理。背景信息 CDC（Change Data Capture）是一种监测并捕获数据库变更的典型技术方案，常应用于异构数据源之间的数据同步。Canal...
YARN调度器
弹性资源共享：队列的弹性资源量=（MaxCapacity-Capacity），集群与父队列有空闲资源时，子队列可以利用其他队列的空闲（未被使用）保障资源，从而支持不同队列资源分时复用，提升集群的资源利用率。ACL控制：每个队列均可以支持较为严格的...
名词解释
在使用 云消息队列 MQTT 版 前，需理解该产品和MQTT协议所涉及的基本概念和术语。基本概念 实例（Instance）创建购买 云消息队列 MQTT 版 服务的实体单元，每个 云消息队列 MQTT 版 实例都对应一个全局唯一的服务接入点URL。使用 云消息...
使用Canal和RocketMQ实现数据库变更订阅处理
本文以MySQL数据库为例介绍如何使用Canal接入 云消息队列 RocketMQ 版，实现MySQL数据库Binlog数据的变更处理。背景信息 CDC（Change Data Capture）是一种监测并捕获数据库变更的典型技术方案，常应用于异构数据源之间的数据同步。Canal...
队列（MessageQueue）
模型关系 在整个 云消息队列 RocketMQ 版 的领域模型中，队列所处的流程和位置如下：云消息队列 RocketMQ 版 默认提供消息可靠存储机制，所有发送成功的消息都被持久化存储到队列中，配合生产者和消费者客户端的调用可实现至少投递一次的...
使用canal同步
对于中小规模的数据库或者个人开发者，您可以使用canal将MySQL数据同步到表格存储。canal部署简单，易于运维，适用于中小规模MySQL数据同步。前提条件 已开启MySQL binlog功能，并且配置binlog-format为ROW模式。已创建目标Tablestore表。...
动态修改schema
如果由于业务变更、性能优化等情况需要在多元索引中新增、更新或者删除索引列以及修改多元索引的路由键和预排序方式，您可以通过动态修改多元索引的schema实现。动态修改schema操作包括为源索引创建灰度索引并修改多元索引schema、等待表...
OSS访问域名使用规则
OSS会为每一个存储空间（Bucket）分配默认的访问域名，本文介绍OSS访问域名的构成规则及使用方式。OSS域名构成规则 针对OSS的网络请求，除了 GetService（ListBuckets）以及 DescribeRegions API以外，其他所有请求的域名都是由带有指定...
MQTT和RocketMQ进行数据互通（客户端上下线通知）
MQTT客户端的上下线事件将会触发MQTT服务端生成一条通知消息，云消息队列 MQTT 版 支持将该条消息数据导出至其他阿里云产品，并使用MQTT的Java SDK实现MQTT客户端与后端应用收发消息。本文以当前仅支持的 云消息队列 RocketMQ 版 数据互通...
如何快速测试云消息队列 Kafka 版服务端是否正常？
在创建并部署 云消息队列 Kafka 版 实例后，您可以使用 云消息队列 Kafka 版 控制台直接发送消息，快速测试服务端是否正常。前提条件 您已创建并部署 云消息队列 Kafka 版 实例，且实例处于 服务中 状态。操作流程 快速测试 云消息队列 ...
- 产品推荐
- 这些文档可能帮助您