步骤三：创建资源
普通消息：默认情况下，保证相同Key的消息分布在同一个分区中，且分区内消息按照发送顺序存储。集群中出现机器宕机时，可能会造成消息乱序。当 存储引擎 选择 云存储 时，默认选择 普通消息。分区顺序消息：默认情况下，保证相同Key的消息...
Kafka数据接入
分区顺序消息：默认情况下，保证相同Key的消息分布在同一个分区中，且分区内消息按照发送顺序存储。集群中出现机器宕机时，仍然保证分区内按照发送顺序存储。但是会出现部分分区发送消息失败，等到分区恢复后即可恢复正常。当 存储引擎 ...
常见问题
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
顺序消息
消息存储 如上图所示，顺序消息的Topic中，每个逻辑队列对应一个物理队列，当消息按照顺序发送到Topic中的逻辑队列时，每个分区的消息将按照同样的顺序存储到对应的物理队列中。消息消费 云消息队列 RocketMQ 版 按照存储的顺序将消息投递...
操作指南FAQ
云存储网关文件网关的缓存工作原理是什么？反向同步和极速同步：如何通过极速同步即时处理OSS上传对象？如何通过极速同步在多个网关直接实现数据共享？如何在日志监控中查看网关文件同步列表？文件网关反向同步的使用场景及配置是什么？...
媒体处理概述
工作原理 离线转码：将视频文件上传到OSS存储空间，创建媒体处理任务，任务执行成功后，转码后的文件存储在OSS中。边转边播：将视频文件上传到OSS存储空间，创建边转边播播放列表，立即播放，对视频实时按需转码并存储在OSS中。处理参数 ...
生产者负载均衡
策略原理：Hash算法 MessageGroupHash模式下，生产者发送消息时，以消息组为粒度，按照内置的Hash算法，将相同消息组的消息分配到同一队列中，保证同一消息组的消息按照发送的先后顺序存储。说明 Hash算法的具体原理，请参见 SipHash算法。...
什么是对象存储OSS
OSS工作原理 数据以对象（Object）的形式存储在OSS的存储空间（Bucket）中。如果要使用OSS存储数据，您需要先创建Bucket，并指定Bucket的地域、访问权限、存储类型等属性。创建Bucket后，您可以将数据以Object的形式上传到Bucket，并指定...
混合云备份HBR
抵扣顺序 HBR存储费用的抵扣顺序为：存储资源包>SCU＞按量计费 抵扣案例 陈先生2020年6月在华东1（杭州）购买了200 GB的备份库存储容量资源包和50 GB SCU，其6月份在华东1（杭州）地域标备份存储量为300 GB，则陈先生当月的存储费用抵扣...
文件存储NAS
抵扣顺序 NAS存储费用抵扣顺序为：存储包>资源包>SCU>按量付费 抵扣案例 陈先生2021年01月在华北2（北京）购买了500 GiB的通用型NAS资源包和100 GiB SCU，其01月份在华北2（北京）仅使用了容量型NAS，且容量型NAS每小时文件存储量为600 GiB...
持续的存储优化
为了更有效地利用存储支出，您每个月都应该进行存储优化工作。您可以通过以下方式简化这项工作：建立用于优化存储和设置存储策略的持续机制。通过监控服务和账单密切监控存储成本。使用对象标签和生命周期策略，在整个数据生命周期中持续...
对象存储OSS
抵扣顺序 OSS存储费用的抵扣顺序为：地域存储包>中国大陆通用存储包＞SCU＞按量计费 抵扣案例 用户A于2021年6月在华东1（杭州）购买了500 GB的 标准-本地冗余存储包 和20 GB的SCU，其6月份在华东1（杭州）地域标准存储（本地冗余）类型文件...
存储容量单位包SCU
存储容量单位包SCU（Storage Capacity Unit）是一种预付费的存储容量资源包，可以抵扣多种不同类型云存储产品的按量付费账单。购买方式 SCU的购买方式，请参见 创建存储容量单位包。抵扣规则 SCU可以抵扣多款云产品的部分存储费用，下表列...
存储容量单位包SCU
抵扣顺序 OSS存储费用的抵扣顺序为：地域存储包>中国内地通用存储包＞SCU＞按量计费 抵扣案例 用户A于2021年6月在华东1（杭州）购买了500 GB的 标准-本地冗余存储包 和20 GB的SCU，其6月份在华东1（杭州）地域标准存储（本地冗余）类型文件...
账单和用量查询
资源包抵扣顺序：存储包>资源包>存储容量单位包SCU>按量付费。官网价 单文件系统实例一个月内在抵扣完存储包和资源包后，剩余按量付费的存储容量根据账单中对应的单价核算的结果。案例：华北2（北京）的张先生有一个通用容量型NAS文件系统...
测试模型
本章节为您介绍本次表格存储性能测试的测试模型。表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性...如果您的读写吞吐或延时与本报告的数据偏差较大，可以联系表格存储的工作人员帮忙分析原因。
顺序消息
如上图所示，消息组1和消息组4的消息混合存储在队列1中，云消息队列 RocketMQ 版 保证消息组1中的消息G1-M1、G1-M2、G1-M3是按发送顺序存储，且消息组4的消息G4-M1、G4-M2也是按顺序存储，但消息组1和消息组4中的消息不涉及顺序关系。...
服务器端加密
本文介绍服务器端加密的工作原理、支持的地域及相关操作。使用限制 仅支持在创建文件系统时开启数据加密功能。已开启数据加密功能的文件系统不能关闭此功能。加密方式 当您对文件存储有高安全性或者合规性要求时，建议您开启服务器端加密...
消息存储和清理机制
消息存储机制 原理机制 云消息队列 RocketMQ 版 使用存储时长作为消息存储的依据，即每个节点对外承诺消息的存储时长。在存储时长范围内的消息都会被保留，无论消息是否被消费；超过时长限制的消息则会被清理掉。消息存储机制主要定义以下...
为什么云存储网关与OSS上的文件不一致
工作原理 详情请参见 基于按需扫描机制的常规反向同步。详情请参见 基于消息通知的极速同步。详情请参见 基于API触发的单次反向同步。基于按需扫描机制的常规反向同步 云存储网关默认采用基于按需扫描机制的 反向同步 功能，将OSS上的变化...
数据加密
具体工作原理如下图所示。使用用户自主管理密钥 使用用户自主管理密钥时，需要您自主生成并保管加密密钥。当本地客户端加密Object时，由用户自主上传加密密钥（对称加密密钥或者非对称加密密钥）至本地加密客户端。其具体加密过程如下图所...
多元索引介绍
多元索引（Search Index）基于倒排索引和列式存储，可以解决大数据的多维查询和统计分析难题。当日常业务中有非主键列查询、多列组合查询、模糊查询等多维查询需求以及求最值、统计行数、数据分组等数据分析需求时，您可以将这些属性作为...
高级管理FAQ
删除策略之前，如果数据已经转储到低频存储或归档存储，数据仍会继续保存在低频存储或归档存储中，并将按照低频存储或归档存储的费用收取存储费用。如果您是想将存储至低频存储或归档存储中的数据取回通用型NAS存储空间，请参见 创建数据...
集群吞吐性能测试
本文介绍集群在顺序写、顺序读、随机读等方面的性能测试方法。注意事项 性能测试前，请注意以下事项。吞吐最大不会超过ECS带宽。如果您的ECS带宽只有1.5 Gbps，则吞吐最高可达到187.5 MB/s。文件存储 HDFS 版 的吞吐能力和购买的存储空间...
如何打造千万级Feed流系统
本技术解决方案技术实现原理请参见 表格存储Feed流方案原理。方案实现 本方案使用Timeline模型实现Feed流系统的存储与同步功能，包含示例代码并支持一键部署，详情请参见 方案实现。后续步骤 针对本技术方案没有讨论到但是您可能需要关注的...
概述
基于Tablestore Sink Connector，您可以将Apache Kafka中的数据批量导入到表格存储（Tablestore）的数据表或者时序表中。背景信息 Kafka是一个分布式消息队列系统，不同的数据系统可以通过Kafka Connect工具将数据流输入Kafka和从Kafka获取...
应用场景
本文介绍文件存储NAS数据存储的主要应用场景。企业应用上云 阿里云NAS提供标准的NFS和SMB接口，云下建立在NAS上的应用程序可以轻松迁移到阿里云。阿里云NAS基于云原生架构，具有99.95%高可用性，PB级容量弹性，同时支持目录配额、ACL、回收...
表操作篇
如果有一批数据要上传到表格存储中，同时这批数据是按主键排列顺序的，若按顺序写入数据，可能会导致写入压力集中在某个分区中，而其他的分区处于空闲状态，无法有效利用预留读/写吞吐量，影响数据导入速度。可以采取以下任一措施来提升...
跨账号授权
具体操作，请参见 创建工作空间。分别获取账号A和账号B的AccessKey。具体操作，请参见 获取AccessKey。使用账号A创建可信实体为 阿里云账号 的RAM角色并设置信任策略内容。具体操作，请参见 创建可信实体为阿里云账号的RAM角色 和 修改RAM...
宽表模型介绍
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
现代IM系统中的消息系统—架构
而消息的存储，通常要求消息能根据会话顺序来排序，会话顺序通常由端的会话来决定，而不是服务端的同步顺序来定，这是两种顺序要求。支持根据顺序ID的随机定位：可根据SequenceId随机定位到Timeline中的某个位置，从这个位置开始正序或逆序...
使用AccessKey访问表格存储
除了授权方式外，您还可以在 MaxCompute 中使用 AccessKey 访问表格存储的数据。准备工作 获取表格存储资源所属账号的 AccessKeyId 和 AccessKeySecret，如果该 AK 是资源所属账号的子账号，那么该子账号至少需要对表格存储相关的资源具有...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
使用CNFS管理NAS隔离存储卷（推荐）
步骤一：创建隔离存储卷的工作负载 创建名称为 cnfs-nas-sc 的StorageClass对象，PV对象中引用名称为 cnfs-nas-filesystem 的CNFS。创建名称为 cnfs-nas-dynamic-sts 的StatefulSet对象。StatefulSet对象使用volumeClaimTemplates创建一个...
云存储网关软件版公测
云存储网关软件版是一款可以安装在阿里云用户ECS上或者用户本地数据中心客户端的产品，提供类似ossfs的功能，使用云存储网关软件版可以将OSS桶挂载到客户端本地以POSIX文件接口进行访问，从而您可以像操作本地文件一样操作OSS里面的文件。...
使用CNFS管理NAS共享存储卷（推荐）
容器服务 Kubernetes 版 支持以NAS共享存储卷的方式挂载和使用CNFS。通过CNFS管理NAS共享存储卷，您可以在多个应用或Pod之间挂载同一个NAS文件系统的相同目录，以解决Pod之间共享数据的问题。本文以StatefulSet类型应用为例介绍如何使用...
快速玩转Tablestore入门与实战
通道服务：表格存储全增量一体消费通道 Tablestore表设计最佳实践 Tablestore+DeltaLake（快速开始）架构原理-架构设计思想 数据中台之结构化大数据存储设计 结构化大数据分析平台设计 云上应用系统数据存储架构演进 Lambda plus：云上大...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
数据导出到OSS概述
表格存储 中的全量数据以及增量数据可以通过DataWorks数据集成同步到 对象存储 中备份和使用。实现原理 DataWorks数据集成的离线同步功能将不同数据源的同步抽象为从来源数据源读取数据的Reader插件以及向目标数据源写入数据的Writer插件，...
通过命令行工具快速使用云存储网关软件版
本文介绍如何通过命令行工具快速使用云存储网关软件版。前提条件 已注册阿里云账号，并完成实名认证。具体操作，请参见 注册阿里云账号。说明 建议您使用RAM用户登录云存储网关控制台进行相关操作。更多信息，请参见 账号访问控制。已开通...
- 产品推荐
- 这些文档可能帮助您