管理离线数据归档
对离线存储中较为久远的数据暂无数据分析需求时，可以通过配置数据归档，来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
通过函数计算转存离线日志
前提条件 开通函数计算转存离线日志服务前，需确保您已完成以下操作：开通对象存储OSS，请前往 对象存储OSS产品详情页 进行开通，创建一个用于存储离线日志数据的Bucket，并开启对象存储服务。开通函数计算服务，请前往 函数计算控制台 ...
数据总览
说明 项目存储及表占用的逻辑存储显示离线统计时间的用量，并且显示的为逻辑存储大小。项目存储量除表存储量外，还会计算包括资源存储量、回收站存储量及其它系统文件存储量等在内，因此会大于表存储量。表的存储计费计算的是表的逻辑存储...
离线数据存储概述
您可以使用物联网平台提供的离线数据存储功能，查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 ...
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
0004-00000401
问题描述 上传请求被流控。问题原因 您发起的上传请求超出了流控限制。问题示例 您发起了对某个Bucket的上传请求，但是因为上传流量过大...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
0004-00000402
问题描述 下载请求被流控。问题原因 您发起的下载请求超出了流控限制。问题示例 您发起了对某个Bucket的下载请求，但是因为单位时间内下载...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
0004-00000304
问题描述 请求被流控。问题原因 您发起的请求超出了流控限制。问题示例 您发起了对某个Bucket的上传请求，但是因为上传流量过大触发了流控...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
应用场景
推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、实时更新、个性化推荐等特点，因此需要支持海量消息存储以及实时与离线分析。推荐系统的核心需求如下：行为日志：存储客户端...
数据导出到OSS概述
同步表格存储数据到OSS时，离线同步任务中会涉及到配置表格存储相关的Reader插件和OSS相关的Writer插件。相关插件说明如下：表格存储相关的Reader插件 根据数据同步方式不同，要使用的表格存储相关的Reader插件不同。具体说明请参见下表。...
对象存储OSS
存储类型 OSS提供标准存储、低频访问存储、归档存储、冷归档存储和深度冷归档存储多种存储类型，全面覆盖从热到冷的各种数据存储场景。存储类型 说明 标准存储 提供高可靠、高可用、高性能的对象存储服务，能够支持频繁的数据访问。适用于...
物联网存储介绍
支持将全增量数据投递到数据湖OSS，来满足更低成本的历史数据存储以及更大规模的离线和准实时数据分析需求。访问安全性 支持身份验证保障用户数据的私密性，支持VPC网络及HTTPS访问。提供多种鉴权和授权机制以及阿里云账号与RAM用户功能，...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
概述
同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、集群扩展、安全等问题，可以极大地减少管理成本。大数据分析 如果您的业务采用MySQL数据库，...
最佳实践
容器与云原生 如何利用云存储网关作为Windows Docker存储访问OSS 在Linux Docker容器中挂载使用云存储网关 Windows应用 利用云存储网关搭建Windows文件共享服务器 利用云存储网关的SMB共享搭建windows FTP服务器访问对象存储OSS 如何基于云...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
功能特性
同步到本地文件 数据湖投递 数据湖投递 表格存储数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递概述 数据湖计算分析 将表格存储数据投递到...
功能概述
网络安全管理 数据加密 数据湖投递 表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递 快速入门 使用SDK 数据可视化 支持对接数据可视...
通过命令行工具快速使用云存储网关软件版
线上云存储网关软件版当前支持的操作系统如下：Linux操作系统：CentOS 7、CentOS 8、Alibaba Cloud Linux 2、Alibaba Cloud Linux 3、Ubuntu 16.04、Ubuntu 18.04、Ubuntu 20.04、Ubuntu 22.04 Windows操作系统：Windows Server 2016、...
导出全量数据到OSS
如果要以更低成本备份 表格存储 中的全量数据或者以文件形式导出 表格存储 数据到本地，您可以通过DataWorks数据集成服务将 表格存储 中的全量数据导出到OSS。全量数据导出到OSS后，您可以自由下载文件到本地。注意事项 此功能适用于 表格...
块存储优化
调整云盘容量 对于过度使用的云盘，您可以进行在线或离线扩容，增加单个实例的存储容量。对于ESSD云盘，您也可以选择在线升级其性能级别，从而满足性能和容量要求。对于按量付费的ESSD云盘，您也可以选择在线降低其性能级别，从而达到降低...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
初始化
上图为TimeStream模型的结构示意图，其中时序数据是存储到数据表中，时间线是存储到元数据表（Meta表）中。数据表可以根据业务需求创建多个，但元数据表只能有一个。所有数据表的时间线元数据写入到同一个元数据表中，您通过...
迁移开源HDFS的数据到文件存储 HDFS 版
具体操作，请参见 离线迁移。常见问题 整体迁移速度受Hadoop集群与 文件存储 HDFS 版 之间的带宽、集群规模影响。同时传输文件越多，checksum需要的时间越长。如果迁移数据量大，建议先尝试迁移几个目录评估整体时间。如果只能在指定时间段...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
扩容热存储空间
云原生多模数据库 Lindorm 将 标准型云存储、性能型云存储、本地SSD盘 和 大数据型 作为热存储介质，其中 标准型云存储 和 性能型云存储 支持扩容存储空间。如果热存储空间剩余容量不足以支撑业务需求，建议您通过Lindorm管理控制台扩容热...
表格存储
物联网 表格存储可以满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据完成离线分析与实时流计算。性能 表格存储单表提供10 PB级数据量、万亿条记录数、千万级别的TPS以及毫秒级延迟的服务能力...
基本概念
轨迹分段线模型时空索引效率高于线模型，且存储成本和二级索引代价低，可同时实现低成本存储、实时和复杂分析查询，适用于对实时查询和离线分析都有需求的场景。Lindorm Ganos同时支持三种模型的存储，批量轨迹点可以直接以点模型写入，也...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
CopyObject
调用 CopyObject 接口拷贝同一地域下相同或不同存储空间（Bucket）之间的文件（Object）。版本控制 x-oss-copy-source 默认拷贝Object的当前版本，您可以在 x-oss-copy-source 中加入versionId来拷贝指定的Object版本。拷贝Object时，如果...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
现代IM系统中的消息系统—架构
而对于离线的用户或者消息无法实时同步成功时，消息会持久化到离线库，当接收方重新连接后，会从离线库拉取所有未读消息。当离线库中的消息成功同步到接收方后，消息会从离线库中删除。传统的消息系统，服务端的主要工作是维护发送方和接收...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决方案，包括：闪电立方：海量数据的快速离线和在线迁移。云备份：简单易用的数据备份上云服务。混合云容灾：支持客户数据本地加云端双备份以及业务系统云端拉起的容灾服务。混合云存储阵列...
访问CDN加速的OSS资源时速度很慢
问题描述 希望通过使用阿里云CDN对OSS资源加速，实现静态资源的访问加速效果，但是在...离线日志下载，请参见 离线日志下载。实时日志介绍，请参见 实时日志概述。相关文档 阿里云对象存储OSS上传或下载文件时速度很慢 适用于 对象存储OSS CDN
文件存储HDFS版
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
什么是OSS-HDFS服务
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留...
DeleteStorageBundle
如果网关集群存在线上或线下云存储网关，请删除所有网关以后再删除该网关集群。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必...
产品计费
本文主要介绍云存储网关计费相关内容，包括计费项、计费方式和欠费说明等，您可以通过本文了解云存储网关服务费用收取详情。计费项 云存储网关包括线上网关和线下网关，其计费项不相同。云存储网关资源的价格，请参见 云存储网关产品定价。...
- 产品推荐
- 这些文档可能帮助您