ListOfflineStorages-查询离线存储
查询离线存储。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 GET/v2/openapi/instances/[instanceId]/...
离线存储授权
iGraph引擎的离线系统需要的权限列表：Object Action 说明 Project Read 查看项目自身（不包括项目的任何对象）的信息，例如CreateTime。Project List 查看项目所有类型的对象列表。Table Describe 读取表的元信息。Table Select 读取表的...
离线存储授权
2.在创建实例时选择历史数据启动，配置启动数据源、配置实时数据源、配置离线数据源详见：通过历史数据启动实例。重要 1、在配置启动数据源之前，需要在MaxCompute中授权给智能推荐的openias可读权限，详见下文：MaxCompute授权流程。2、在...
ModifyOfflineStorages-修改实例的离线存储配置
修改实例的离线存储配置。（只支持三张表同时修改）。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 ...
离线数据存储概述
您可以使用物联网平台提供的离线数据存储功能，查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 ...
管理平台系统表和时序/快照表
在 数据存储 页面单击 离线存储 页签。单击 平台系统表 或 时序/快照表 页签，查看对应类型的存储表。平台系统表 您可以查看已创建的产品和设备的信息。产品表：存储了已备份实例的产品元信息，包括产品的ProductKey、名称、创建时间、修改...
管理离线数据归档
对离线存储中较为久远的数据暂无数据分析需求时，可以通过配置数据归档，来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
通过函数计算转存离线日志
前提条件 开通函数计算转存离线日志服务前，需确保您已完成以下操作：开通对象存储OSS，请前往 对象存储OSS产品详情页 进行开通，创建一个用于存储离线日志数据的Bucket，并开启对象存储服务。开通函数计算服务，请前往 函数计算控制台 ...
文件存储HDFS版（文档停止维护）
文件存储 HDFS 版（Apsara File ...适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户，进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。
数据总览
说明 项目存储及表占用的逻辑存储显示离线统计时间的用量，并且显示的为逻辑存储大小。项目存储量除表存储量外，还会计算包括资源存储量、回收站存储量及其它系统文件存储量等在内，因此会大于表存储量。表的存储计费计算的是表的逻辑存储...
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
应用场景
推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、实时更新、个性化推荐等特点，因此需要支持海量消息存储以及实时与离线分析。推荐系统的核心需求如下：行为日志：存储客户端...
0004-00000401
问题描述 上传请求被流控。问题原因 您发起的上传请求超出了流控限制。问题示例 您发起了对某个Bucket的上传请求，但是因为上传流量过大...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
0004-00000402
问题描述 下载请求被流控。问题原因 您发起的下载请求超出了流控限制。问题示例 您发起了对某个Bucket的下载请求，但是因为单位时间内下载...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
0004-00000304
问题描述 请求被流控。问题原因 您发起的请求超出了流控限制。问题示例 您发起了对某个Bucket的上传请求，但是因为上传流量过大触发了流控...如果您的业务（如大数据离线处理等）有更大的带宽（10 Gbit/s~100 Gbit/s）需求，请联系 技术支持。
数据导出到OSS概述
同步表格存储数据到OSS时，离线同步任务中会涉及到配置表格存储相关的Reader插件和OSS相关的Writer插件。相关插件说明如下：表格存储相关的Reader插件 根据数据同步方式不同，要使用的表格存储相关的Reader插件不同。具体说明请参见下表。...
物联网存储介绍
支持将全增量数据投递到数据湖OSS，来满足更低成本的历史数据存储以及更大规模的离线和准实时数据分析需求。访问安全性 支持身份验证保障用户数据的私密性，支持VPC网络及HTTPS访问。提供多种鉴权和授权机制以及阿里云账号与RAM用户功能，...
离线批量读取数据
表格存储提供了BulkExport接口用于在大数据场景下批量读取数据表中的数据。数据写入到数据表后，您可以根据指定条件进行数据读取。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表并写入数据。参数 参数 说明...
概述
同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、集群扩展、安全等问题，可以极大地减少管理成本。大数据分析 如果您的业务采用MySQL数据库，...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
功能特性
同步到本地文件 数据湖投递 数据湖投递 表格存储数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递概述 数据湖计算分析 将表格存储数据投递到...
导出全量数据到OSS
步骤四：配置离线同步任务并启动 配置 表格存储 到OSS的全量数据同步任务，请根据所用数据存储模型选择相应任务配置方式。如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照 同步数据表数据的...
同步增量数据到OSS
如果需要将表格存储中新增和变化的数据定期同步到OSS中备份或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现周期性增量数据同步。注意事项 此功能适用于 表格存储 宽表模型和时序模型。宽表模型：导出 表格存储...
功能概述
网络安全管理 数据加密 数据湖投递 表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递 快速入门 使用SDK 数据可视化 支持对接数据可视...
块存储优化
调整云盘容量 对于过度使用的云盘，您可以进行在线或离线扩容，增加单个实例的存储容量。对于ESSD云盘，您也可以选择在线升级其性能级别，从而满足性能和容量要求。对于按量付费的ESSD云盘，您也可以选择在线降低其性能级别，从而达到降低...
迁移开源HDFS的数据到文件存储 HDFS 版
具体操作，请参见 离线迁移。常见问题 整体迁移速度受Hadoop集群与 文件存储 HDFS 版 之间的带宽、集群规模影响。同时传输文件越多，checksum需要的时间越长。如果迁移数据量大，建议先尝试迁移几个目录评估整体时间。如果只能在指定时间段...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
媒体处理概述
工作原理 离线转码：将视频文件上传到OSS存储空间，创建媒体处理任务，任务执行成功后，转码后的文件存储在OSS中。边转边播：将视频文件上传到OSS存储空间，创建边转边播播放列表，立即播放，对视频实时按需转码并存储在OSS中。处理参数 ...
表格存储
物联网 表格存储可以满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据完成离线分析与实时流计算。性能 表格存储单表提供10 PB级数据量、万亿条记录数、千万级别的TPS以及毫秒级延迟的服务能力...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
应用场景
文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器...将Hadoop或其他机器学习应用部署在多个计算资源上，这样应用可以直接通过HadoopFS接口访问数据进行离线或在线计算，也可以直接将计算结果输出到 文件存储 HDFS 版 做永久保存。
现代IM系统中的消息系统—架构
而对于离线的用户或者消息无法实时同步成功时，消息会持久化到离线库，当接收方重新连接后，会从离线库拉取所有未读消息。当离线库中的消息成功同步到接收方后，消息会从离线库中删除。传统的消息系统，服务端的主要工作是维护发送方和接收...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决方案，包括：闪电立方：海量数据的快速离线和在线迁移。云备份：简单易用的数据备份上云服务。混合云容灾：支持客户数据本地加云端双备份以及业务系统云端拉起的容灾服务。混合云存储阵列...
时序模型计量计费
使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项 时序模型中的分析存储功能将从2023年12月20日正式开始收费...
最佳实践
容器与云原生 如何利用云存储网关作为Windows Docker存储访问OSS 在Linux Docker容器中挂载使用云存储网关 Windows应用 利用云存储网关搭建Windows文件共享服务器 利用云存储网关的SMB共享搭建windows FTP服务器访问对象存储OSS 如何基于云...
什么是OSS-HDFS服务
UserGroupsMapping 应用场景 OSS-HDFS服务提供全面的大数据和AI生态支持，其主要应用场景如下：Hive、Spark离线数仓 OSS-HDFS服务原生支持文件、目录语义和操作，添加文件和目录权限，支持目录原子性、毫秒级rename操作，支持通过setTimes...
访问CDN加速的OSS资源时速度很慢
问题描述 希望通过使用阿里云CDN对OSS资源加速，实现静态资源的访问加速效果，但是在...离线日志下载，请参见 离线日志下载。实时日志介绍，请参见 实时日志概述。相关文档 阿里云对象存储OSS上传或下载文件时速度很慢 适用于 对象存储OSS CDN
文件存储HDFS版
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
- 产品推荐
- 这些文档可能帮助您