管理离线数据归档
对离线存储中较为久远的数据暂无数据分析需求时，可以通过配置数据归档，来降低数据的存储成本。本文介绍数据归档的使用和计费说明及开启、更改和撤销归档的具体操作。前提条件 已开启产品数据备份。存储数据的归档周期必须小于实例下设备...
通过函数计算转存离线日志
通过阿里云的函数计算转存离线日志功能，当CDN产生新的离线日志时，它会触发预设的函数计算逻辑，自动地、无服务器地将这些日志文件传输到对象存储服务（OSS）。这样，无需人工干预或额外运维成本，就能实现日志数据的安全、高效、稳定的...
离线数据存储概述
您可以使用物联网平台提供的离线数据存储功能，查看您设备基本情况和上报的设备物模型数据。离线数据包括平台系统表、时序表、快照表和自定义存储表。本文介绍不同类型存储表的基本功能和应用场景。前提条件 已备份数据，具体操作，请参见 ...
快速入门
文件存储 HDFS 版 适用于互联网行业、金融行业等有大数据计算与存储分析需求的行业客户进行海量数据存储和离线计算的业务场景，充分满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。开通 文件存储 ...
在混合云场景下阿里云还有哪些存储和灾备解决方案？
在混合云场景下，阿里云推出了一系列存储和灾备解决方案，包括：闪电立方：海量数据的快速离线和在线迁移。云备份：简单易用的数据备份上云服务。混合云容灾：支持客户数据本地加云端双备份以及业务系统云端拉起的容灾服务。混合云存储阵列...
Transaction Table2.0概述
而MaxCompute近一年在离线批处理计算引擎架构上，自研设计开发的增量数据存储和处理架构，同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供...
快速玩转Tablestore入门与实战
可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。基于Tablestore的一站式物联网存储解决方案-场景篇 基于Tablestore的一站式物联网存储解决方案-表...
数据存储需求评估
因此，当您在评估存储需求时，请考虑对不同的业务负载分别选择不同的存储方案。您在每个业务负载中划分数据并确定存储需求时，需要考虑以下几点：数据量 了解数据量的总大小有助于您估算存储容量和成本。数据访问的频率和响应时间要求 阿里...
概述
阿里云提供了涵盖各种存储资源（块、文件和对象）的广泛而灵活的数据存储方案，可以让您随时在不同的存储类型之间转换。本文讨论了如何选择最适合您的阿里云存储服务，以最低成本满足您的数据存储需求，同时还讨论了如何优化这些服务，从而...
持续的存储优化
总之，存储优化是评估数据存储需求的变化并选择最具成本效益的存储方案的持续过程。对于对象存储，使用生命周期策略自动将访问频率较低的数据转换为更低成本的存储类型。对于块存储，监控存储使用情况并调整未充分使用或过度使用的云盘容量...
应用场景
推荐系统 推荐系统作为当前所有业务精细化运营的主要手段，广泛应用在电商、短视频、新闻等场景，具有数据量大、实时更新、个性化推荐等特点，因此需要支持海量消息存储以及实时与离线分析。推荐系统的核心需求如下：行为日志：存储客户端...
数据导出到OSS概述
同步表格存储数据到OSS时，离线同步任务中会涉及到配置表格存储相关的Reader插件和OSS相关的Writer插件。相关插件说明如下：表格存储相关的Reader插件 根据数据同步方式不同，要使用的表格存储相关的Reader插件不同。具体说明请参见下表。...
方案背景
表格存储方案 使用表格存储研发的 多元索引 功能，可以轻松搭建一套亿量级店铺搜索系统。多元索引功能可以创建地理位置索引、分词字符串索引等，为用户提供了地理位置检索、多维组合检索等能力，用户可随时创建，存量、增量数据自动同步。...
文件系统存储类型
使用低频存储方案可以帮助您轻松管理冷数据并降低存储成本。大数据分析 低频存储可以为基因测序数据、GIS地理信息数据、票据影像数据和音频录音文件数据等海量非结构化的数据提供低成本、大容量的存储空间，同时还可以实时访问数据。备份...
方案背景
大数据计算场景：推荐系统，订单类业务等 实时数据计算场景：监控系统，电商数字大屏等 样例场景 某电商公司为了完成电商运营数据的分析和展示，使用表格存储统一存储电商数据，通过Spark的流批处理离线聚合或实时统计电商数据，最终在...
车联网数据存储处理方案
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
方案设计
数据存储方案 表格存储设计了两张表分别存储数据集的meta和data：meta表示这个数据集的元数据，例如GridDataSetId、各维度长度、自定义属性等。data表示这个数据集里实际的网格数据。data相比meta在数据大小上要大很多。将数据集的meta和...
方案分析
最佳的存储库应该是具有主键自增功能的分布式NoSQL数据库，但是在开源系统里没有完全符合特点的数据库，所以有两种存储方案：对比项 表格存储 关系型数据库（分库分表）可靠性 极高可靠性，11个9的SLA保障 可靠性低于非关系型数据库，关系...
最佳实践
云存储网关使用Windows权限控制管理数据访问权限 使用Windows权限控制功能实现基于访问权限的枚举 解决方案 云存储网关跨境数据传输最佳实践 云存储网关：将云上文件同步至线下存储的一种方案 利用云存储网关实现数据分层存储 如何在Linux...
常见问题
互联网音视频、图片应用：如短视频存储、直播视频录制、视频点播、图片社交、图片或、视频相册等等，可利用OSS提供的丰富的RESTful API，实现海量的分布式数据存储方案。教育行业：K12、在线英语等在线教育，将数据存储到OSS，结合OSS传输...
将MaxCompute数据同步到表格存储
如果需要将MaxCompute计算分析后的数据同步到表格存储中存储或者使用，您可以通过在DataWorks数据集成控制台新建和配置离线同步任务来实现全量数据导出。全量数据导出到表格存储后，您可以使用表格存储查询与分析数据。背景信息 表格存储...
访问CDN加速的OSS资源时速度很慢
问题描述 希望通过使用阿里云CDN对OSS资源加速，实现静态资源的访问加速效果，但是在...离线日志下载，请参见 离线日志下载。实时日志介绍，请参见 实时日志概述。相关文档 阿里云对象存储OSS上传或下载文件时速度很慢 适用于 对象存储OSS CDN
什么是OSS-HDFS服务
实时计算 OSS-HDFS服务高效支持flush和truncate操作，可无缝替代HDFS在Flink实时计算应用场景下用做Sink、Checkpoint存储方案。数据迁移 OSS-HDFS服务作为新一代云原生数据湖存储，支持IDC HDFS平迁上云，优化HDFS使用体验，同时享受弹性...
计费概述
通过本文您可以了解表格存储的计费模式、...按量模式和资源包 计量计费项 资源包介绍 批量离线任务 每天存在定时低频但海量的数据离线读写。按量模式和资源包 计量计费项 资源包介绍 业务测试 前期测试产品搭建测试环境。按量模式 计量计费项
E-MapReduce数据迁移
提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。前提条件 已开通并创建E-MapRedece集群。具体操作，请参见 创建集群。说明 当使用阿里云 文件存储 HDFS 版 替换E-...
数据集成服务
数据导入的迁移方案包括同步MySQL数据到表格存储、同步Oracle数据到表格存储、同步Kafka数据到表格存储、同步HBase数据到表格存储、同步MaxCompute数据到表格存储、同步表格存储数据表中数据到另一个数据表和同步表格存储时序表中数据到另...
物联网存储介绍
核心优势 物联网存储IoTstore具有丰富的数据整合处理能力，同时为物联网海量存储场景提供了低成本高性能的数据存储方案。低成本存储 提供数据自动冷热分层存储能力。访问频次高的数据存储在热存储层，满足高性能访问需求；访问频次极低的...
概述
同时，表格存储提供强大查询功能，还支持在线、离线数据分析。此外，表格存储提供全托管服务，使用表格存储您无需担心软硬件预置、配置、故障、集群扩展、安全等问题，可以极大地减少管理成本。大数据分析 如果您的业务采用MySQL数据库，...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
数据迁移概述
将数据迁移至OSS 您可以基于实际业务需求将本地、第三方存储设备或者OSS源存储空间（Bucket）内的数据迁移至OSS目标Bucket，具体如下表所示：迁移方式 说明 相关文档 在线迁移 使用在线迁移服务，您可以将第三方数据轻松迁移至阿里云对象...
方案实现
本文介绍实现方案的详细配置操作，包括创建数据表、实时流计算、离线批计算和DataV展示。步骤一：创建数据表 使用远程登录工具登录EMR Header服务器。执行以下命令，启动SQL客户端。SQL客户端用于批流的SQL计算，其中emr-datasources_...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
什么是表格存储
按量模式和资源包 计量计费项 资源包介绍 批量离线任务 每天存在定时低频但海量的数据离线读写。按量模式和资源包 计量计费项 资源包介绍 业务测试 前期测试产品搭建测试环境。按量模式 计量计费项 使用方式 您可以通过如下方式使用 表格...
数据湖投递概述
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
迁移工具
迁移工具 说明 应用场景 DataWorks/DataX DataWorks数据集成是稳定高效、弹性伸缩的数据同步平台，底层实现依赖于DataX离线数据同步工具。适用于MySQL、Oracle、SQLServer等多种异构数据源之间的数据迁移同步。DataWorks/DataX将不同数据源...
导出全量数据到OSS
步骤四：配置离线同步任务并启动 配置 表格存储 到OSS的全量数据同步任务，请根据所用数据存储模型选择相应任务配置方式。如果所用的数据存储模型是宽表模型（即使用数据表存储数据），则需要同步数据表中的数据，请按照 同步数据表数据的...
功能特性
同步到本地文件 数据湖投递 数据湖投递 表格存储数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递概述 数据湖计算分析 将表格存储数据投递到...
功能概述
网络安全管理 数据加密 数据湖投递 表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。数据湖投递 快速入门 使用SDK 数据可视化 支持对接数据可视...
块存储优化
调整云盘容量 对于过度使用的云盘，您可以进行在线或离线扩容，增加单个实例的存储容量。对于ESSD云盘，您也可以选择在线升级其性能级别，从而满足性能和容量要求。对于按量付费的ESSD云盘，您也可以选择在线降低其性能级别，从而达到降低...
Kafka数据接入
云消息队列 Kafka 版 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。更多信息，请参见 什么是云消息队列 Kafka 版？说明 基于Tablestore Sink Connector，您也可以将...
- 产品推荐
- 这些文档可能帮助您