JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
云数据库Memcache版适合存储多大的数据？
在云数据库Memcache版中，Key支持的最大长度为250字节（Byte），Key+Value的最大长度是4,194,291字节。如果Key+Value的长度大于等于4,194,292字节会提示错误：object too large for cache。使用过大的对象会占用较大带宽，导致QPS下降，...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
存储加密
当MaxCompute项目中存有敏感信息如个人身份信息、财务记录、健康记录等，开启数据存储加密可保护这些数据不被未授权者访问。MaxCompute支持通过密钥管理服务KMS（Key Management Service）对数据进行加密存储，提供数据静态保护能力，满足...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive-archive-i/a<path>.:Archive commands.JindoFS分层存储...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive JindoFS分层存储命令均为异步执行，分层存储命令只是...
分层存储命令使用说明
通过该功能您可以根据数据冷热程度选择不同的存储介质来存储数据，以减少数据存储成本，或者加速访问数据的速度。使用Jindo jfs 执行以下命令，获取帮助信息。jindo jfs-help archive JindoFS分层存储命令均为异步执行，分层存储命令只是...
数据引入层（ODS）
这类表数据量较大，采用全量存储的方式存储成本压力大。此外，这类表的下游应用对于历史全量数据访问的需求较小（此类需求可通过数据仓库后续汇总后得到）。例如，日志类ODS表没有数据更新的业务过程，因此所有增量分区UNION在一起就是一份...
离线批量写入数据
表格存储提供了BulkImport接口用于在大数据场景下批量写入数据到数据表。当要写入数据到数据表时，您需要指定完整主键以及要增删改的属性列。前提条件 已初始化OTSClient。具体操作，请参见 初始化OTSClient。已创建数据表。具体操作，请...
概述
数据组织 ZooKeeper的数据组织方式与标准文件系统类似，组织成类似文件树的结构，在ZooKeeper中使用znode（ZooKeeper node）来描述文件，与标准文件系统不同的是，znode并不区分目录或者文件的概念，每个znode都可以存储数据。ZooKeeper...
数据重排
在MaxCompute的使用过程中，如果已经积累了大量数据占用了大量存储资源，且已经通过削减数据存储生命周期和删除非必要数据等方式进行了治理，在您的存储预算有限，计算资源还有冗余的情况下，可以考虑使用数据重排方式对存储空间进行优化。...
Dataphin支持的实时数据源
Ververica Flink支持的实时数据源 存储类型 数据源类型 读 写 维表读 大数据存储 MaxCompute 支持 支持 支持 DataHub 支持 支持-Hologres 支持 支持 支持 数据湖 Hudi 支持 支持-Iceberg 支持（仅支持原生DDL方式）支持（仅支持原生DDL方式...
存储说明
本文介绍E-MapReduce集群中数据存储相关的信息，包括磁盘角色、云盘与本地盘，以及OSS。背景信息 关于存储的类型、性能和相关的限制信息，请参见 什么是块存储。存储价格估算如下：本地盘实例存储为0.04 元/GB/月 OSS标准型存储为0.12 元/...
时序模型
表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
时序模型
表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息，请参见 ...
时序分析存储概述
使用分析存储（Analytical Store）功能，您可以低成本存储时序数据以及快速查询和分析时序数据。分析存储功能主要用于时序数据长期存储和分析场景。背景信息 分析存储是 表格存储 针对时序场景进行定制优化的低成本存储引擎。分析存储不仅...
快速体验
大数据存储与计算：云原生大数据计算服务 MaxCompute（必选）、实时数仓Hologres（可选）、开源大数据平台E-MapReduce（可选），您可根据需要开通MaxCompute、Hologres或E-MapReduce。数据开发与调度：大数据开发治理平台 DataWorks数据...
使用OSS-HDFS作为HBase的底层存储
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详情请参见 OSS-HDFS服务概述。HBase on ...
数据表-数据概况
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小，分区文件数，分区最后更新时间等...
快速玩转Tablestore入门与实战
TableStore时序数据存储-架构篇 基于Tablestore实现海量运动轨迹数据存储 药品监管系统架构揭秘：海量溯源数据存储与查询 基于Tablestore实现海量摩托车的轨迹管理 超级快递——如何用系统来保证快递准时送达 科学大数据 多维的网格数据是...
分层存储
如果访问数据量大或访问频次过多，可能会导致费用高于标准存储费用，例如：一个月全量访问一次低频存储的表或分区产生的费用，将等于标准存储的费用。六个月全量访问一次长期存储的表或分区产生的费用，将等于标准存储的费用。长期存储 ...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 StarRocks 支持 不支持 Hudi 支持 支持 Doris 支持 不支持 GreenPlum 支持 支持 TDengine ...
简介
系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，结合云数据库HBase强大的分布式存储能力以及Spark分析平台能力，广泛应用于空间、时空、遥感大数据存储、查询、分析与数据挖掘...
相关的云服务
数据源类云产品 使用DataWorks进行数据集成时，支持将数据从不同数据源间进行离线或实时同步，各类阿里云或自建关系型数据库、非结构化存储、大数据存储、消息队列等产品均支持添加为DataWorks的数据源，添加完成后即可使用DataWorks进行...
产品架构
业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入方式，支撑应用数据、消息数据、物联网数据等不同业务类型结构化数据的存储。...
东软案例
多模型数据融合分析困难，面向海量数据采集终端同时写入数据的并发能力弱，数据量大且价值密度低导致存储成本高，基于开源软件自建数据存储集群稳定性低运维成本高等问题，东软急需新型运维大数据存储引擎支撑，来对运维系统存储引擎升级...
数据集成支持的数据源
离线集成支持的数据源 数据源 读取 写入 大数据存储型数据源 MaxCompute 支持 支持 Hive 支持 支持 Hologres 支持 支持 IMPALA 支持 支持 TDH Inceptor 支持 支持 Kudu 支持 支持 StarRocks 支持 支持 Hudi 支持 支持 Doris 支持 支持 ...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
基于Hadoop集群支持Delta Lake或Hudi存储机制
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于开源的Hadoop集群提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据变化。背景信息 ...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
Dataphin支持的数据源
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...
查看集群日报与分析
Hive库冷热数据分布Top信息会展示如下：库极冷数据量分布Top 库冷数据量分布Top 库温数据量分布Top 库热数据量分布Top 说明 冷数据是长时间不访问的数据，推荐放到冷备存储，例如OSS冷备等。冷热数据分布可以帮助您了解集群使用情况，有...
什么是OSS-HDFS服务
作为云原生数据湖基础，OSS-HDFS在满足EB级数据分析、亿级文件管理服务、TB级吞吐量的同时，全面融合大数据存储生态，除提供对象存储扁平命名空间之外，还提供了分层命名空间服务。分层命名空间支持将对象组织到一个目录层次结构中进行管理...
上海新能源汽车车辆基础数据
客户感言 2019年开始上海市新能源汽车大数据平台从自建Hadoop集群迁移至阿里云Lindorm+DLA Spark产品，有效解决了我们平台存储和计算的横向动态扩容瓶颈，同时借助其产品中间件LTS实现了我们平台数据的冷热分离，有效降低了数据存储成本，...
- 产品推荐
- 这些文档可能帮助您