设备数据存储和计算实践
本文介绍如何存储和计算已接入物联网平台设备的数据，以挖掘设备数据更多的价值。背景信息 物联⽹平台数据一般来⾃于已接入的智能设备、传感器设备等。只要设备在运⾏中，就会持续不断地产⽣设备数据。设备数据的使⽤价值根据场景千差万别...
转换存储类型
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
管理存储空间访问权限
您可以在创建存储空间（Bucket）时设置存储空间的访问权限（ACL），也可以在创建存储空间后根据自己的业务需求修改存储空间的访问权限。本文介绍如何设置和获取存储空间的访问权限。读写权限类型 存储空间的访问权限有以下三类：访问权限 ...
表设计规范
表设计是否合理将影响存储和计算的性能，进而影响到存储和计算的计费。声明 本文中介绍的非功能性规范均为建议性规范，产品功能无限制，仅供参考。表设计主要目标 降低存储成本 合理的表设计可以降低数据分层设计上的冗余存储，减少中间表...
概述
文件存储CPFS 文件存储CPFS（Cloud Paralleled File System）是一款并行文件系统，其数据存储在集群中的多个数据节点，多个客户端可以同时访问，满足大型高性能计算机集群的高IOPS、高吞吐、低时延的数据存储需求。文件存储HDFS版 文件存储...
预留模式和按量模式的区别
存储部分按照多元索引存储单独按小时计费 计算部分根据存储空间和行数消耗预留CU 存储部分根据多元索引的数据总量按小时计费 弹性能力 计算部分按购买使用，无弹性能力 存储部分弹性扩容 计算与存储均支持弹性扩容 场景推荐 计费模式 付费...
什么是物联网边缘计算
它继承了阿里云安全、存储、计算、人工智能的能力，可部署于不同量级的智能设备和计算节点中，通过定义物模型连接不同协议、不同数据格式的设备，提供安全可靠、低延时、低成本、易扩展、弱依赖的本地计算服务。同时，物联网边缘计算可以...
二级索引计量计费
计费说明 索引的数据存储、计算以及读取的规则如下：存储与读取的计算规则均与数据表相同。更多信息，请参见 计量计费项。索引表构建时的计量规则如下：只有产生了有效的索引行才会产生写CU。只要可能产生旧索引行的删除、旧索引行的更新、...
服务商指南概述
无 创建服务 入驻计算巢后，您可以根据业务需求在计算巢创建并部署服务。创建服务：服务商在登录计算巢控制台之后，即可在控制台上根据不同的使用场景部署不同类型的服务。自测服务：服务商通过服务部署链接对已保存的服务进行服务实例的...
Transaction Table2.0概述
同样可提供离线&近实时增量处理一体化解决方案，在保持经济高效的批处理优势下，同时具备分钟级的增量数据读写和处理的业务需求，另外，可提供Upsert，Timetravel等一系列实用功能来扩展业务场景，可有效地节省数据计算，存储和迁移成本，...
升级和降配
如果您购买的MaxCompute包年包月资源无法满足或者超过您的业务计算量需求，需要购买更多资源以支撑业务需求或者降低资源以减少费用，您可以通过相应的资源升级和资源降配操作进行规格变配。背景信息 您在使用MaxCompute产品过程中，如果...
物联网存储介绍
在物联网场景中根据数据特点进行分类，数据主要包括设备元数据、设备消息数据和设备时序数据三种类型，不同类型数据的存储需求不同。物联网场景中不同类型数据的存储核心需求如下：设备元数据：主要数据为设备的标识、属性和状态数据，具有...
概述
它在统一的计算资源和数据集权限体系之上，提供Spark计算框架，支持您以熟悉的开发使用方式提交运行Spark作业，满足更丰富的数据处理分析需求。使用限制 MaxCompute Spark支持如下场景：离线计算场景，例如GraphX、Mllib、RDD、Spark-SQL、...
应用场景：低成本历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.11元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析...
表格存储
物联网 表格存储可以满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据完成离线分析与实时流计算。性能 表格存储单表提供10 PB级数据量、万亿条记录数、千万级别的TPS以及毫秒级延迟的服务能力...
容量规划
容量规划涉及计算，存储，网络等基础能力，其具体评估指标和内容如下：计算类产品 云服务器ECS：提供可弹性调整的计算资源，不同的实例规格族，在计算、网络、存储、安全等指标上有所区别，结合应用场景和性能需求，选择合适的规格和类型。...
应用场景
推荐系统的核心需求如下：行为日志：存储客户端写入实时数据，需要支持高并发写入以及对接流式计算进行实时分析。历史数据：冷数据同步到OSS数据湖存储，需要支持数据投递、便于数据分层。用户标签：对分析标签与推荐信息进行存储，需要...
创建存储空间
您可以根据实际需求，创建不同类型的存储空间来存储不同的数据。注意事项 创建存储空间本身不收取任何费用，仅收取上传至存储空间中Object的存储费用或者访问Object产生的流量费用等。更多信息，请参见 计量项和计费项。存储空间的容量弹性...
低成本历史库
云原生多模数据库Lindorm提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接spark、hive、flink、presto等开源分析生态满足用户对数据的复杂分析需求...
低成本RDS历史库
云原生多模数据库 Lindorm 提供海量数据的低成本存储能力（0.12元/GB/月）、弹性伸缩按需付费、多模多端处理能力满足用户多种场景下的数据存储需求，同时可以无缝对接Spark、Hive、Flink、Presto等开源分析生态满足用户对数据的复杂分析...
整体架构
技术架构 AnalyticDB MySQL版 采用云原生架构，计算存储分离、冷热数据分离，支持高吞吐实时写入和数据强一致，兼顾高并发查询和大吞吐批处理的混合负载。AnalyticDB MySQL 数仓版（3.0）主要用来处理高性能在线分析场景的数据。随着数据...
常见问题
表格存储 单表提供PB级数据存储规模，无需分库分表，同时支持千万QPS，可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。表格存储 提供了各个场景下的...
产品规格
超级计算集群（SCC）实例还针对E-HPC多机并行计算需求，提供了低延时RDMA网络互联。SCC实例 实例类型 实例规格 计算配置 网络配置 存储配置 推荐应用场景 高主频+低延时网络 ecs.scchfg6.20xlarge 处理器：3.1 GHz主频的Intel ® Xeon ® ...
管理共享存储
如果您有更多的存储需求，可以为集群挂载新的存储资源，来缓解单个文件系统在性能、容量等方面的压力，支持更大规模集群的计算任务。本文介绍在创建E-HPC集群后，如何为集群挂载新的存储资源，以及如何卸载存储资源。前提条件 已创建存储...
快速玩转Tablestore入门与实战
可以轻松满足IoT设备、监控系统等时序数据的存储需求，大数据分析SQL直读以及高效的增量流式读接口让数据轻松完成离线分析与实时流计算。基于Tablestore的一站式物联网存储解决方案-场景篇 基于Tablestore的一站式物联网存储解决方案-表...
产品架构
Storage Disaggregation（存储计算分离架构）存储和Shared Storage类似，有一个分布式的共享存储集群，计算层处理数据的模式和Shared Nothing类似，数据是分片的，每个Shard只处理自己所在分片的数据，每个计算节点还可以有本地缓存。存储...
使用向导创建集群
背景信息 集群可为E-HPC计算提供计算资源、存储资源等，用于后续提交作业、调度作业、存储作业结果、查看作业结果。创建和使用E-HPC集群前请了解以下内容：限制条件：一个地域下最多可创建3个集群，如需要创建多个集群，请 提交工单。费用...
存储空间概述
在上传数据（例如文档、图片、音视频等）到OSS之前，您需要在OSS所支持的地域中创建一个存储空间（Bucket），然后将无限数量的对象（Object）上传到该Bucket中。背景信息 Bucket和Object都是OSS资源，OSS提供了相关的API接口来管理这些资源...
欠费说明
更多信息 函数计算 可以满足多样化需求，在各种方案规划中，函数计算 能灵活地搭配使用其他阿里云服务，例如对象存储OSS，日志服务SLS和 事件总线（EventBridge）等。不同云服务的计费方式不同，具体以各自产品的计费规则为准。为确保您能...
欠费说明
更多信息 函数计算 可以满足多样化需求，在各种方案规划中，函数计算 能灵活地搭配使用其他阿里云服务，例如对象存储OSS，日志服务SLS和 事件总线EventBridge 等。不同云服务的计费方式不同，具体以各自产品的计费规则为准。为确保您能正常...
存储空间地域属性
✓×设置存储空间读写权限（ACL）您可以在创建Bucket时设置访问权限（ACL），也可以在创建Bucket后根据自己的业务需求修改Bucket ACL，该操作只有存储空间的拥有者可以执行。✓ ✓ Bucket Policy Bucket Policy是阿里云OSS推出的针对Bucket...
产品架构
分布式文件系统 LDFS（Lindorm DFS，也称为Lindorm文件引擎）是面向云基础存储设施设计、兼容HDFS协议的分布式存储系统，并同时支持运行在本地盘环境，以满足部分大客户的需求，向多模引擎和外部计算系统提供统一的、与环境无关的标准接口...
MaxCompute近实时增全量一体化架构介绍
近实时增全量一体化架构的Upsert实时写入链路，可以保持数据从写入到查询的延时在5~10分钟，满足分钟级近实时业务需求，并且不需要复杂的ETL链路来进行增全量数据的合并操作，节省了相应的计算和存储成本。且在实际业务数据处理场景中，...
什么是文件存储CPFS
文件存储CPFS（Cloud Parallel File Storage）是阿里云推出的全托管、可扩展并行文件系统，满足高性能计算场景的需求。CPFS提供了统一的命名空间，支持成百上千的机器同时访问，拥有数十GB的吞吐、数百万的IOPS能力的同时还能保证亚毫秒级...
产品架构
冷热分层存储 数据存储支持自动冷热分层，同时 表格存储 支持高性能实例和容量型实例两种实例规格来满足不同业务的数据存储需求。实例规格 描述 高性能实例 适用于对读写性能和并发都要求非常高的场景，例如游戏、金融风控、社交应用、推荐...
评估合适的云服务
在进行高性能架构设计时，首先需要关注的是计算、存储、网络等基础云服务的选择。充分了解自身业务特征及指标，熟悉架构主要组件所涉及云产品方案类型，有利于业务和工作负载在不同的产品方案中受益，并使系统架构得以持续优化。数据库的...
CPFS存储卷概述
根据业务需求，您可以对CPFS存储卷做以下操作：业务需求 参考链接 存储应用数据 CPFS2.0静态卷 使用限制 Flexvolume暂不支持CPFS2.0存储卷。关于CPFS的更多使用限制，请参见 使用限制。计费说明 关于CPFS的计费项、计费方式及相关价格，请...
计算与分析概述
表格存储支持通过MaxCompute、Spark、Hive或者HadoopMR、函数计算、Flink、Presto、表格存储多元索引以及表格存储SQL查询进行计算与分析。分析工具选择 表格存储支持 宽表模型、时序模型 等多种数据模型。使用不同数据模型时支持的分析工具...
治理效果
项目治理明细 项目治理明细 模块默认以项目和业务板块为维度，为您展示所有项目下的 项目名称、业务板块、负责人、计算量、计算分、计算优化量、存储量、存储分、存储优化量 信息。参数 描述 项目名称 项目的名称。业务板块 项目所属 业务...
治理效果
项目治理明细 项目治理明细 模块默认以项目和业务板块为维度，为您展示所有项目下的 项目名称、业务板块、负责人、计算量、计算分、计算优化量、存储量、存储分、存储优化量 信息。参数 描述 项目名称 项目的名称。业务板块 项目所属 业务...
- 产品推荐
- 这些文档可能帮助您