JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
资源包概述
资源包是针对按量付费中的文件系统存储用量推出的预付费套餐包。相对于按量付费，资源包提供了更高的折扣优惠。相对于存储包，资源包无需绑定文件系统即可直接使用，同时可以抵扣多个文件系统的存储费用。NAS资源包支持叠加购买，叠加购买...
持续的存储优化
通过监控服务和账单密切监控存储成本。使用对象标签和生命周期策略，在整个数据生命周期中持续优化数据存储。总之，存储优化是评估数据存储需求的变化并选择最具成本效益的存储方案的持续过程。对于对象存储，使用生命周期策略自动将访问...
企业云监控的监控数据存储方案说明
监控数据的存储方案包括日志服务存储和云监控存储。日志服务存储 监控数据存储在当前账号的日志服务中。开通日志服务后，当您通过企业云监控创建指标仓库时，日志服务默认在 杭州（cn-hangzhou）地域创建一个日志项目（Project）和一个时序...
快速玩转Tablestore入门与实战
现代IM系统中的消息系统架构-架构篇 现代IM系统中的消息系统架构-模型篇 现代IM系统中的消息系统架构-实现篇 Tablestore Timeline：轻松构建千万级IM和Feed流系统 Feed流系统设计-总纲 如何打造千万级Feed流系统 高并发IM系统架构优化实践 ...
监控存储资源
E-HPC提供了存储资源监控功能，方便您在控制台查看存储资源的性能和容量数据，了解存储资源的使用情况。前提条件 如果使用RAM用户操作，请确保RAM用户具有通过控制台查看共享存储监控指标的权限。展开查看权限内容 {"Version":"1",...
配置基础告警规则
当您需要监控文件存储CPFS文件系统资源的使用情况时，可以创建报警规则。如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异常监控数据，并快速处理。前提条件 已创建文件存储CPFS文件系统。具体操作，请参见 创建...
新功能发布记录
2022-04-01 全部 NFS文件系统传输加密 SMB文件系统传输加密 容量监控 通用型NAS支持容量监控，通过云监控服务可实时监控文件系统实例的存储概况，包括通用型NAS数据量（不含低频介质）、低频介质数据量和文件数。2022-03-15 华东2（上海）...
SmartData 3.0.x版本简介
支持JindoFS存储系统fsimage的离线导出和分析查询。支持跨集群访问JindoFS存储系统。JindoFS分层存储命令详情请参见 分层存储命令使用说明。JindoFS缓存优化 改进缓存数据磁盘组织，解除对系统盘的依赖，实现数据盘之间完全独立，增强磁盘...
Catalog概述
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 内表数据源。查询外部数据 如果需要查询存储在外部数据源...
监控与日志
容量监控数据 在容量监控页面，选择文件系统类型和目标文件系统ID，查看该文件系统的存储空间使用量、文件数、低频介质读写流量等监控数据。健康状态监控 建议实时了解云资源的健康状态，方便在有任何异常的情况下，您能及时采取相应的处理...
统一命名空间缓存加速
应用程序可以通过统一命名空间和接口来访问多个独立的存储系统，从而实现只连接JindoFSx就可与不同的底层存储系统进行通信。前提条件 已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，具体操作请参见 创建集群。...
Hive连接器
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
配置存储地址
如果没有可用的，您也可以到视频点播控制台新增Bucket，视频点播系统会在每一个存储地域分配一个存储地址，开通视频点播服务后需要启用该地址才能使用，具体操作，请参见 管理存储Bucket。添加对象存储地址前，您需要开通对象存储OSS服务并...
一般性问题
数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2.挂载点是什么概念、有什么作用？挂载点是...
集群容灾能力
Hadoop HDFS是一个经历了长时间考验且具有高可靠性的数据存储系统，已实现了海量数据的高可靠性存储。同时基于云上的特性，您也可以再在OSS等服务上额外备份数据，以达到更高的数据可靠性。服务容灾 Hadoop的核心组件都会进行HA部署，即有...
文件存储CPFS监控概述
通过查看文件存储CPFS文件系统的容量监控和性能信息，您可以了解文件系统的存储容量使用情况和读写吞吐、读写IOPS等情况。通过为文件系统的重要监控指标设置报警规则，您可以及时获知指标异常并快速处理异常。本文介绍文件存储CPFS支持的...
CPFS存储卷概述
功能介绍 文件存储CPFS是阿里云推出的全托管、可扩展的高性能共享文件存储系统，支持POSIX、MPI-IO和NFS协议。针对GPU和CPU多机计算场景进行了深度优化，提供对数据百GB/s吞吐、亚毫秒级的访问和百万级IOPS的数据读写请求，CPFS提供了统一...
概述
大数据分析 如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析...
如何优化高并发IM系统架构
存储系统 存储系统采用阿里云表格存储，表格存储具有以下优势：表格存储写操作不仅支持单行写，也支持多行批量写，可满足大并发写数据需求。表格存储支持按范围读，消息多时可翻页。表格存储支持数据生命周期管理，可对过期数据进行自动...
云监控事件编码
在云监控的事件监控模块中，您可以订阅E-MapReduce数据开发相关的系统事件，监控集群的核心组件服务状态。云监控系统事件编码及其含义如下。事件编码 事件描述 事件类型 EMR-110401002 工作流已成功。FLOW EMR-110401003 工作流已提交。...
文件存储CPFS
数据持久性和服务可用性 文件存储CPFS的数据持久化存储于阿里云自研的盘古分布式存储系统，支持多份数据拷贝，可以提供99.999999999%（11个9）的数据可靠性。文件存储CPFS的所有节点均为高可用设计。实现集群内秒级别的故障检测，并由CPFS...
SmartData 3.6.x版本简介
JindoSDK支持和FileSystem平级的Object Store API JindoSDK在已有FileSystem语义支持的基础上，新增支持平级的Object Store API语义，与对象存储系统OSS等有更直接的对应关系，方便使用。Object Store API优化了Copy和Rename等操作，提升了...
方案分析
在开源方案中，通常会在选择了关系型数据库作为存储系统的基础上，选择开源Redis，这样既能覆盖上述的几个特征，还能保证Feed流系统正常运行起来，但是也会带来一些其他问题：表格存储 Redis 存储成本 磁盘性数据库，费用比内存性的要低几...
查看NAS容量监控
文件存储NAS已与云监控无缝集成。通过容量监控功能，您可以实时查看通用型NAS存储空间中通用型NAS数据量和低频介质数据量以及低频读写数据流量和文件数。本文介绍如何查看通用型NAS的容量监控数据。前提条件 已创建NAS文件系统。具体操作，...
表格存储
表格存储（Tablestore）是阿里云自研的结构化数据存储，提供海量结构化数据存储以及快速的查询和分析服务。表格存储提供兼容HBase的WideColumn模型、消息模型Timeline以及时空模型Timestream，实现PB级存储、千万TPS以及毫秒级延迟的服务...
功能简介
阿里云 可观测监控 Prometheus 版 通过数据投递功能，实现了监控数据管理的灵活性和扩展性。您不仅可以将数据从一个Prometheus实例远程写入（Remote Write）到另一个Prometheus实例，还可以轻松将数据流转至各云产品中，例如Kafka、...
前端监控场景
主要原因是对于前端监控的重视不足，认为服务端的监控可以部分替代前端监控，这种想法就导致系统在线上运行时，无法感知用户访问系统时的具体情况，因而定位线上用户偶现的前端问题变得非常困难。业务痛点 定位性能瓶颈困难 当用户反馈页面...
通过云存储网关挂载OSS
通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务，并授予访问OSS、ECS及...
功能简介
阿里云 可观测监控 Prometheus 版 通过数据投递功能，实现了监控数据管理的灵活性和扩展性。您不仅可以将数据从一个Prometheus实例远程写入（Remote Write）到另一个Prometheus实例，还可以轻松将数据流转至各云产品中，例如Kafka、...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
计费常见问题
据统计分析，大部分用户文件系统中80%的数据均为冷数据，按80/20定律进行成本估算，使用低频存储后，原性能型NAS文件系统的有效存储成本可降低至0.49元/月/GiB，原容量型NAS文件系统的有效存储成本可降低至0.19元/GiB/月。购买了资源包什么...
使用API查询监控数据
大型企业内部通常有自建的运维监控系统，上云过程中会面临如何将云资源监控数据与已有系统集成的问题。下面本文将为您介绍如何通过云监控接口查询各产品监控数据，从而将阿里云的监控数据与现有系统进行集成。指标类监控数据查询的接口 云...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
产品计费
SLS使用费用 如果您开启了云存储网关日志监控服务，系统日志将会推送到您指定的SLS Logstore中，网关访问产生的费用由SLS产品向您收取，具体费用，请参见 SLS产品定价。KMS使用费用 如果您开启了服务端加密功能，OSS会调用KMS API进行查询...
资源包介绍
CPFS资源包是针对于CPFS文件系统的存储费用推出的预付费套餐包。相对于按量付费，资源包提供了更高的折扣优惠并支持叠加购买，抵扣多个文件系统的存储费用。资源包到期或额度全部抵扣完后，如果仍有超出部分，将自动转为按量付费。资源包 ...
概述
Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接到许多存储系统。背景信息 在大数据生态系统中，Alluxio位于数据驱动...
快速构建主机监控能力
主机监控是维护和管理IT系统的重中之重，您可以借助云监控快速构建主机监控能力。对于已安装云监控插件的阿里云主机（ECS实例），您可以通过 主机监控 以可视化的方式查看其监控数据，也可以通过一键报警为主机的关键指标快速设置报警规则...
插件概览
云监控的主机监控服务通过在主机上安装云监控插件，为您提供主机的系统监控服务。插件版本 云监控插件共有三个版本，从前往后依次为Java、Go和C++版本，当前最新版本为C++版本。由于C++版本的云监控插件比Go和Java版本占用的CPU和内存资源...
资源包抵扣规则
资源包类型 抵扣计费项 抵扣说明 通用型NAS资源包 抵扣通用型NAS如下计费项的费用：通用型存储容量（容量型/性能型/高级型）低频介质存储容量 通用型NAS资源包根据存储空间内通用型NAS文件系统所产生的存储容量进行抵扣，通用型存储容量...
- 产品推荐
- 这些文档可能帮助您