JindoFS块存储模式
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
SmartData使用说明（EMR-3.20.0~3.22.0版本）
应用场景 E-MapReduce目前提供了三种大数据存储系统，E-MapReduce OssFileSystem、E-MapReduce HDFS和E-MapReduce JindoFS，其中OssFileSystem和JindoFS都是云上存储的解决方案，下表为这三种存储系统和开源OSS各自的特点。特点 开源OSS E-...
统一命名空间缓存加速
应用程序可以通过统一命名空间和接口来访问多个独立的存储系统，从而实现只连接JindoFSx就可与不同的底层存储系统进行通信。前提条件 已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，具体操作请参见 创建集群。...
E-MapReduce数据迁移
背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场景下的大数据解决方案。前提...
SmartData 3.0.x版本简介
JindoManager系统管理 支持通过UI来查看JindoFS存储系统上的系统状态、文件统计和缓存系统上的缓存指标统计。JindoTools工具集 改进Jindo DistCp工具的分发机制，针对EMR集群内使用场景和非EMR集群环境使用场景，分别使用不同的发行包。...
Catalog概述
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
集群容灾能力
数据容灾 在Hadoop分布式文件系统（HDFS）中，每一个文件的数据均是分块存储的，每一个数据块保存有多个副本（默认为3），并且尽量保证这些数据块副本分布在不同的机架之上。一般情况下，HDFS的副本系数是3，存放策略是将一个副本存放在...
一般性问题
数据库文件存储DBFS是面向数据库场景优化的POSIX兼容的共享读写的文件存储系统。主要适用于：OLTP及OLAP数据库场景：例如，MySQL、PostgreSQL等。NoSQL数据库场景：例如，MongoDB、RocksDB等。2.挂载点是什么概念、有什么作用？挂载点是...
CPFS存储卷概述
功能介绍 文件存储CPFS是阿里云推出的全托管、可扩展的高性能共享文件存储系统，支持POSIX、MPI-IO和NFS协议。针对GPU和CPU多机计算场景进行了深度优化，提供对数据百GB/s吞吐、亚毫秒级的访问和百万级IOPS的数据读写请求，CPFS提供了统一...
Hive连接器
使用方式 Hive连接器支持多种分布式存储系统，包括HDFS、阿里云OSS或Amazon S3的兼容系统，都可以使用Hive连接器查询。访问Hive Metastore时，必须确保Coordinator节点和所有worker节点能够通过网络访问Hive Metastore以及存储系统。默认...
查询文件系统详情
查询存储用量 在文件系统列表查看 在文件系统列表页面，拖动列表下方的滑动条，即可查看到目标文件系统的 存储总量、标准型存储量、低频介质存储量 和 回收站存储量（标准/低频）。存储总量：通用型NAS：表示标准型存储量和低频介质存储量...
概述
大数据分析 如果您的业务采用MySQL数据库，随着业务的发展，大数据分析场景逐渐增多，而MySQL数据库进行大数据分析需要结合流式组件、存储系统、计算组件等工具，操作复杂且难度大，您可以选择将MySQL数据库迁移到表格存储中实现大数据分析...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
开源软件迁移
sudo yum install mysql-y Redis Redis是一个依据BSD（Berkeley Software Distribution，伯克利软件套件）开源协议发行的高性能Key-Value存储系统，可以用作数据库、缓存、消息代理和流引擎。您可以直接在倚天云服务器上安装部署Redis。...
文件存储NAS
阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型...
计费说明
计量项 DBFS计费按以下计量项进行：版本类型 计量项 计费标准 企业版 存储空间 按当前文件系统存储空间的容量与使用时长进行计费。标准版/企业版 快照 根据云盘快照费用进行计费。价格总览 版本类型 地域 单价（GB/小时/元）标准版 杭州、...
生命周期管理概述
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
通过云存储网关挂载OSS
通过云存储网关挂载OSS，您可以将OSS映射为一个共享的文件存储系统，实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后，您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务，并授予访问OSS、ECS及...
退款说明
存储包 通用型NAS存储包是一种预付费的计费方式，只能抵扣已绑定存储包的文件系统的存储容量。存储包绑定文件系统后，不支持手动解绑，只有删除通用型NAS文件系统实例后，存储包才会自动解绑。如果您不再需要使用通用型NAS存储包，可以在...
资源包介绍
CPFS资源包是针对于CPFS文件系统的存储费用推出的预付费套餐包。相对于按量付费，资源包提供了更高的折扣优惠并支持叠加购买，抵扣多个文件系统的存储费用。资源包到期或额度全部抵扣完后，如果仍有超出部分，将自动转为按量付费。资源包 ...
存储类型概述
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
包年包月（不支持新购）
包年包月是一种预付费的计费方式，只能抵扣已创建的包年包月类型的CPFS文件系统存储容量费用。本文介绍包年包月CPFS文件系统的计费规则。说明 CPFS文件系统支持购买 资源包 后，包年包月类型CPFS文件系统不再支持新购，但仍然支持续费及扩...
资源包抵扣规则
资源包类型 抵扣计费项 抵扣说明 通用型NAS资源包 抵扣通用型NAS如下计费项的费用：通用型存储容量（容量型/性能型/高级型）低频介质存储容量 通用型NAS资源包根据存储空间内通用型NAS文件系统所产生的存储容量进行抵扣，通用型存储容量...
Kafka数据接入
通过创建Tablestore Sink Connector，将 云消息队列 Kafka 版 实例的数据源Topic导出到 表格存储（Tablestore）。前提条件 云消息队列 Kafka 版 已为实例开启Connector。具体操作，请参见 开启Connector。已为实例创建数据源Topic。更多...
生命周期管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
计费常见问题
例如您购买了一个CPFS资源包（100 GiB，1个月），在一个计费周期内，您账号下的CPFS文件系统A实际存储数据180 GiB，那么在这个计费周期内文件系统A先使用资源包抵扣100 GiB，超出的80 GiB存储容量将按量付费，因此会产生欠费。您可以对资源...
高级管理FAQ
当文件系统中包含每月访问频率或每季度访问频率低于2次的文件时，可以开启通用型NAS生命周期管理功能，符合生命周期管理策略的文件将自动转储至低频存储或归档存储，采用低频存储计费方式，从而降低存储成本。为什么我的文件系统不支持生命...
API概览
UpgradeFileSystem 扩容文件系统存储容量 扩容极速型NAS文件系统或CPFS文件系统的存储容量。挂载点 API 标题 API概述 CreateMountTarget 创建挂载点 创建挂载点。DeleteMountTarget 删除挂载点 删除已存在挂载点。ModifyMountTarget 修改...
新功能发布记录
2024年02月 功能名称 功能概述 发布时间 发布地域 相关文档 通用高级型NAS 通用型NAS新增一个存储规格类型为高级型的文件系统。适用于容器数据持久化、AI训练数据存储、工业仿真、基因计算等时延敏感型且对时延响应要求较高的文件共享业务...
方案分析
在开源方案中，通常会在选择了关系型数据库作为存储系统的基础上，选择开源Redis，这样既能覆盖上述的几个特征，还能保证Feed流系统正常运行起来，但是也会带来一些其他问题：表格存储 Redis 存储成本 磁盘性数据库，费用比内存性的要低几...
如何在本地数据中心部署云存储网关
virt-manager是RedHat共享的一个开源虚拟化管理软件，您可以在Ubuntu系统中安装virt-manager软件。执行以下命令安装virt-manager软件。sudo apt-get install qemu-kvm libvirt-bin virt-manager bridge-utils 执行以下命令启动virt-manager...
产品架构
本文介绍 表格存储 的系统架构和典型应用架构。系统架构 表格存储 的架构如下图所示。业务场景 表格存储 适用于元数据、消息数据、时空数据、大数据等场景下的系统搭建。数据接入 表格存储 提供SDK、DataWorks、IoT规则引擎等多种数据接入...
Trino概述
Worker节点负责执行下发到任务，通过连接器读取外部存储系统到数据，进行处理，并将处理结果发送给Coordinator节点。应用场景 Trino是定位在数据仓库和数据分析业务的分布式SQL引擎，适合以下应用场景：ETL Ad-Hoc查询 海量结构化数据或半...
Presto概述
Worker节点负责执行下发到任务，通过连接器读取外部存储系统到数据，进行处理，并将处理结果发送给Coordinator节点。Presto当前不支持高可用架构。在EMR集群中，Coordinator仅会部署在master-1-1节点上；Worker部署在全部Core和Task节点上...
相关的云服务
云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC可以为开源大数据平台E-MapReduce提供隔离、稳定、安全、快速交付、自主可控的网络环境。...
云存储网关
性能 作为应用与OSS之间的云存储网关，其性能取决于多个因素，包括您本地磁盘的速度和配置、iSCSI启动器与网关之间的网络带宽、分配给网关虚拟机的本地存储量、网关虚拟机与OSS之间的带宽等。对于网关缓存，要提供对本地应用的低延迟读取...
什么是对象存储OSS
数据存储到阿里云OSS以后，您可以选择标准存储（Standard）作为移动应用、大型网站、图片分享或热点音视频的主要存储方式，也可以选择成本更低、存储期限更长的低频访问存储（Infrequent Access）、归档存储（Archive）、冷归档存储（Cold ...
Lindorm for Cassandra应用实践
具备弹性伸缩、低成本、简单易用、开放、稳定等优势，适合元数据、日志、账单、标签、消息、报表、维表、结果表、Feed流、用户画像、设备数据、监控数据、传感器数据、小文件、小图片等数据的存储和分析。其核心能力包括：融合多模：支持宽...
常见问题
多计算生态接入 表格存储 支持接入开源生态体系与阿里自研生态体系。表格存储 支持对接MaxCompute、Spark等批计算以及通过实时数据通道对接Flink流计算。访问安全性 表格存储 提供多种权限管理机制，并对每一次请求都进行身份认证和鉴权，...
基本概念
ECS实例 在E-MapReduce上创建的一台云服务器，等同于一台虚拟服务器，内含CPU、内存、操作系统、网络配置、磁盘等基础的组件。更多介绍，请参见 实例概述。E-MapReduce（简称EMR）支持的ECS实例类型，以及各实例类型适用的场景，请参见 ECS...
- 产品推荐
- 这些文档可能帮助您