本文介绍如何通过 开源大数据平台 EMR(E-MapReduce)控制台,快速创建一个 EMR 集群并使用Spark3读取 表格存储 的数据。前提条件 已使用阿里云账号对 EMR 服务授权。具体操作,请参见 角色授权。已创建 表格存储 数据表。具体操作,请参见...
表格存储高并发的写入性能以及低廉的存储成本非常适合物联网、日志、监控数据的存储。将数据写入到表格存储时,您可以通过函数计算对新增的数据做简单的清洗,将清洗后的数据写回到表格存储的另一种数据表中。同时,您也可以实时访问表格...
对于规模稳定集群,建议使用Kubernetes内置存储卷volume访问文件系统。更多信息,请参见 自建Kubernetes挂载NAS。存储插件使用须知如下:对于新建阿里云容器服务Kubernetes集群,推荐使用CNFS。对于已经创建的阿里云容器服务Kubernetes集群...
通过函数计算访问表格存储,对表格存储增量数据进行实时计算。背景信息 函数计算(Function Compute,简称FC)是事件驱动的全托管计算服务。使用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准备...
通过在E-MapReduce集群中使用Spark SQL访问表格存储。对于流计算,基于通道服务,利用CDC(数据变更捕获)技术完成Spark的mini batch流式消费和计算,同时提供了at-least-once一致性语义。前提条件 已创建 EMR 集群。具体操作,请参见 EMR...
存储配置[Storage]参数名称 是否必选 示例值 说明 volumeType 否 nas 挂载的共享存储类型。目前仅支持nas。volumeProtocol 否 NFS 共享存储的协议类型。取值范围:NFS SMB 默认值:NFS。volumeId 否 008b64*NAS文件系统ID。remoteDirectory...
云存储网关CSG(Cloud Storage Gateway)是一款可以部署在用户本地数据中心和阿里云上的网关产品。它以阿里云对象存储OSS为后端存储,为云上和云下应用提供业界标准的文件服务(NFS和SMB)和块存储服务(iSCSI)。云存储网关 目前提供两种...
步骤1:添加挂载点 在文件存储NAS控制台 为已创建的NFS NAS文件系统添加挂载点。详情请参见 添加挂载点。您可以单击该文件系统右侧对应的 管理 查看挂载点路径,确认是否已成功添加挂载点。步骤2:挂载NFS NAS文件系统 挂载点添加成功后,...
阿里云文件存储 NAS是一种分布式的网络文件存储,为ECS、HPC、Docker、BatchCompute等提供安全、无限容量、高性能、高可靠、简单易用的文件存储服务。阿里云文件存储NAS支持与函数计算无缝集成。这使您的函数可以像访问本地文件系统一样...
为避免已挂载文件系统的云服务器ECS重启后,挂载信息丢失,您可以通过在Linux ECS实例中配置/etc/fstab 文件,实现在云服务器ECS设置重启时CPFS文件系统自动挂载。打开/etc/fstab配置文件,添加挂载配置。file-system-id.region.nas....
通过在E-MapReduce集群中使用Spark2访问表格存储。对于批计算,Tablestore on Spark提供索引选择、分区裁剪、Projection列和Filter下推、动态指定分区大小等功能,利用表格存储的全局二级索引或者多元索引可以加速查询。前提条件 已创建E-...
块存储支持设置的事件通知包括系统事件、挂载或者卸载数据盘、保留云盘、欠费释放。事件列表 块存储可以设置的事件通知包括:系统事件 挂载或者卸载数据盘 保留云盘 欠费释放 系统事件 块存储只有异常类事件,不存在维护类系统事件。在事件...
以CPFS为共享存储的E-HPC集群适合动画渲染、生命科学、气象预报、能源勘探等需要超高吞吐的应用场景。本文介绍如何创建以CPFS为共享存储的高性能计算集群,为您提供一个高IOPS、高吞吐、低时延的计算集群。背景信息 CPFS(Cloud Paralleled...
NAS挂载 NAS挂载点:选择NAS文件系统和挂载点,EAS服务通过挂载点来访问NAS文件系统。如何创建通用型NAS文件系统,详情请参见 创建文件系统。NAS源路径:需要挂载的NAS中的源路径,即NAS实例内部的文件系统路径。挂载路径:挂载到服务实例...
POSIX客户端可同时连接多个存储节点,对上层应用提供标准POSIX和MPI-IO接口,可以提供最优的性能和应用接口兼容性。本文以 Alibaba Cloud Linux 操作系统为例,介绍如何快速部署CPFS,并通过CPFS-POSIX客户端访问CPFS文件系统。说明 CPFS-...
挂载点定义了采用怎样的权限来访问数据库文件存储(DBFS),同一个挂载点可以被多个计算节点同时挂载并进行共享访问。数据库文件存储DBFS的挂载点目前固定,位于“/mnt/dbfs”目录下。3.权限组是什么概念、有什么作用?权限组定义了访问...
通过云存储网关挂载OSS,您可以将OSS映射为一个共享的文件存储系统,实现多个用户在不同地点和设备上共享访问OSS数据。挂载完成后,您可以像使用本地文件夹和磁盘一样操作OSS资源。前提条件 已开通 云存储网关服务,并授予访问OSS、ECS及...
Ubuntu 14.04及以上和CentOS 6.5及以上系统版本通过fstab的方式自动挂载 在/etc/fstab 中加入如下命令:ossfs#bucket_name mount_point fuse_netdev,url=url,allow_other 0 0 其中,#bucket_name 表示要挂载的OSS存储空间的名称,将 bucket...
提示can't find disk 动态创建PV失败,提示disk size is not supported NAS存储卷常见问题 NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误 使用NAS存储卷时,提示chown:option not permitted 挂载NAS存储卷失败 使用NAS动态...
提示can't find disk 动态创建PV失败,提示disk size is not supported NAS存储卷常见问题 NAS存储卷挂载时间延长 NAS存储卷挂载失败时出现timeout错误 使用NAS存储卷时,提示chown:option not permitted 挂载NAS存储卷失败 使用NAS动态...
对于块存储,监控存储使用情况并调整未充分使用或过度使用的云盘容量,同时删除未挂载云盘和过期的快照,避免为未使用的存储资源付费。您可以为存储优化任务设置月度计划,使用OSS提供的各种存储管理功能来监控存储成本并评估资源使用情况...
步骤二:挂载文件系统 创建文件存储NAS实例后,您需要将NFS文件系统挂载至同一VPC内的ECS实例并验证挂载,本文以控制台一键挂载为例。更多挂载方式请参见 挂载文件系统场景说明。挂载NAS文件系统 登录 NAS控制台,执行以下操作:在左侧导航...
云存储网关挂载点包括存储网关IP地址和共享目录名称,请根据实际值替换。您可以在阿里云云存储网关控制台,找到目标云存储网关,在其 共享 页面查看挂载点。单击 完成,并输入CIFS用户名和密码。如果已加入AD,则需要在用户名前添加域名,...
在 ACK Serverless集群 中,只支持挂载NAS静态存储卷,不支持挂载NAS动态存储卷。关于如何挂载NAS静态存储卷,请参见 使用NAS静态存储卷。注意事项 NAS为共享存储,可以同时为多个Pod提供共享存储服务,即一个PVC可以同时被多个Pod使用。在...
本文介绍使用SAE时,如何解决挂载文件持久化的问题。问题现象 程序需要一个额外的文件。通过JAR包部署应用至SAE后,可以通过Xshell上传该文件。但是每次重启程序后,该文件会丢失。可能原因 在SAE场景中,容器是一个暂时状态的、供应用运行...
参数 说明 是否挂载 设置新创建的云盘是否直接挂载到实例。暂不挂载:只创建云盘,不挂载到ECS实例。选择此项之后,只能创建按量付费的云盘。云盘必须挂载到同一可用区的ECS实例,请谨慎选择 地域及可用区。说明 如果您需要在创建云盘后...
注意事项 若您在应用模板中配置了 securityContext.fsgroup 参数,kubelet在存储卷挂载完成后会执行 chmod 或 chown 操作,导致挂载时间过长。说明 若已配置 securityContext.fsgroup 参数,且需要减少挂载时间。具体操作,请参见 NAS存储...
参数 说明 是否挂载 设置新创建的云盘是否直接挂载到实例。暂不挂载:只创建云盘,不挂载到ECS实例。选择此项之后,只能创建按量付费的云盘。云盘只能挂载到同一可用区的ECS实例内,且订购后不支持更换地域和可用区,请谨慎选择 地域及可用...
本文介绍如何通过s3fs、goofys以及Rclone在不同操作系统中将OSS Bucket挂载到本地文件系统,让您能够像操作本地文件一样操作OSS的对象(Object),实现数据的共享。前提条件 已创建RAM用户并获取访问密钥(AccessKey)。具体操作,请参见 ...
您可以在ECS实例上设置应用生命周期挂载脚本,在事件发生时,可以自动执行自定义脚本。挂载脚本定义说明 生命周期挂载脚本的运行过程图示意如下:脚本执行须知:脚本采用 root 用户执行。脚本执行时间最长为600s,当执行时间超过600s,将...
注意事项 若您在应用模板中配置了 securityContext.fsgroup 参数,kubelet在存储卷挂载完成后会执行 chmod 或 chown 操作,导致挂载时间过长。说明 若已配置 securityContext.fsgroup 参数,且需要减少挂载时间。具体操作,请参见 NAS存储...
前提条件 NAS 创建NAS文件系统 添加挂载点 VPC 创建和管理专有网络 创建和管理交换机 ECS 创建安全组 操作步骤 在创建Web应用时设置NAS存储 登录 SAE控制台。在左侧导航栏,单击 应用管理,在顶部菜单栏选择地域,然后在 应用列表 页面,...
本文介绍使用云存储网关过程中的常见问题。云上部署FAQ 创建网关时找不到可用交换机如何处理?云存储网关升级失败了该如何处理?本地部署FAQ 如何检测网关网络的联通性?如何在本地数据中心部署云存储网关?云存储网关升级失败了该如何处理...
对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云存储服务,将数据以对象(Object)的形式存储在存储空间(Bucket)中。OSS 在解决应用实例数据持久化和实例间数据分发问题的基础上,进一步降低成本。本文介绍...
产品简介FAQ 云存储网关提供哪些服务?云存储网关支持哪些协议?产品原理FAQ 文件网关中的文件与OSS间的映射关系如何?文件网关缓存的淘汰机制是什么?文件网关的缓存有什么作用?云存储网关文件上传原理解析是什么?极速同步如何保证反向...
关于容器存储CSI支持的存储卷类型,请参见:云盘存储卷概述 NAS存储卷概述 OSS存储卷概述 CPFS2.0静态卷 使用CNFS管理CPFS隔离存储卷 DBFS存储卷概述 本地存储卷概述 非易失性存储卷概述 使用ENS云盘(ACK Edge集群)容器存储CSI提供可观测...
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版,实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
具体配置项说明如下表所示:配置项 说明 是否挂载 设置新创建的云盘是否直接挂载到实例。暂不挂载:只创建云盘,不挂载到ECS实例。选择此项之后,只能创建按量付费的云盘。云盘必须挂载到同一可用区的ECS实例,请谨慎选择 地域及可用区。...
NAS存储卷需要使用子目录进行挂载。背景信息 关于NAS卷的管理配额,请参见 目录配额。使用限制 目前仅容量型NAS支持使用配额限制,其他NAS类型均不支持。关于NAS存储卷的规格类型,请参见 NAS规格类型。NAS静态存储卷不支持扩容。仅支持子...
块存储的共享挂载能力将通过多重挂载功能实现,多重挂载功能现已商业化发布,ESSD全系列云盘均可支持,欢迎使用。更多信息,请参见 支持NVMe协议和多重挂载功能。下线内容 阿里云将于2023年06月30日起停止提供共享块存储服务(公测)。下线...