迁移开源HDFS的数据到文件存储 HDFS 版

本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心,而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...

SDK示例

本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例,您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储...

扩容文件系统

创建文件存储CPFS文件系统时的配置容量即为您能使用的最大容量,当数据写满后,将导致数据无法写入。为了防止因为数据无法写入影响业务使用,建议您在数据写满前扩容当前文件存储CPFS文件系统的配置容量。本文介绍如何扩容文件存储CPFS文件...

Spark-SQL命令行工具

`隔开,并使用-f参数指向sql文件,仅支持本地文件,且必须写绝对路径$./bin/spark-sql \-verbose \-name offlinesql \-f/path/to/your/sql/file#输出结果如下所示+executing sql:select*from t1|id|name|1|zz|2|xx|3|yy|4|test|+end+...

开通文件存储 HDFS 版服务

本文介绍如何开通 文件存储 HDFS 版 服务。前提条件 已注册阿里云账号并完成实名认证。详情请参见 注册阿里云账号 和 个人实名认证。操作步骤 登录 阿里云官网。打开 文件存储 HDFS 版申请公测页面。在申请公测页面,填写必要信息后单击 ...

关于NAS和CPFS计费项名称调整的公告

通用型存储容量(容量型/性能型)低频存储容量 低频介质存储容量 二级存储读流量 低频存储读流量 二级存储写流量 低频存储写流量 极速型NAS 存储容量 极速型配置容量 文件存储CPFS 存储容量 CPFS配置容量 调整影响 仅对按量计费的计费项...

从自建SQL Server全量迁移至RDS SQL Server

迁移类型说明 结构迁移 DTS将迁移对象的结构定义迁移到目标实例,目前DTS支持结构迁移的对象为表、视图、表触发器、同义词、SQL 存储过程、SQL 函数、plan guide、自定义类型、rule、default、sequence。全量数据迁移 DTS会将自建SQL ...

挂载问题

1.挂载数据库文件存储(DBFS)的约束?数据库文件存储(DBFS)默认会在“/mnt/dbfs”目录下创建挂载点(例如,“/mnt/dbfs/xxxxxx”)。数据库文件存储(DBFS)要求挂载点为空,即“/mnt/dbfs/xxxxxx”目录为空,不能在挂载点下存在文件...

监控与日志

监控与日志可有效保障您文件存储NAS资源的可用性、业务的正常运行和健康度。您可通过对应的监控能力,持续收集监控数据。阿里云提供了各种监控与日志审计相关的服务,例如云监控、配置审计等,帮助您实时监控云资源的使用情况和业务运行...

DeleteUserGroupsMapping-删除用户和组的映射关系

删除文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息,请参见文件...

入门概述

监测文件的使用量 数据监控 限制文件的目录或文件数 目录配额 备份文件系统中的数据 备份和恢复文件 回收站 快照 将文件系统中的冷数据转存储 低频介质 设置生命周期策略 对文件系统中的数据加密访问 服务器端加密 NFS文件系统传输加密 SMB...

计费常见问题

本文介绍文件存储NAS(通用型NAS/极速型NAS)计费常见问题。包括通用型NAS资源包如何使用或抵扣、NAS服务如何停止计费、购买资源包为什么还欠费等问题。开通NAS服务后,就开始计费吗?仅开通NAS服务,不会产生费用。当您在通用型NAS中写入...

CDH6数据迁移

本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版,实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作,请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...

应用场景

文件存储 HDFS 版 适用于对吞吐要求较高的大数据分析与机器学习的业务需求场景。大数据分析与机器学习 在大数据分析与机器学习场景中,应用对数据访问的吞吐性能和延迟有较高要求。而 文件存储 HDFS 版 能够提供高吞吐量和低延迟的访问能力...

修改文件系统

本文介绍如何在 文件存储HDFS版 控制台修改某个文件系统的存储容量、基本信息以及吞吐模式。前提条件 已创建文件系统。具体操作,请参见 创建文件系统。操作步骤 登录 文件存储HDFS版控制台。在顶部菜单栏,选择地域。在左侧导航栏,选择 ...

常见问题

产品简介FAQ 什么是文件存储NAS?文件存储NAS支持哪些访问协议?如何选择NFS和SMB文件系统协议?每个账户可以创建多少个文件系统、文件系统有什么限制?更多产品简介常见问题 产品定价FAQ 开通NAS服务后,就开始计费吗?购买了存储包为什么...

文件存储NAS系统权限策略参考

本文描述文件存储NAS支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制(RAM)产品...

什么是文件存储NAS

阿里云文件存储NAS(Apsara File Storage NAS)是面向阿里云ECS实例、E-HPC、容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。产品概述 NAS基于POSIX文件接口,天然适配原生操作系统...

通过MySQL Command Line Client导入SQL文件

本文为您介绍通过MySQL Command Line Client将本地SQL文件导入云虚拟主机数据库。前提条件 本地已安装MySQL。您可以前往 MySQL官网 下载MySQL。操作步骤 获取数据库信息。登录 云虚拟主机管理页面。找到待获取数据库信息的云虚拟主机,单击...

基本概念

本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间,可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...

概览

本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前,公测期间只提供文件系统SDK,管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口,提供一种Hadoop兼容的文件系统,对外输出为一个...

用量查询

如果您希望查看文件存储CPFS的使用记录明细,可导出文件存储CPFS的用量明细表。操作步骤 登录 用户中心。在左侧导航栏,选择 账单管理>账单详情。在 用量明细 页签,按以下要求完成各配置项。参数 说明 产品 选择 文件存储NAS。计量规格 ...

常见问题

本文介绍了文件存储NAS产品简介中的常见问题。什么是文件存储NAS?阿里云文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。NAS兼容了POSIX文件接口,可支持数千台计算节点共享访问,可以挂载到弹性计算ECS、神龙裸...

迁移SQL Server数据库到Babelfish for RDS PostgreSQL

配置完成后,在 设置脚本编写选项 步骤配置的文件路径,您可以获取导出的.sql 文件。运行评估工具Babelfish Compass,确定Babelfish对T-SQL语句的支持情况,对T-SQL进行适配。说明 Babelfish Compass工具的获取和使用,请参见 Babelfish Co...

卸载并释放CDH6 HDFS服务使用的云盘

背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时,ECS挂载的云盘只用来存储运算中的临时Shuffle文件,可以选择卸载原来用于构建CDH HDFS服务的云盘,降低集群的拥有成本。重要 从数据安全性考虑,数据迁移后建议进行数据完整性...

欠费说明

本文介绍 文件存储 HDFS 版 欠费后服务状态及查看欠费金额。欠费停服说明 状态 资源状态 如何操作 欠费预警 系统根据服务最近7小时的账单应付金额的平均值来判断您的账户余额是否足以支付下三个账期的费用。如果不足以支付,系统将以短信或...

结果编辑与导出

文件格式 将查询结果导出为 CSV、SQL 或 Excel 文件:导出 SQL 文件:编辑 查询 SQL 语句,选择导出的 查询结果条数限制、文件名称、文件格式(SQL)、文件编码、数据脱敏 和 SQL 文件设置(表名)。导出 CSV 文件:编辑 查询 SQL 语句,...

文件存储HDFS版

文件存储HDFS版(Apsara File Storage for HDFS)是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统(Hadoop Distributed File System)中管理和访问数据那样使用文件存储HDFS版。您无需对现有大...

文件存储 HDFS 版上使用TensorFlow

本文介绍如何在 文件存储 HDFS 版 上使用TensorFlow。前提条件 已开通 文件存储 HDFS 版 服务并。具体操作,请参见 开通文件存储HDFS版服务。已完成创建文件系统、添加挂载点和挂载文件系统。具体操作,请参见 快速入门。已为Hadoop集群...

API概览

本产品(文件存储 HDFS 版/2018-06-20)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...

ListUserGroupsMappings-查看用户和组的映射关系

查看文件存储 HDFS 版文件系统实例的用户和组的映射关系。接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组,用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息,请参见 ...

新功能发布记录

2022-02-11 华东1(杭州)、华东2(上海)、华南1(深圳)、华北2(北京)数据库文件存储DBFS产品详情页 表 2.2020年06月 功能名称 功能概述 发布时间 支持地域 相关文档 数据库文件存储标准版公测发布 数据库文件存储(DBFS)是一款针对...

常见问题排查

本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败,提示 java.lang.ClassNotFoundException:Class ...

集成概览

本文为您介绍文件存储 NAS支持的集成方案。OpenAPI集成 文件存储 NAS提供文件系统、权限组、挂载点、生命周期管理、快照等功能的OpenAPI,您可在业务系统中进行集成。关于如何使用阿里云OpenAPI,请参见 使用OpenAPI。版本说明 版本说明 ...

创建文件系统实例后,为什么无法访问文件存储 HDFS 版...

本文介绍了在创建文件系统实例后无法访问 文件存储 HDFS 版 的排查方法。您可以请根据以下几种情况进行排查:确认访问 文件存储 HDFS 版 服务的ECS实例对应的专有网络及虚拟交换机ID,与挂载点的专有网络及虚拟交换机ID是否一致。确认挂载...

计费项

本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价,请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算,从账户余额中扣除实际消费金额。例如...

E-MapReduce数据迁移

本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...

服务协议

自2021年1月31日起,新版数据库文件存储(DBFS)服务条款生效。请参考《阿里云数据库文件存储服务协议》。

存储包(不支持新购)

存储包是一种预付费的计费方式,只能抵扣已绑定存储包的文件系统的存储容量。本文主要介绍如何升级和续费通用型NAS存储包。说明 文件存储NAS新推出 NAS资源包 后,存储包不再支持新购,但仍然支持续费和升级。相比于存储包,资源包无需绑定...

MySQL备份恢复迁移

tar-zcvf data.tar.gz sell.sql#具体.sql文件以现场环境为准 通过scp下载文件。scp<用户名>@<服务器IP地址>:<文件路径>data.tar.gz 解压。tar-zxvf data.tar.gz 使用 cp、mv 等命令拷贝data文件到目标服务器对应的MySQL文件夹下。修改权限...
共有200条 < 1 2 3 4 ... 200 >
跳转至: GO
产品推荐
云服务器 安全管家服务 安全中心
这些文档可能帮助您
文件存储HDFS版 文件存储 CPFS 数据库文件存储 对象存储 弹性公网IP 短信服务
新人特惠 爆款特惠 最新活动 免费试用