FS-文件系统
本文介绍FS-文件系统的使用方法及示例。硬件平台 产品型号 是否支持 硬件类型 固件版本号 ...f2data=fs.readSync(f2path,0,f2size);console.log('myfile2 data is:'+f2data);dirinfo=fs.listdir(dirpath);console.log('dir list:'+dirinfo);
内置存储与用户OSS
数据库备份DBS提供数据库的备份恢复能力，备份数据保存在云存储上，云存储支持内置存储、用户OSS。对比项 DBS内置存储 用户OSS 安全性 客户无法直接访问备份集。已接入DBS安全权限体系。客户可直接访问备份集。需要自行管理备份集安全。...
【通知】DBS内置存储出账策略调整
数据库备份DBS 将于2023年08月10日起逐步将DBS内置存储账单出账策略调整为按备份计划维度出账。背景信息 为了提升用户的产品使用体验，自2023年08月10日起，数据库备份DBS 将逐步调整 内置存储 账单的出账策略。原来账单是按照用户地域维度...
计费常见问题
备份计划存储费用（可选）：配置包年包月备份计划时，当备份目标存储类型选择为 DBS内置存储，系统将根据存入DBS内置存储中的实际数据量的大小与时长收取存储费用。费用详情，请参见 存储费用。备份计划备份费用（可选）：若备份计划备份的...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。...
Jindo sql命令介绍
背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问日志 使用Jindo sql分析元数据 使用Jindo sql分析OSS访问日志 使用限制 EMR-3.36.0及后续版本或EMR-5.2.0及后续版本的集群，支持使用Jindo sql命令。...
推荐的挂载方式
对于规模稳定集群，建议使用Kubernetes内置存储卷volume访问文件系统。更多信息，请参见 自建Kubernetes挂载NAS。存储插件使用须知如下：对于新建阿里云容器服务Kubernetes集群，推荐使用CNFS。对于已经创建的阿里云容器服务Kubernetes集群...
UpdateUserAntiDDosInfo
描述 x-oss-defender-instance 字符串 是 cbcac8d2-4f75-4d6d-9f2e-c3447f73*高防实例ID。x-oss-defender-status 字符串 是 HaltDefending 更改高防OSS实例状态。取值为：HaltDefending：解除防护。此接口涉及的其他公共请求头，例如Host、...
InitUserAntiDDosInfo
响应头 名称 类型 示例值 描述 x-oss-defender-instance 字符串 cbcac8d2-4f75-4d6d-9f2e-c3447f73*高防实例ID。此接口涉及的其他公共响应头，例如 x-oss-request-id、Content-Type 等的更多信息，请参见 公共响应头（Common Response ...
0038-00000006
antiDDos HTTP/1.1 Date: GMT Date Host: oss-cn-hangzhou.aliyuncs.com Authorization: SignatureValue x-oss-defender-instance: cbcac8d2-4f75-4d6d-9f2e-c3447f73*x-oss-defender-status:Halt 上述请求对应UpdateUserAntiDDosInfo接口...
0038-00000005
antiDDos HTTP/1.1 Date: GMT Date Host: BucketName.oss-cn-hangzhou.aliyuncs.com Authorization: SignatureValue x-oss-defender-instance: cbcac8d2-4f75-4d6d-9f2e-c3447f73*x-oss-defender-type:UnkownType<AntiDDOSConfiguration>...
0038-00000010
antiDDos HTTP/1.1 Date: GMT Date Host: TargetBucket.oss-cn-hangzhou.aliyuncs.com Authorization: SignatureValue x-oss-defender-instance: cbcac8d2-4f75-4d6d-9f2e-c3447f73*x-oss-defender-type:AntiDDosPremimum...
0038-00000009
antiDDos HTTP/1.1 Date: GMT Date Host: BucketName.oss-cn-hangzhou.aliyuncs.com Authorization: SignatureValue x-oss-defender-instance: cbcac8d2-4f75-4d6d-9f2e-c3447f73*x-oss-defender-type:UnkownType<AntiDDOSConfiguration>...
0040-00000373
image_cGFuZGEucG5nP3gtb3NzLXByb2Nlc3M9aW1hZ2Uvd2F0ZXJtYXJrLGltYWdlX2NHRnVaR0V1Y0c 是图片水印预处理参数 panda.png?x-oss-process=image/watermark,image_cGFuZGEucG 经Base64编码后得到，其中出现了分隔符/watermark,image_...
文件存储 HDFS 版和对象存储OSS双向数据迁移
以 文件存储 HDFS 版 到对象存储OSS的数据迁移为例，数据迁移任务打开 文件存储 HDFS 版 的文件F，根据当前系统状态决定文件F的长度L，将L字节迁移到对象存储OSS。如果在数据迁移过程中，有并发的写者写入，文件F的长度将超过L，但是数据...
使用云企业网跨VPC访问文件存储 HDFS 版
hadoop fs-ls dfs:/f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/ hadoop fs-mkdir dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/test_dir hadoopfs-touchz dfs://f-xxxxxx.cn-xxxx.dfs.aliyuncs.com:10290/test_dir/words echo "hello world"|...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
在文件存储 HDFS 版上使用Apache HBase
说明 如果您使用的是CDH或者阿里云E-MapReduce中内置的HBase，请参见 在文件存储HDFS版上使用CDH6 和 在文件存储HDFS版上使用E-MapReduce。步骤一：Hadoop集群挂载 文件存储 HDFS 版 实例 在Hadoop集群中配置 文件存储 HDFS 版 实例。具体...
使用NAS动态存储卷
本文介绍如何使用阿里云NAS动态存储卷，及如何验证NAS存储卷的持久化存储与共享存储特性。前提条件 已创建ACS集群。具体操作，请参见 创建ACS集群。已开通NAS并创建NAS文件系统。请参见 创建文件系统。若需要加密NAS存储卷中的数据，创建...
迁移开源HDFS的数据到文件存储 HDFS 版
本文档介绍如何将开源HDFS的数据平滑地迁移到 文件存储 HDFS 版。背景信息 当前业界有很多公司是以Hadoop技术构建数据中心，而越来越多的公司和企业希望将业务顺畅地迁移到云上。文件存储 HDFS 版 可以帮助您实现将开源HDFS的数据迁移到云...
在文件存储 HDFS 版上使用Apache Tez
hadoop fs-mkdir-p/apps/tez-0.9.2-minimal hadoop fs-put tez-0.9.2-minimal-new/tez-0.9.2-minimal.tar.gz/apps/tez-0.9.2-minimal 将编译后的Hadoop压缩包上传至 文件存储 HDFS 版 目录。hadoop fs-mkdir-p/apps/hadoop-2.8.5 hadoop fs...
CDH6数据迁移
本文介绍如何将CDH中本地HDFS的数据迁移到 文件存储 HDFS 版，实现存储计算分离。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已在阿里云上创建ECS实例并安装CDH6集群。...
配置CDH6使用文件存储 HDFS 版
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
配置E-MapReduce服务使用文件存储 HDFS 版
本文介绍如何配置E-MapReduce上的HDFS服务、HIVE服务、SPARK服务、HBase服务来使用 文件存储 HDFS 版。前提条件 已完成数据迁移。具体操作，请参见 E-MapReduce数据迁移。配置HDFS服务 登录 阿里云E-MapReduce控制台。在 集群管理 页面，...
挂载文件存储 HDFS 版文件系统
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
使用NAS动态存储卷
容器服务 Kubernetes 版 CSI支持subpath...kubectl get pod 预期输出：NAME READY STATUS RESTARTS AGE deployment-nas-1-5b5cdb85f6-n*1/1 Running 0 32s deployment-nas-2-c5bb4746c-4*1/1 Running 0 32s 说明 NAS存储卷的 0cd8b4a576-g*....
使用NAS动态存储卷
容器服务 Kubernetes 版 CSI支持subpath...kubectl get pod 预期输出：NAME READY STATUS RESTARTS AGE deployment-nas-1-5b5cdb85f6-n*1/1 Running 0 32s deployment-nas-2-c5bb4746c-4*1/1 Running 0 32s 说明 NAS存储卷的 0cd8b4a576-g*....
快速入门
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
E-MapReduce数据迁移
cp~/aliyun-sdk-dfs-1.0.2-beta.jar/opt/apps/ecm/service/hadoop/2.8.5-1.3.1/package/hadoop-2.8.5-1.3.1/share/hadoop/hdfs/在E-MapReduce服务中，对应的路径为/opt/apps/ecm/service/hadoop/x.x.x-x.x.x/package/hadoop-x.x.x-x.x.x/...
常见问题
ossfs偶尔出现断开的情况 问题分析：开启ossfs的debug日志，加上-d-o f2 参数，ossfs会把日志写入到系统/var/log/message。分析日志，发现ossfs在listbucket、listobject申请内存过多，触发了系统的oom。说明 listobject是发起HTTP请求到...
安装文件系统SDK
本文档主要介绍 文件存储 HDFS 版 文件系统SDK的安装及使用方式。前提条件 已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已为ECS实例安装JDK，且JDK版本不低于1.8。背景信息 本文以hadoop...
在文件存储 HDFS 版上使用Apache Spark
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
在文件存储 HDFS 版上使用Apache Flink
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
JindoFS加速OSS文件访问
JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，支持OSS对象存储。JindoFS是阿里云的产品，有专门的产品级支持。Fluid通过管理和调度JindoRuntime实现数据集的可见性、弹性伸缩和数据迁移...
加速Argo任务数据访问
kubectl logs serverless-workflow-85sbr-1882013783 预期输出：1.2G/data 871734851bf7d8d2d1193dc5f1f692e6/data/wwm_uncased_L-24_H-1024_A-16.zip 执行以下命令，查看本地文件MD5校验值。md5sum./wwm_uncased_L-24_H-1024_A-16.zip ...
加速Job应用数据访问
Fluid支持在Serverless场景下，通过JindoRuntime优化对象存储的访问，该访问支持缓存模式和无缓存模式。本文介绍如何使用缓存模式加速Job应用数据访问。前提条件 已创建一个 非ContainerOS 操作系统的ACK Pro版集群，且集群版本为1.18及...
加速Job应用数据访问
Fluid支持在Serverless场景下，通过JindoRuntime优化对象存储的访问，该访问支持缓存模式和无缓存模式。本文介绍如何使用无缓存模式加速Job类型数据访问。前提条件 已创建一个 非ContainerOS 操作系统的ACK Pro版集群，且集群版本为1.18及...
加速在线应用数据访问
Fluid支持在Serverless场景下，通过JindoRuntime优化对象存储的访问，该访问支持缓存模式和无缓存模式。本文介绍如何使用缓存模式加速在线应用数据访问。前提条件 已创建一个 非ContainerOS 操作系统的ACK Pro版集群，且集群版本为1.18及...
使用Fluid加速OSS文件访问
JindoRuntime来源于阿里云EMR团队JindoFS，是基于C++实现的支撑Dataset数据管理和缓存的执行引擎，支持OSS对象存储。Fluid通过管理和调度JindoRuntime实现数据集的可见性、弹性伸缩和数据迁移。本文介绍如何在注册集群中使用Fluid加速OSS...
- 产品推荐
- 这些文档可能帮助您