选型配置说明
Master节点主要用来存储HDFS元数据和组件Log文件，属于计算密集型，对磁盘IO要求不高。HDFS元数据存储在内存中，建议根据文件数量选择16 GB以上内存空间。Core节点选型 Core节点和Task节点的区别在于，Core节点会同时运行DataNode和...
查看集群日报与分析
HDFS User文件数量饼图 HDFS Group存储使用量饼图 HDFS Group文件数量饼图 HDFS文件大小分布饼图 HDFS冷热数据分布饼图 HDFS一级目录存储量分布 目录文件大小分布信息 HDFS的小文件会导致NameNode压力以及分片问题，所以HDFS小文件是一个...
使用JindoFS作为HBase的底层存储
指定HBase的存储路径，是需要修改 hbase-site 配置文件中的参数 hbase.rootdir 的值为JindoFS或OSS地址，修改参数 hbase.wal.dir 的值为本地的HDFS地址，通过本地HDFS集群存储WAL文件。如果要释放集群，需要先Disable table，确保WAL文件...
HBase存算一体转存算分离
将存算一体架构HDFS上的HBase数据迁移到OSS-HDFS。OSS-HDFS详情请参见 OSS-HDFS服务概述。开通并授权访问OSS-HDFS服务，具体操作请参见 开通并授权访问OSS-HDFS服务。创建OSS-HDFS HBase数据存储目录。hadoop fs-mkdir oss:/${test-bucket}...
计费项
本文为您介绍 文件存储 HDFS 版 服务的计费说明。产品定价 关于 文件存储 HDFS 版 的计费定价，请参见 文件存储 HDFS 版产品定价。计费周期 文件存储 HDFS 版 每小时统计前一小时的实际用量并进行结算，从账户余额中扣除实际消费金额。例如...
从HDFS迁移数据到OSS/OSS-HDFS
10 高阶用法 增量拷贝文件 如果JindoDistCp任务因为各种原因中间失败了，而此时您想进行断点续传，只Copy剩下未Copy成功的文件，或者源端文件新增了部分文件，此时需要在上一次JindoDistCp任务完成后，使用-update 命令，获得增量的文件...
迁移HDFS数据到OSS-HDFS
如果您需要对HDFS数据进行备份、或者在HDFS存储空间不足且需要弹性扩展存储能力时，您可以通过阿里云EMR集群自动部署的Jindo DistCp工具将HDFS迁移数据到OSS-HDFS。OSS-HDFS与Hadoop生态系统兼容，将HDFS中的数据迁移到OSS-HDFS后，可以...
注意事项
使用实例前，请设置好磁盘空间报警。...请勿使用开源HBCK工具 开源HBCK通过对比meta表和HDFS上的meta文件对集群状态进行检查，但是云数据库HBase不开放HDFS端口，如果使用开源HBCK工具会造成实例meta信息异常实例不可用。
OSS/OSS-HDFS的性能优化最佳实践
JindoData缓存服务将文件以块的形式分散存储在分布式缓存服务中，从而避免重复从OSS或OSS-HDFS反复拉取数据，有效减少访问时延，增加计算资源的利用率。详情请参见 阿里云OSS/OSS-HDFS服务透明缓存加速。使用最新版本JindoSDK 最新版本的...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
阿里云OSS/OSS-HDFS服务透明缓存加速
JindoFSx存储加速系统提供了透明缓存的使用方式，兼容原生OSS/OSS-HDFS存储方式，文件以对象的形式存储在OSS/OSS-HDFS上，每个文件根据实际访问情况会在本地进行缓存，提升访问OSS/OSS-HDFS的效率，同时兼容了原有OSS/OSS-HDFS文件形式，...
基本概念
文件存储NAS使用架构 文件存储NAS是一个可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可迁移业务系统上云。计算节点和NAS各模块的关系如下图所...
同步LogHub数据至HDFS
default-agent.sinks.k1.hdfs.fileType 保存到HDFS上的文件类型。固定为DataStream。default-agent.sinks.k1.hdfs.rollInterval 设置多久生成一个新的文件，单位为秒。例如，3600。default-agent.sinks.k1.hdfs.round 用于HDFS文件按照时间...
功能概览
工作原理 您首先需要在本地一台或多台服务器上安装并激活云备份客户端，然后登录云备份控制台添加NAS、HDFS或S3兼容存储数据源，再选择已安装的云备份客户端对目标NAS或HDFS上的指定文件夹和文件进行归档。在执行归档任务时，云备份客户端...
新建Paimon数据源
krb5文件配置：krb5文件配置方式，需要上传krb5文件配置文件。HDFS配置：填写集群的HDFS配置信息。HDFS Keytab File：上传集群的HDFS Keytab File配置文件。HDFS Principal：填写集群Kerberos认证的Principal名，例如 XXXX/hadoopclient@...
使用JindoDistCp工具迁移第三方云对象存储数据到OSS/...
property><name>fs.oss.accessKeyId</name><value>xxx</value></property><property><name>fs.oss.accessKeySecret</name><value>xxx</value></property>... 您可以使用如下命令将第三方云对象存储上的目录拷贝到OSS/OSS...
在EMR Hive或Spark中访问OSS-HDFS
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详细信息请参见 OSS-HDFS服务概述。...
开发指南
创建目录 如果要在HDFS文件系统中创建目录，需要FileSystem实例的exists方法判断该目录是否已经存在：如果存在，则直接返回。如果不存在，则调用FileSystem实例的mkdirs方法创建该目录。创建目录代码样例如下。create directory path*@...
HDFS常见命令介绍
命令 功能 mkdir 在HDFS文件系统中创建目录。touchz 在HDFS文件系统中新建一个空文件。ls 在文件或者目录创建完之后，您可以查看指定路径下的文件或目录信息。在查看文件或目录信息的时候需要给出绝对路径。put 上传本地文件到HDFS的指定...
使用HBase快照
例如，通过以下命令从OSS-HDFS上导入快照至另一个DataServing集群的OSS-HDFS中。hbase snapshot export \-snapshot 'table1-snapshot' \-copy-from oss:/${OSS-HDFS服务的域名}/oss-dir \-copy-to oss:/${OSS-HDFS服务的域名}/hbase \-...
Apache HDFS透明缓存加速
Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群...步骤四：访问HDFS 您通过hdfs:/前缀读取HDFS上的数据后，在数据缓存开关打开时，会自动缓存到JindoFSx存储加速系统中，后续通过hdfs:/访问相同的数据就能够命中缓存。
访问OSS-HDFS数据源
前提条件 AnalyticDB MySQL 湖仓版（3.0）集群与OSS存储空间位于相同地域。已在湖仓版（3.0）集群中创建Job型资源组。具体操作，请参见 新建资源组。已创建湖仓版（3.0）集群的数据库账号。如果是通过阿里云账号访问，只需创建高权限账号。...
HDFS与ClickHouse间的数据导入与导出
uri HDFS上文件的地址。format 文件的类型。说明 其中uri不能为目录地址，且文件所属的目录需要存在，否则写数据时会报错。创建HDFS引擎表并准备数据。下载并上传示例数据 orders.csv 至HDFS集群的目录下，本文将文件上传到了HDFS集群的根...
HDFS
本文主要介绍如何通过DLA连接并查询HDFS上的数据。前提条件 DLA目前仅支持通过CU版访问HDFS，请确保您已经开通了DLA CU版本，详情请参见 CU版本快速入门。创建虚拟集群时，绑定的数据源网络必须和HDFS集群在同一个VPC下面。以下示例是一个...
JindoCache加速OSS-HDFS透明缓存
一旦作业读取了OSS-HDFS上的数据，该数据将自动缓存至JindoCache存储加速系统中。之后，访问相同的数据时能够命中缓存，从而提高读取性能。常见问题 如何配置 OSS-HDFS AccessKey？JindoCache支持免密访问OSS-HDFS，但如果需跨账户访问OSS-...
归档存储服务等级协议
服务功能 归档存储适用于非结构化数据的长时间归档存储，底层采用分布式存储机制。归档存储存储的单个文件最大可支持40TB，文件类型和个数默认不设限制。归档存储服务的所有具体功能请详见阿里云在官网上提供的详细说明文档、技术文档及...
产品架构
在这种模式中，数据持久化存储转移到了成本更优化且可靠性更高的远程对象存储（例如OSS）或HDFS上。计算节点（CN）所在的本地磁盘主要用作缓存，以加速对高频访问数据的查询。当本地缓存得到命中时，存算分离模式能够提供与存算一体相当的...
使用JindoTable将Hive表和分区数据迁移到OSS/OSS-HDFS
否 使用示例 已有一个HDFS上的Hive分区表，示例如下。想要把bbb和ccc分区移动到OSS。先用explain模式查看移动的分区是否符合预期，参数为-e 或-explain。去掉参数-e，正式移动分区。执行完成后，检查数据是否已经在OSS。再移回HDFS，结果...
什么是云存储网关CSG
应用场景 文件网关 在本地存储有限的情况下搭建一个海量文件系统的文件存储服务。将数据以对象形式存储在云端，但希望应用仍然以文件系统的方式访问文件而不需修改代码。在多个数据中心，通过文件存储服务的方式访问共享文件夹。块网关 ...
管理工作空间
工作空间所关联的OSS/OSS-HDFS上的日志等数据，不会随着工作空间的销毁而删除。在Spark页面，单击目标工作空间操作列的 删除。在弹出的对话框中，输入工作空间名称，确认执行该操作，单击 确定。相关文档 如果您需要将更多的RAM用户添加至...
ORC文件
ORC和Parquet文件格式的区别：本质上Parquet针对Spark进行了优化，而ORC针对Hive进行的优化。前提条件 通过主账号登录 阿里云 Databricks控制台。已创建集群，具体请参见 创建集群。已使用OSS管理控制台创建 非系统目录存储空间，详情请...
功能特性
功能集 功能 功能描述 参考文档 DBFS特性 原子写 支持DIRECT IO的原子写，需按4K，8K，16K对齐-共享读写 一份数据可共享式多点挂载并进行读写，读写可线性扩展-存储加密 通过对数据库文件存储实施加密，可以确保数据库文件存储上的所有数据...
常见问题
阿里云会使用我在OSS上存储的数据吗？就用户业务数据，阿里云除执行您的服务要求或者法律法规要求外，不进行任何未获授权的使用及披露。更多信息，请参见 服务条款。阿里云是否会将自己的数据存储在OSS上？是的。阿里云内部的开发人员也在...
Tablestore HBase Client 支持的功能
表格存储与 HBase 的 API 区别 作为 NoSQL 数据库服务，表格存储为您屏蔽了数据表分裂、Dump、Compact、Region Server 等底层相关的细节，您只需要关心数据的使用。因此，虽然与HBase在数据模型及功能上相近，Tablestore HBase Client 与...
Parquet
Parquet是Apache开源项目Hadoop支持的一种列存储文件格式，同一份数据以ORC格式和Parquet格式存储时，其数据扫描性能要优于普通文本CSV格式。本文介绍如何在DLA中为Parquet类型的文件创建表。前提条件 请参见文档 文件格式转换，准备...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
冷热分层存储
针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、归档以及冷归档类型进行存储，从而降低总存储成本。前提条件 已在OSS-HDFS服务中写入数据。华东1（杭州）、华东...
文件存储NAS
阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。兼容POSIX文件接口，可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可无缝迁移业务系统上云。
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
授权信息
本文为您介绍 文件存储HDFS（DFS）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。文件存储HDFS（DFS）的RAM代码（RamCode）为 dfs，支持的授权粒度为 RESOURCE。权限策略通用结构 权限策略支持JSON格式，其...
- 产品推荐
- 这些文档可能帮助您