使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
选型配置说明
由于Master节点主要用于存储HDFS元数据，且HDFS元数据存储在内存中，因此，建议根据HDFS中的文件数量选择16GB内存以上的机型。Utility节点的选型 在一个集群中仅需部署一台工具节点，工具节点主要用于部署CM（CDP的管控），以及Hive ...
引擎简介
Lindorm文件引擎是面向海量非结构化数据的分布式文件存储服务，与多模引擎共享存储，LindormDFS支撑，充分利用了对象存储的低成本与高可靠、块存储的高性能等优势，并通过高低速分层存储、副本共享去重、智能冷热转存等技术，面向用户提供...
Snapshot（试用）
当您希望对OSS-HDFS服务的数据进行备份，在数据发生错误、被误删除时，将数据恢复至可用状态，您可以使用Snapshot命令创建快照。OSS-HDFS服务的快照功能在使用方式上与HDFS的快照功能完全兼容，同时支持目录层级的操作。重要 此功能目前尚...
统一命名空间缓存加速
应用程序可以通过统一命名空间和接口来访问多个独立的存储系统，从而实现只连接JindoFSx就可与不同的底层存储系统进行通信。前提条件 已在E-MapReduce上创建EMR-3.42.0及后续版本、EMR-5.6.0及后续版本的集群，具体操作请参见 创建集群。...
迁移HDFS数据到OSS-HDFS
背景信息 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝...
EMR集群接入OSS-HDFS服务快速入门
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例...
新建ArgoDB计算源
背景信息 ArgoDB是星环自主研发的分布式分析型数据库，可替代Hadoop+MPP的混合架构。能够使用标准的SQL语法进行业务的建设，并且能够给用户提供多模型数据分析、实时数据处理、存储与计算模块解耦、异构服务器混合部署等先进技术能力。更多...
通过Hadoop Shell命令访问
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，示例...
Hadoop生态外表联邦分析
postgresql hdp3 访问HDFS数据 支持格式：数据格式 PROFILE text hdfs:text csv hdfs:text:multi、hdfs:text Avro hdfs:avro JSON hdfs:json Parquet hdfs:parquet AvroSequenceFile hdfs:AvroSequenceFile SequenceFile hdfs:SequenceFile...
阿里云OSS-HDFS（JindoFS服务）快照使用说明
背景信息 阿里云OSS-HDFS服务（JindoFS服务）是OSS新推出的存储空间类型，兼容HDFS接口，支持目录以及目录层级，通过JindoSDK 4.x可以兼容访问OSS-HDFS服务。OSS-HDFS服务的快照功能在使用上与HDFS的快照功能完全兼容。本文主要介绍在OSS-...
使用OSS-HDFS作为HBase的底层存储
背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力，能更好的满足大数据和AI领域丰富多样的数据湖计算场景，详情请参见 OSS-HDFS服务概述。HBase on ...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
Hadoop使用JindoSDK访问OSS-HDFS服务
基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。本文介绍Hadoop如何通过JindoSDK访问OSS-HDFS服务。前提条件 已开通并授权访问OSS-HDFS服务。具体...
HDFS服务日志
HDFS服务的日志存储在/mnt/disk1/log/hadoop-hdfs 目录下，本文介绍HDFS服务各组件对应日志的详细说明。组件 日志 说明 ZKFailoverController（ZKFC）hadoop-hdfs-zkfc-*.out ZKFC的进程启动日志，部分启动异常会显示在out文件中。hadoop-...
通过Jindo CLI命令访问OSS/OSS-HDFS
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。下载文件 将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp，访问OSS-HDFS示例如下：jindo fs-get oss:/examplebucket....
新建ArgoDB数据源
HDFS配置：HDFS keytab File：HDFS的keytab文件，即Kerberos认证的文件。HDFS Principal：Kerberos认证Principal名。格式为 XXXX/hadoopclient@xxx.xxx。配置 ArgoDB配置 区域的参数。参数 描述 JDBC URL 配置连接ArgoDB的JDBC URL，格式为...
通过外表导入至数仓版
已在HDFS集群中为 AnalyticDB MySQL 集群配置如下服务访问端口：namenode：用于读写文件系统元信息。您可以在 fs.defaultFS 参数中配置端口号，默认端口号为8020。详细配置方式，请参见 core-default.xml。datanode：用于读写数据。您可以...
创建TDH Inceptor数据源
HDFS配置：HDFS keytab File：HDFS的keytab文件，即Kerberos认证的文件。HDFS Principal：Kerberos认证Principal名。示例为 hdfs/cdh-master@DATAOHIN.com 。Inceptor配置 JDBC URL 配置连接Inceptor的JDBC URL，格式为 jdbc:hive2/host:...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
开发指南
本文为您介绍如何通过Java API接口方式进行HDFS的相关操作。背景信息 HDFS相关的操作如下所示：HDFS初始化 创建目录 写文件 追加文件内容 读文件 删除目录 删除文件 移动或重命名文件 移动或重命名目录 HDFS初始化 在使用HDFS提供的API之前...
对象存储服务路径
Ganos支持对基于阿里云对象存储服务（OSS）、MinIO和HDFS的数据进行创建、导入与导出操作。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/<bucket>/path_to/file[:]Endpoint可以被省略，系统会自动寻找相应的...
通过Hadoop Shell命令访问OSS/OSS-HDFS
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。拷贝目录或文件 例如，将examplebucket下根目录subdir1拷贝到目录subdir2下，且根目录subdir1所在的位置、根目录下的文件和子目录结构和内容保持不变，访问OSS...
对象存储服务路径
Ganos支持对基于阿里云对象存储服务（OSS）、MinIO和HDFS的数据进行创建、导入与导出操作。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/<bucket>/path_to/file[:]Endpoint可以被省略，系统会自动寻找相应的...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的矢量数据。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/path_to/file 其中Endpoint可以被省略，系统会自动寻找相应的Endpoint。如果Endpoint被省略...
对象存储服务路径
Ganos支持基于阿里云对象存储服务（OSS）、MinIO和HDFS的矢量数据。OSS文件路径 基于OSS的文件路径格式如下：oss:/<access_id>:<secrect_key>@[]/path_to/file 其中Endpoint可以被省略，系统会自动寻找相应的Endpoint。如果Endpoint被省略...
GetMountPoint-查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*...
JindoFS实战演示
视频链接 视频发布时间 描述 Fluid+JindoFS对OSS上的数据进行训练加速 Fluid+JindoFS对OSS上的数据进行训练加速 2021-07-06 Fluid是一个开源的Kubernetes原生的分布式数据集编排和加速引擎，主要服务于云原生场景下的数据密集型应用，例如...
通过Jindo CLI访问
如果文件内容进行了特定格式的编码，请使用HDFS的Java API读取并解码文件内容。下载文件 将examplebucket下的exampleobject.txt下载到本地根目录文件夹/tmp。jindo fs-get oss:/examplebucket....
添加数据源
建议值：1048576字节 hard 在文件存储NAS暂时不可用的情况下，使用文件系统上某个文件的本地应用程序时会停止并等待至该文件系统恢复在线状态。建议启用该参数。timeo 指定时长，单位为0.1秒，即NFS客户端在重试向文件系统发送请求之前等待...
API概览
云数据库HBase版提供以下相关API接口。实例管理 API 描述 CreateCluster 创建HBase实例。RenewInstance 为当前HBase实例续费。ConvertInstance 转换HBase实例的付费类型，支持按量付费转换为包年包月付费类型。DeleteInstance 删除HBase...
支持的资源类型
Secret 凭据 MessageService 消息服务 Queue 队列 Topic/Subscription 订阅 Topic 主题 MongoDB 云数据库 MongoDB 版 Instance MongoDB实例 NAS 文件存储NAS AccessGroup 权限组 FileSystem 文件系统 NATGateway NAT网关 NATGateway Nat...
DescribeImportOASTask-查询OAS导入API的任务
名称 类型 描述 示例值 object RequestId string 请求的 id CE5722A6-AE78-4741-A9B0-6C817D360510 ApiResults object[]API 的导入结果 ApiId string API 的 ID c5a0c2900ff746b789c007545be22fb8 Path string API 的请求路径/creator/...
调用API商品
在左侧导航栏选择 调用API>应用管理，找到购买成功后为您创建的应用。单击目标应用，进入应用详情，可以看到AppKey/AppSecret，AppCode等信息，此调用认证信息和在云市场控制台上一致。您购买的API商品会发布在不同的Region下，因此可以在...
HBase以EMR集群的方式使用OSS-HDFS服务作为底层存储
OSS-HDFS服务（JindoFS服务）是阿里云新推出的存储空间类型，并兼容HDFS接口。阿里云开源大数据开发平台E-MapReduce（简称EMR）支持HBase使用OSS-HDFS服务作为底层存储，同时支持存储WAL文件，实现存储与计算分离。前提条件 已创建EMR-3.42...
创建Hadoop计算源
说明 OSS-HDFS集群存储类型，不支持上传hdfs-site.xml配置文件。hive-site.xml 上传Hadoop集群下Hive的hive-site.xml配置文件。其他配置文件 上传keytab文件，您可以在HDFS集群中的NameNode节点使用ipa-getkeytab命令获取keytab文件。任务...
非EMR集群接入OSS-HDFS服务快速入门
OSS-HDFS服务（JindoFS服务）完全兼容HDFS接口，同时支持目录层级的操作。JindoSDK为Apache Hadoop的计算分析应用（例如MapReduce、Hive、Spark、Flink等）提供了访问HDFS服务的能力。本文介绍如何通过在ECS实例中部署JindoSDK，然后完成...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
Sqoop以EMR集群的方式读写OSS-HDFS服务的数据
format 可选 文件存储的格式。取值为 avrodatafile、sequencefile、textfile（默认值）、parquetfile。count 可选 指定MapReduce的任务数。使用示例 将OSS-HDFS服务examplebucket中指定路径下的数据导入MySQL中的数据库表src_kv。sqoop ...
DescribePluginApis-查询插件绑定的API列表
10 TotalCount integer 返回结果总数 7 ApiSummarys object[]API 信息集合 ApiId string API 编号 accc8c68b7294b1cb4928741*Description string API 描述信息 API描述信息 GroupName string API 所属的分组名称 myGroup2 GroupId string ...
- 产品推荐
- 这些文档可能帮助您