数据治理
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
CreateVscMountPoint-创建VSC挂载点
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
AttachVscMountPoint-绑定VSC挂载点
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
卸载并释放CDH6 HDFS服务使用的云盘
已配置CDH使用 文件存储 HDFS 版 文件系统。具体操作，请参见 配置CDH6使用文件存储HDFS版。背景信息 当CDH已经成功运行在阿里云 文件存储 HDFS 版 上时，ECS挂载的云盘只用来存储运算中的临时Shuffle文件，可以选择卸载原来用于构建CDH ...
异构数据源访问
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
在文件存储 HDFS 版上使用Apache Tez
前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。更多信息，下载JDK。已根据集群Hadoop版本对Tez重新编译。具体操作，...
GetMountPoint-查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*...
ListMountPoints-批量查询挂载点信息
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
数据保护伞概述
数据保护伞是一款数据安全管理产品，为您提供数据发现、数据脱敏、数据水印、访问控制、风险识别、数据溯源等多种功能，帮助您快速梳理敏感数据并进行安全管控，保障数据安全。本文为您介绍数据保护伞的使用流程、使用限制等内容。使用流程...
功能特性
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
Iceberg数据源
如果使用HDFS存储数据，并开启了高可用模式，还需在Catalog中增加HDFS高可用配置：CREATE CATALOG iceberg PROPERTIES('type'='iceberg','iceberg.catalog.type'='rest','uri'='http://172.21.0.1:8181','dfs.nameservices'='your-...
使用前须知
修改文件存储类型 存储类型转换注意事项 解冻Object Bucket Policy 数据无法访问、数据无法自动删除，持续计费 为确保使用OSS-HDFS服务的用户可正常访问OSS-HDFS的数据存储目录.dlsdata/及目录下的任意Object，对开通了OSS-HDFS服务的...
冷热分层存储
并不是所有OSS-HDFS中存储的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍然需要继续保存。针对以上问题，OSS-HDFS服务支持数据的冷热分层存储，对于经常需要访问的数据以标准类型进行存储，对于较少访问的数据以低频、...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
卸载并释放E-MapReduce HDFS使用的云盘
重要 从数据安全性考虑，数据迁移后建议进行数据完整性校验并让E-MapReduce系统在 文件存储 HDFS 版 上正常运行一段时间后再卸载和释放云盘。云盘释放以后原有数据将无法找回。集群中的每台机器至少需要保留一块数据盘，通常是/mnt/disk1上...
深度解析Lindorm搜索索引（SearchIndex）特性
索引存储 索引数据存储在分布式文件系统Lindorm DFS上，存算分离的架构具有极好的扩展性，同时存储层的透明压缩和智能冷热分离可以显著降低索引的存储成本。核心特性 Online DDL Operations 作为一个分布式数据库，Lindorm可以横向扩展支持...
2023年
Spark Connector 2023-10-27 新增数据科学计算概述 新说明 MaxFrame是由阿里云自研的分布式科学计算框架，是对历史相关产品功能（PyODPS、Mars）的重大升级，在MaxCompute之上提供一套完全兼容Pandas接口的API，让用户用更为熟悉、更符合...
基本概念
本文介绍了 文件存储 HDFS 版 使用的一些基本概念。术语 描述 文件系统实例 一个拥有全局命名空间，可用来存储数据的文件系统。您可以通过挂载点访问文件系统实例中的数据。挂载点 挂载点是文件系统实例在专有网络或经典网络内的一个访问...
使用OSS-HDFS作为HBase的底层存储
E-MapReduce控制台的DataServing类型的集群支持存储数据在OSS-HDFS上（WAL数据存储在HDFS上）。本文为您介绍如何使用OSS-HDFS作为HBase的底层存储。背景信息 OSS-HDFS服务是一款云原生数据湖存储产品，基于统一的元数据管理能力，在完全...
Hive以EMR集群的方式处理OSS-HDFS服务中的数据
通过OSS-HDFS服务存储数据。创建数据库和表时，您可以通过以下两种方式指定OSS-HDFS服务路径，将数据库或表的数据保存到OSS-HDFS服务中。方式一：在命令示例中指定OSS-HDFS服务路径 创建数据库时指定OSS-HDFS服务路径 CREATE DATABASE db_...
挂载文件存储 HDFS 版文件系统
确认不再使用 文件存储 HDFS 版 文件系统后，您需要参考 挂载文件系统 中的内容，删除所有已部署的 文件存储 HDFS 版 Java SDK和所有core-site.xml文件中的 文件存储 HDFS 版 相关配置，完成卸载文件系统。如果您想释放 文件存储 HDFS 版 ...
元数据性能测试
注意事项 在进行open_read、rename、delete测试之前要确保 文件存储 HDFS 版 上已存在待测数据。如果不存在待测数据，请先使用create_open创建待测数据。测试环境 配置名称 配置说明 计算VM配置 CPU核数：4核 内存：16 GB 机器数量：6台 ...
JindoFS实战演示
Flume高效写入OSS Flume高效写入OSS 2021-06-01 Flume是一个分布式、可靠、高可用的系统，支持从不同数据源高效地收集、聚合、迁移大量日志数据，聚合到中心化的数据存储服务，被广泛用于日志收集场景中。由于OSS本身不支持Flush功能，而...
开通并授权访问OSS-HDFS服务
禁止以非OSS-HDFS提供的方式对OSS-HDFS的数据存储目录.dlsdata/及目录下的Object执行写入操作，例如重命名目录、删除目录或者删除Object等，否则会影响OSS-HDFS服务的正常使用或者引发数据丢失的风险。在删除已开通OSS-HDFS服务的Bucket...
创建HDFS数据源
通过创建HDFS数据源能够实现Dataphin读取HDFS的业务数据或向HDFS写入数据。本文为您介绍如何创建HDFS数据源。背景信息 HDFS集群由NameNode和DataNode构成master-worker（主从）模式：NameNode用于构建命名空间，管理文件的元数据等。...
查看集群日报与分析
HDFS User文件数量饼图 HDFS Group存储使用量饼图 HDFS Group文件数量饼图 HDFS文件大小分布饼图 HDFS冷热数据分布饼图 HDFS一级目录存储量分布 目录文件大小分布信息 HDFS的小文件会导致NameNode压力以及分片问题，所以HDFS小文件是一个...
Hive使用JindoSDK处理OSS-HDFS服务中的数据
hive 通过OSS-HDFS服务存储数据。创建数据库和表时，您可以通过以下两种方式指定OSS-HDFS服务路径，将数据库或表的数据保存到OSS-HDFS服务中。方式一：在命令示例中指定OSS-HDFS服务路径 创建数据库时指定OSS-HDFS服务路径 CREATE DATABASE...
HDFS概述
DataNode DataNode是Hadoop分布式文件系统（HDFS）中实际存储数据块的核心组件。DataNode会根据NameNode或Client的指令来存储或者提供数据块，并且定期地向NameNode汇报该DataNode存储的数据块信息。Client 通过Client来访问文件系统，然后...
SmartData 3.6.x版本简介
JindoTable 支持查询加速HDFS存储上的数据 JindoTable NativeEngine查询加速引擎新增支持HDFS存储，Spark和Presto能够通过NativeEngine高效读取HDFS文件。JindoTable支持分析OSS访问日志 支持使用SQL语句分析OSS访问日志。JindoFuse 此版本...
HBase存算一体转存算分离
由于存算分离架构下，HBase表数据存储到了OSS-HDFS，WAL文件还需要存储到本地HDFS，所以需要修改 hbase-site.xml 配置文件的配置项。参数 说明 hbase.rootdir 修改为 oss:/${test-bucket}.${region}.oss-dls.aliyuncs.com/${hbase}。hbase....
文件存储HDFS的审计事件
文件存储HDFS已与操作审计服务集成，您可以在操作审计中查询用户操作文件存储HDFS产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户...
配置HDFS输出组件
HDFS输出组件用于向HDFS数据源写入数据。同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建...
ModifyFileSystem-修改文件系统属性
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
添加HDFS数据源
添加HDFS数据源用于实现 云原生多模数据库 Lindorm 宽表引擎能够读取HDFS的数据，如果您要将HDFS数据导入到 云原生多模数据库 Lindorm 宽表中，需要先添加HDFS数据源。本文介绍如何添加HDFS数据源。前提条件 已购买LTS数据同步服务，具体...
迁移HDFS数据到OSS-HDFS
背景信息 阿里云Jindo DistCp（分布式文件拷贝工具）用于大规模集群内部或集群之间拷贝文件。Jindo DistCp使用MapReduce实现文件分发，错误处理和恢复，把文件和目录的列表作为MapReduce任务的输入，每个任务会完成源列表中部分文件的拷贝...
限制说明
数据可靠性 云数据库 Memcache 版的数据存储在内存中，服务并不保证缓存数据不会丢失，有强一致性要求的数据不适合存储。数据大小 云数据库 Memcache 版支持的单条缓存数据的 Key 最大不超过 1 KB，Value 最大不超过 1 MB，过大的数据不...
从自建HDFS迁移数据
常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，...
查询文件系统详情
登录 文件存储HDFS版控制台。在顶部菜单栏，选择地域。在 文件系统 页面，单击需要查看存储信息的文件系统名称，并选择 文件系统概览 页签。在 基础数据 区域，查看该文件系统的资源使用详情。查询文件系统基本信息 您可以在 文件系统概览 ...
配置HDFS输入组件
同步HDFS数据源的数据至其他数据源的场景中，您需要先配置HDFS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HDFS输入组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性...
- 产品推荐
- 这些文档可能帮助您