存储未来之元数据-存储未来之元数据文档介绍内容-阿里云

管理元数据

您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述 元数据名称 元数据的名称。存储类型 元数据的存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...

管理元数据

您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述 元数据名称 元数据的名称。存储类型 元数据的存储类型，存储类型为Dataphin的离线计算引擎类型。由于计算引擎类型包括Hive和MaxCompute，...

集群高可用

阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...

方案背景

因此车联网场景下车辆元数据存储与分析的需求如下：数据存储：车辆元数据定时上报到数据网关并且转发到下游存储，需要支持大规模数据存储。数据更新：海量车辆元数据会频繁更新，需要支持数据高并发实时更新。数据检索：根据车辆的参数检索...

功能特性

数据管理数据处理包括创建和管理项目、操作数据集、设置自动触发器、执行批量任务以及查询任务状态等功能，满足从文件元数据的提取分析到任务创建和管理的一系列需求。功能集功能功能描述参考文档基础操作项目操作开通 IMM 后，用户...

元数据抽取

使用限制抽取的数据存储仅支持数据存储在阿里云OSS标准型中的数据。目前元数据发现仅支持json、csv、parquet、orc、hudi、delta、avro格式。元数据发现消耗算力，目前暂不收取费用。操作步骤新建抽取任务登入数据湖构建控制台。在左侧...

时序模型计量计费

使用时序模型时，时间线数据和时间线元数据会产生数据存储量。同时，对时间线数据和时间线元数据的读写操作会消耗读写吞吐量。本文介绍了时序模型的计费项以及计费示例。注意事项时序模型中的分析存储功能将从2023年12月20日正式开始收费...

配置说明

存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，包含从'/'开始的目录层级。说明不建议您将该参数值修改的过大，过大可能会造成分析时间过长、中间存储数据...

选型配置说明

Core节点的选型 Core节点主要用于数据存储和计算，运行HDFS DataNode和YARN NodeManager。一个集群中，至少部署3台Core节点，节点的选型主要取决于集群的数据量：当HDFS的数据量大于60TB，建议选择本地盘机型（ecs.d1族系机型）。HDFS的...

SmartData 2.6.0-2.7.2版本简介

各方案详情请参见：使用Tablestore作为存储后端使用Raft-RocksDB-Tablestore作为存储后端使用RocksDB作为元数据后端使用模式优化支持块存储模式和缓存模式两种使用模式：块存储模式（Block）：详情请参见 JindoFS块存储模式使用说明。...

事件告警

共享使用的缓存盘由数据空间和元数据空间组成，默认20%的缓存盘空间会用来存储元数据。当可用元数据空间不足3 GB或者不足所有元数据空间的20%时会触发此告警。处理方式建议扩展共享对应的缓存盘来扩大元数据空间，避免因元数据空间不足而...

数据湖构建的审计事件

数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

EMR元数据迁移公告

本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...

Hive元数据说明

DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...

概述

功能简介使用智能媒体管理服务时，在授权允许的情况下，元数据管理功能可以根据您的需求分析存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件，采集文件元数据并将元数据索引到元数据存储引擎中，为您提供强大的文件查询、...

HSF概述

由于服务运维的便捷性，HSF客户端在启动时会将元数据上报到元数据存储中心，方便服务运维。SAE 控制台 SAE 控制台打通了服务地址注册中心、持久化配置中心、元数据存储中心等，为用户提供了服务运维功能，包括服务查询、服务治理规则管理等...

HSF概述

由于服务运维的便捷性，HSF客户端在启动时会将元数据上报到元数据存储中心，方便服务运维。EDAS 控制台 EDAS 控制台打通了服务地址注册中心、持久化配置中心、元数据存储中心等，为用户提供了服务运维功能，包括服务查询、服务治理规则管理...

什么是OSS-HDFS服务

注意事项警告当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS服务的正常使用或者引发数据丢失的风险，禁止以非OSS-HDFS提供的方式对目录.dlsdata/及目录下的...

DataWorks on EMR集群配置最佳实践

DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...