使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
使用RocksDB作为元数据后端
JindoFS元数据服务支持不同的存储后端，默认配置RocksDB为元数据存储后端。本文介绍使用RocksDB作为元数据后端时需要进行的相关配置。背景信息 RocksDB作为元数据后端时不支持高可用。如果需要高可用，推荐配置Raft作为元数据后端，详情请...
Impala概述
可以使用单个、开放和统一的元数据存储。所有数据均可立即查询，无需等待ETL（Extract-transform-load）。所有硬件均用于Impala查询以及MapReduce。仅需单个计算机池即可扩展。Impala的详细信息，请参见 Apache Impala。架构 E-MapReduce中...
写入时序数据
如果表中存在大量的短时间线（即一条时间线下仅有一条或几条时序数据），则您可能会看到时序数据的元数据存储量偏大，因为目前表格存储会为每条时间线的元数据构建索引，按照每条时间线4 KB的大小计算元数据的总存储大小。如果要删除时间线...
SharedMergeTree表引擎
SharedMergeTree实现了异步无主复制，并使用ClickHouse Keeper进行协调和元数据存储。这意味着随着服务的扩展，不需要复制元数据。这可以加快复制、变更、合并和扩展操作。SharedMergeTree允许每个表有数百个副本，使得无需分片即可进行...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则返回404 Not Found。请求参数中指定versionId则返回指定版本Object的元数据。注意事项 ...
转换元数据
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。前提条件 已开通并授权访问OSS-HDFS服务。具体步骤，请参见 开通并授权访问OSS-HDFS服务。仅 华北3（张家口）地域支持将OSS元数据转换为OSS-...
迁移自建Kafka集群至新实例
Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出成一份JSON文件，然后被导入另一个Kafka集群，实现自建Kafka集群...
获取文件元数据
默认情况下，在已开启版本控制的存储空间（Bucket）中调用HeadObject接口只能获取文件（Object）当前版本的元数据。通过指定文件的版本ID（versionId），您可以获取文件指定版本的元数据。说明 如果文件的当前版本为删除标记，则返回404 ...
Hive连接器
该元数据存储在数据库（例如，MySQL）中，并通过Hive Metastore Service（HMS）访问。一种称为HiveQL的查询语言。该查询语言在分布式计算框架（例如，MapReduce或Tez）上执行。前提条件 已创建EMR-3.45.0及后续版本和EMR-5.11.0及后续版本...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
基于TPC-DS测试Databricks引擎性能
数据湖元数据，该方式采用阿里云数据湖构建（Data Lake Formation）作为统一元数据存储，采用服务化高可用的元数据，实现了多引擎统一元数据存储。已使用OSS管理控制台创建 非系统目录存储空间，详情请参见 创建存储空间。警告 首次使用DDI...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
获取文件元数据
默认情况下，在受版本控制的存储空间（Bucket）中调用HeadObject接口仅获取文件（Object）当前版本的元数据。说明 如果Object的当前版本为删除标记，则返回404 Not Found。请求参数中指定versionId则返回指定版本Object的元数据。注意事项 ...
Delta Lake概述
背景信息 通常的数据湖方案是选取大数据存储引擎构建数据湖（例如，阿里云对象存储OSS产品或云下HDFS），然后将产生的各种类型数据存储在该存储引擎中。在使用数据时，通过Spark或Presto对接数据分析引擎并进行数据解析。但该套方案存在...
选型配置说明
提供HBase服务，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写性能。HBase、Zookeeper、JindoData E-MapReduce节点 E-MapReduce节点有主实例（Master）、核心实例...
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
事件告警
共享使用的缓存盘由数据空间和元数据空间组成，默认20%的缓存盘空间会用来存储元数据。当可用元数据空间不足3 GB或者不足所有元数据空间的20%时会触发此告警。处理方式 建议扩展共享对应的缓存盘来扩大元数据空间，避免因元数据空间不足而...
DataWorks on EMR快速入门
元数据 DLF统一元数据 表示元数据存储在数据湖构建DLF中。系统会为您选择默认的 DLF数据目录，如果您不同集群期望使用不同的数据目录，可以单击 创建数据目录。说明 选择该方式时，需要开通阿里云数据湖构建服务。集群存储根路径 ...
创建集群
提供半托管HBase集群，同时可以基于OSS-HDFS（JindoFS服务）解耦计算集群与数据存储。支持JindoData本地缓存以进一步提高数据服务集群的读写性能。更多信息，请参见 数据服务集群。自定义集群（Custom）：自定义集群提供了丰富的服务搭配。...
配置说明
存储元数据采集过程会产生中间数据，数据大小与FSImage成正比。collect.storage.max.depth 6 高级配置。存储元数据遍历目录层深，包含从'/'开始的目录层级。说明 不建议您将该参数值修改的过大，过大可能会造成分析时间过长、中间存储数据...
方案背景
基于表格存储搭建的智能元数据管理系统样例内嵌在表格存储控制台中，用户可登录控制台体验系统（如果您是表格存储的新用户，需要开通表格存储服务后体验，开通免费，Meta数据存储在公共实例中，体验不消耗用户存储、流量、CU）。...
工作流模板与算子
在为存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据索引时，引擎将根据配置的工作流模板来决定要执行的算子操作，算子对元数据进行采集并将元数据索引到元数据存储引擎中。注意事项 在通过绑定OSS Bucket或调用 ...
功能特性
建立元数据索引时智能媒体管理服务将采集文件元数据并将元数据索引到元数据存储引擎中，为您提供强大的文件查询、统计和管理能力。数据集介绍及操作 数据集管控相关 API 数据集索引相关 API 数据集绑定相关 API 数据集查询相关 API 任务...
查询
Timestream提供了数据点和元数据的查询接口。元数据查询 元数据查询有两种方式：时间线元数据检索，可以从Name、Tags、Attributes以及lastUpdateTime（数据最近更新时间）等维度进行过滤查询，并且支持翻页查询。对指定时间线元数据进行...
通过CNFS可观测性定位NAS或CPFS客户端IO问题
定位热点元数据存储卷。查看 Container Storage IO Monitoring(Cluster Level)监控大盘，根据 TopN_Pod_Meta_Operation 和 TopN_PV_Meta_Operation 面板的readdir的 rate 指标进行倒序排序，查看访问元数据过于频繁的PV和Pod。以上示例表明...
使用Tablestore作为存储后端
一个EMR JindoFS集群可以绑定一个Tablestore实例（Instance）作为JindoFS元数据服务的存储介质，元数据服务会自动为每个Namespace创建独立的Tablestore表进行管理和存储元数据信息。元数据服务（双机Tablestore和HA）架构图如下所示。配置...
使用Tablestore作为存储后端
一个EMR JindoFS集群可以绑定一个Tablestore实例（Instance）作为JindoFS元数据服务的存储介质，元数据服务会自动为每个Namespace创建独立的Tablestore表进行管理和存储元数据信息。元数据服务（双机Tablestore和HA）架构图如下所示。配置...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
Hive数据源
除了Hive外，例如Iceberg、Hudi等其他系统也会使用Hive Metastore存储元数据。通过Hive Catalog，能轻松集成Hive及使用Hive Metastore作为元数据存储的系统。注意事项 支持Hive1、Hive2、Hive3版本。支持Managed Table和External Table，...
创建EMR Studio集群
集群内置MySQL：表示元数据存储在集群本地环境的MySQL数据库中。使用自建RDS：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 配置独立RDS MySQL。数据开发存储 EMR Studio集群的数据都会存在OSS上，即使您的EMR Studio集群销毁了，...
管理文件元数据
对象存储OSS存储的文件（Object）信息包含Key、Data和Object Meta。Object Meta是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
项目级别Information Schema
数据保存在Information Schema项目内，无需为元数据存储付费。执行如下命令，可以查看Information Schema所提供的视图列表。odps@myproject1>describe package Information_Schema.systables;查询结果如下图。查询元数据视图 查询元数据...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
- 产品推荐
- 这些文档可能帮助您