方案实现
本文主要介绍如何使用表格存储搭建海量智能元数据管理系统。前提条件 已完成 准备工作。步骤一：创建数据表 通过以下两种方式创建一张店铺信息表：通过控制台创建和管理数据表。具体操作，请参见 创建数据表。通过SDK直接创建和管理数据表...
建立元数据索引
本文将介绍如何建立和管理元数据索引，以便于快速搜索、筛选和管理您的媒体资源。前提条件 已创建数据集。具体操作，请参见 创建数据集。概述 元数据索引是指对媒体文件中的关键信息进行结构化和索引化，以便有效地管理和检索这些媒体文件...
0037-00000002
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
Hive元数据基本操作
新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 元数据管理 页签。在 表管理 页面，单击 新建库。在 新建库 对话框中，配置各项参数。因为EMR表管理功能仅支持基于...
0037-00000003
问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket没有开启元数据管理功能。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）未开启元数据管理功能，导致请求错误。POST/?metaQuery&...
数据库
在HoloWeb开发页面，单击 元数据管理>数据库。您也可以在 元数据管理 界面的 已登录实例 列表。鼠标右击目标连接，选择 新建数据库。配置 数据库名称、权限策略 和 立即登录 参数，单击 确认。参数 说明 实例名 默认展示当前数据库所在的已...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来进行数据提取、转化和加载（ETL）以及元数据管理。背景信息 E-MapReduce（简称EMR）版本中，Hadoop、Hive版本和EMR集群的配套情况，请参见 版本概述。Hive结构 名称 说明...
概述
元数据管理 数据湖元数据管理包括元数据库和元数据表两层结构构成。数据源 用户从数据源抽取数据到注册的数据湖位置，数据湖构建支持多种形式的数据源，目前RDS MySQL已对外开放。参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前...
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
数据目录
菜单选择：“元数据-元数据管理”。切换标签页到“数据目录”。点击“新建数据目录”。在输入框中输入如下内容：目录ID，必选，唯一标识，不可重名。描述，可选，输入描述信息。目录路径，可选，输入默认的存储路径，目前仅支持OSS路径。...
存储概览
总表数量及月/日变化：元数据管理中所有表的总数量 总库数量级月/日变化：元数据管理中所有库的总数量 API月/日访问量：当前月（自然月）的API月访问量 趋势变化 存储量、表数量、库数量、API接口趋势的趋势变化图。您可以按照时间段，选择...
Hive统一元数据
E-MapReduce后台RDS统一管理元数据的方式，仅限小容量的用户使用。对于大容量场景，建议您自建RDS作为统一元数据。默认限制为：总容量：200MiB。小时query数量限制：720000/h。小时update数量限制：144000/h。注意事项 EMR Hive统一元数据...
产品优势
为了支撑网盘的数据管理，通常需要提供各类元数据管理，特别是在AI智能处理场景下，需要定义相关的存储格式，处理数据库的异常，带来了较大的开发难度。采用此方案存在如下问题：元数据表设计难度大 针对不同的元数据，需要分类设计各类表...
产品架构
智能媒体管理围绕海量数据、端云拉通、标准统一、智能分析、场景结合、一键处理六个关键点采用分层架构进行设计，分层架构包含处理引擎、元数据管理、场景化封装三层。智能媒体管理采用分层架构进行设计，分层架构包含处理引擎、元数据管理...
录入与管理逻辑表
数据同步服务提供了元数据管理的录入逻辑表功能，可以将多张 schema 一致的物理表绑定成一张逻辑表。在新建数据同步任务时，选择此逻辑表为数据源端，即可将多张物理表中的数据同步至目的端。在 元数据管理>逻辑表列表 页面，您可以录入并...
数据索引
开启元数据管理功能 以下代码用于为Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为增量...
定义维度
在左侧导航栏选择 资源管理>元数据管理>维度管理。在维度管理页面左侧区域，单击 新增节点，填写节点名称添加一级节点。配置 是否必填 说明 上级节点 选填 选择节点的父级节点。说明 当未选择上级节点时，新增的节点默认为一级节点。节点...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
治理项管理流程
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
治理项管理流程
治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和管理数据治理所需的规则及判定策略（即治理项）。推送管理：对于单一或多个被治理项规则触发的待治理数据对象（表或任务节点...
基本概念
元数据 智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
整体架构
Transaction Table2.0的增量存储和处理架构的特殊设计...元数据管理 主要负责增量场景下 事务并发冲突管理、数据版本管理、Time travel管理、元数据更新和分析等。数据文件组织 主要包含对全量和增量 数据文件格式 的管理以及读写相关的模块。
数据索引
开启元数据管理功能 以下代码用于为指定Bucket开启元数据管理功能。开启后，OSS会为Bucket创建元数据索引库并为Bucket中的所有Object建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准实时的增量追踪扫描并为...
权限设置
开启权限后影响如下：DLF的元数据管理，数据探索功能将会受到权限控制，如用户未被授予权限，则无法访问对应元数据和数据。E-MapReduce中如同时开启引擎（如Hive/Spark/Presto/Impala）的权限控制，则通过这些引擎访问数据时，如用户未设置...
管理自定义Catalog
创建并使用自定义Catalog 进入元数据管理页面。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 元数据管理。单击 创建Catalog，在 自定义Catalog 页签，单击 创建自定义Catalog类型。在 创建自定义Catalog...
管理DLF Catalog
背景信息 阿里云数据湖构建（Data Lake Formation，简称DLF）是阿里云官方提供的一款统一元数据管理的产品。您可以方便地借助DLF产品来管理创建的表格，这些表格的格式可以是开源格式，例如Iceberg、Hudi、Delta、Parquet、ORC或Avro等。...
产品架构
Databricks数据洞察构建在ECS之上，使用阿里云对象存储服务（OSS）为核心存储。本文介绍Databricks数据洞察的产品架构。...同时，Databricks数据洞察还提供了监控告警、元数据管理、权限管理等功能，方便您对集群资源进行管理。
EMR元数据迁移DLF最佳实践
创建迁移任务 进入数据湖构建控制台，切换到EMR集群所属的区域，选择左侧菜单“元数据管理-元数据迁移”，并单击“创建迁移任务”进行配置迁移任务，如下图 源库配置 元数据库类型：选择MySQL类型即可。MySQL类型：根据Hive元数据类型选择...
管理Paimon Catalog
重要 由于平台正在逐步灰度中，如果在使用过程中无法找到运行按钮或元数据管理按钮，说明灰度升级尚未完成，您可以联系客服或销售代表安排服务灰度升级。背景信息 Apache Paimon是一种流批统一的湖存储格式，支持高吞吐的写入和低延迟的...
DROP TABLE
在 元数据管理 页面左侧的 已登录实例 列表，鼠标右击要删除的表，选择 删除表。在 删除表 对话框，单击 确认，完成删除表。常见问题 问题现象 报错：ERROR:cannot drop table xxx because other objects depend on it.Detail:view xxx ...
管理StarRocks Catalog
删除StarRocks Catalog UI方式 进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，单击目标Catalog名称对应 操作 列的 删除。在弹出的提示页面...
控制台发布记录
V1.7.0版本 发布日期 2024年01月11日 功能更新 功能分类 功能更新说明 存算分离场景 元数据管理新增支持数据库、表、分区、缓存显示功能。Query Profile中新增缓存命中分析指标。数据湖分析场景 元数据管理支持显示External Catalog的外部...
数据索引
如果您希望通过RAM用户或者STS的方式执行数据索引相关操作，例如：开启元数据管理功能，您必须拥有 oss:OpenMetaQuery 权限。获取元数据索引库信息，您必须拥有 oss:GetMetaQueryStatus 权限。查询满足指定条件的Object，您必须拥有 oss:...
管理AnalyticDB MySQL（ADB）Catalog
进入元数据管理页面。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。在 Catalog列表 页面，查看 Catalog名称 和 类型。说明 如果您需要查看目标Catalog下的数据库和表，请单击 查看。...
HoloWeb简介
元数据管理 元数据管理模块提供对Hologres引擎对象（包括实例、数据库、schema、表、视图等）的管理功能，您可以在元数据管理页面连接Hologres实例，并在实例内进行对象创建，包括可视化建内表、外表、一键数据导入等，也可以对实例对象...
EMR元数据迁移到数据湖构建（DLF）
在左侧导航栏，选择 元数据管理>元数据迁移。在 元数据迁移 页面，单击 创建迁移任务。配置源库信息。配置以下信息，单击 下一步。参数 说明 数据库类型 选择MySQL类型即可。MySQL类型 根据Hive元数据类型选择。集群内置MySQL：请选择 其他...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
- 产品推荐
- 这些文档可能帮助您