数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
Hive元数据说明
内置MySQL在多集群部署架构图 元数据类型优势 内置MySQL和自建RDS的区别 自建RDS更直观的好处是元数据可以在多个集群间共享。从可用性、可靠性和性能等方面对比，自建RDS要优于内置MySQL，详情请参见 RDS与自建数据库对比优势。DLF统一...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
元数据仓库共享模型概述
背景信息 什么是元数据仓库？Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
元数据导入
背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
元数据中心
元数据的本质就是用来管理各个实体以及各个实体之间的关联关系，RMS 的元数据中心支持多种方式对接元数据信息：支持对接第三方 CMDB 系统来接入元数据。支持对接 SPI 接口的方式对接客户的发布平台接入元数据。支持对接客户的 kubeconfig，...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
获取文件元数据
注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件（Object）缓存策略、强制下载策略等。您还可以通过设置用户...
获取文件元数据
注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件（Object）缓存策略、强制下载策略等。您还可以通过设置用户...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
通过元数据文件迁移上云
前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
迁移元数据上云
背景信息 RabbitMQ集群元数据是指RabbitMQ集群的信息，包括User、Vhost、Queue、Exchange、Binding Key、Permission、Parameter等信息。元数据存储于RabbitMQ集群的内部数据库，在集群的各个节点之间自动复制。集群内各节点的元数据内容都...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
管理文件元数据
bucket.resumable_upload('my-object','local-file',:metas=>{'year'=>'2016','people'=>'mary'})修改文件元数据 以下代码用于修改文件元数据。require 'aliyun/oss' client=Aliyun:OSS:Client.new(#填写Bucket所在地域对应的Endpoint。以...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
元数据管理常见问题
什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据...
set-meta（管理文件元数据）
文件元数据是对文件（Object）的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。其中，HTTP Header可用于自定义HTTP请求的策略，用户自定义元数据可用于标识文件的用途或属性等。您可以通过 set-meta ...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
建立元数据索引
创建数据集后，您可以为存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据索引。通过建立元数据索引，您可以更有效地管理和检索大量的媒体文件。本文将介绍如何建立和管理元数据索引，以便于快速搜索、筛选和管理您的...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的...常见问题 Q：如果同一个元数据迁移任务，多次运行是什么结果？A：元数据迁移任务以RDS或MySQL元数据为基准，可以保证DLF元数据与源库中元数据的最终一致性，不会影响最终的准确性。
转换元数据
OSS-HDFS服务支持在未部署任何导入和导出工具的情况下，直接将OSS元数据转换为OSS-HDFS元数据。前提条件 已开通并授权访问OSS-HDFS服务。具体步骤，请参见 开通并授权访问OSS-HDFS服务。仅 华北3（张家口）地域支持将OSS元数据转换为OSS-...
元数据库和数据字典
PolarDB-X 的元数据库为information_schema库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图 兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以从环境变量读取访问凭证为例。如何配置访问凭证，请参见 Java配置访问凭证。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建...
查看元数据
元数据管理功能主要为您展示当前实例的所有数据库，数据表，分区及各种任务等信息。本文为您介绍如何通过EMR StarRocks Manager查看元数据。前提条件 已创建StarRocks实例，详情请参见 创建实例。使用限制 普通用户无法查看数据库大小、...
管理文件元数据
自定义元数据是一组键值对，元数据名称必须以 x-oss-meta-开头。例如 x-oss-meta-last-modified:20210506，可用于记录本地文件最后修改时间为2021年5月6日。调用 GetObject 或者 HeadObject 接口时，将在HTTP头部返回自定义元数据。操作...
元数据导出
本文为您介绍DumpMeta接口的语法及示例，用于根据名称新建图像搜索元信息导出任务。使用说明 本接口用于向图像搜索实例中提交元信息导出任务。说明 如需了解更多产品详情和获取技术支持，请单击 在线咨询 或通过钉钉群（35035130）联系我们...
- 产品推荐
- 这些文档可能帮助您