元数据仓库共享模型概述
背景信息 什么是元数据仓库？Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
资产全景及目录概述
名词解释 元数据：是描述数据的数据（Data About Data），主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。主题域：为您展示数据架构部分已经创建好的主题域，便于您根据主题域更快捷的进行资产...
现代IM系统中的消息系统—实现
功能：元数据管理 元数据是指描述数据的数据，此处主要体现为用户元数据和会话元数据两类。此处群的元数据信息包括群ID（复用群的timelineId）、群名称、创建时间等信息，可以直接基于timelineMeta的管理表完成实现，所有Group类型的...
表实用程序命令
检索Delta表详细信息 可以使用“描述详细信息”检索有关增量表的详细信息（例如，文件数、数据大小）。SQL%sql DESCRIBE DETAIL '/data/events/' DESCRIBE DETAIL eventsTable 详细架构 此操作的输出只有一行具有以下架构。列 类型 说明 ...
基本概念
元数据 元数据是数据的描述数据，可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等）。DataWorks中元数据主要指库、表相关的信息，元数据管理对应的...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
0024-00000505
问题描述 元数据转换任务数量超过了上限。问题原因 您创建的元数据转换任务数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查任务是否超过上限，删除不使用的多余任务后重试。相关文档 OSS-HDFS...
0024-00000506
问题描述 元数据转换任务中，Path数量超过了上限。问题原因 您创建的元数据转换任务中，Path数量超过了上限。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查Path是否超过上限，删除多余的Path任务后重试。相关...
0024-00000501
问题描述 元数据转换请求中的XML格式或参数不正确。问题原因 您发起了元数据转换相关的管理请求，请求中XML格式或参数不正确。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 该功能为邀测功能，如果发现此错误，请...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件的实体。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如...
概述
使用流程 步骤一：创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。通常将有关联的媒体文件存放到同一个数据集中，便于查询。例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息...
实例元数据
ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...
Hive元数据说明
内置MySQL在多集群部署架构图 元数据类型优势 内置MySQL和自建RDS的区别 自建RDS更直观的好处是元数据可以在多个集群间共享。从可用性、可靠性和性能等方面对比，自建RDS要优于内置MySQL，详情请参见 RDS与自建数据库对比优势。DLF统一...
0037-00000005
问题描述 元数据索引查询参数有误。问题原因 您发起了DoMetaQuery请求查询Bucket中符合条件的文件，但是查询请求体XML结构不符合规范。问题示例 无 解决方案 结合响应中的ErrorCode和ErrorMessage定位请求体XML中存在的问题，并结合...
开源RabbitMQ迁移上云
迁移消息数据 使用Shovel插件迁移消息数据 Shovel迁移数据的原理是消费开源RabbitMQ集群中的消息，将消息生产到云上实例中，迁移后开源RabbitMQ集群中的消息被清空，完成迁移。在开源集群启动Shovel插件。创建Shovel任务，将Source配置为...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
后续指引
下表汇总了IMM的常用高阶功能：功能列表 说明 创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。您可以将有关联的媒体文件存放到同一个数据集中，便于查询。人脸聚类 使用人脸聚类功能，你可以将数据集中存在相似...
优化器（Analyze）
MaxCompute的优化器是基于代价的优化器，需要基于数据的一些特征（即元数据），例如行数、字符串平均长度，准确估算代价。本文为您介绍MaxCompute收集元数据的方法，为优化查询性能提供帮助。背景信息 如果获取不到准确的元数据，优化器会...
SAML2.0对接
前言 安全断言标记语言（英语：Security Assertion Markup Language，简称 SAML）是一个基于XML的开源标准数据格式，它在系统之间交换身份验证和授权数据，尤其是在身份提供者和服务提供者之间交换。IoT支持基于 SAML 2.0 的 SSO（Single ...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
QueryAppMetadata-查询编码映射内容
操作 访问级别 资源类型 条件关键字 关联操作 arms:QueryAppMetadata Read 全部资源*无 无 请求参数 名称 类型 必填 描述 示例值 MetaIds string 是 元数据 ID 列表，多个 ID 之间用","分隔 4c9dd447,3c76c565 MetaType string 是 元数据...
元数据管理常见问题
什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据...
概述
什么是媒资 内容生产过程中会产生的大量的音视频、图片、文字等业务数据，媒资是指这些业务数据、描述这些业务数据的元数据以及相关的一些数据信息。媒资类型 媒资信息的分类如下图所示：信息类型 描述 参考文档 基础信息 音视频信息：包括...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
创建Hive数据源
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
管理文件元数据
设置自定义元数据 您可以自定义文件的元数据来对文件进行描述。以下代码用于设置文件的自定义元数据。package com.aliyun.oss.demo;import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import com.aliyun.oss.common.auth.*...
管理文件元数据
Last-Modified 由OSS自动更新，用于缓存控制、同步和数据管理，以UTC格式表示，不可手动更改。更多信息，请参见 哪些操作会更新Object的LastModified？说明 OSS控制台在展示文件更新时间时，会将其从UTC时间格式转换为本地时间格式，从而...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
常见问题
科学大数据 多维的网格数据是一种科学大数据，在地球科学领域（气象、海洋、地质、地形等）应用非常广泛，且数据规模也越来越大。相关的科学工作者有快速浏览数据的需求以及在线查询的需求，查询种类丰富、延迟要求高。表格存储 面向海量...
对象概述
✓ ✓ 管理文件元数据 文件元信息是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置文件HTTP头来自定义HTTP请求的策略，例如文件缓存策略、强制下载策略等。您还可以通过设置用户...
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
set-meta（管理文件元数据）
文件元数据是对文件（Object）的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。其中，HTTP Header可用于自定义HTTP请求的策略，用户自定义元数据可用于标识文件的用途或属性等。您可以通过 set-meta ...
IDaaS用户和便捷用户实现SSO
本文以阿里云 应用身份服务（IDaaS）为例，无影云电脑 和IDaaS基于SAML协议，互相交换元数据文件，即可实现SSO。终端用户可以安全使用IDaaS的访问凭据来登录 无影终端。背景信息 云身份服务IDaaS（英文名：Alibaba Cloud IDentity as a ...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
- 产品推荐
- 这些文档可能帮助您