文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
元数据中心
元数据的本质就是用来管理各个实体以及各个实体之间的关联关系，RMS 的元数据中心支持多种方式对接元数据信息：支持对接第三方 CMDB 系统来接入元数据。支持对接 SPI 接口的方式对接客户的发布平台接入元数据。支持对接客户的 kubeconfig，...
为Spark集群设置元数据
EMR on ACK支持使用数据湖元数据DLF（Data Lake Formation）和自建Hive Metastore元数据两种方式，为Spark集群设置元数据。本文为您介绍如何在EMR on ACK中设置Spark集群的元数据。背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，...
元数据管理概述
元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。可以通过元数据管理中的 绑定逻辑表 功能，将多张 schema 一致的物理表绑定成一张...
基本概念
工作流 在创建IMM项目或数据集时，可以为项目或数据集设置工作流模板（Template），模板定义了提取文件元信息时所需要执行的工作流。IMM提供的工作流模板如下：Official:DefaultEmptyId：在建立元数据索引时，所有算子都不操作，不会产生...
0037-00000002
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据...
数据对比
接入性能监控数据后，您可以通过数据对比页面，查看目标Profile在一段时间内和过去一段时间内的数值对比情况。前提条件 已接入性能监控数据。具体操作，请参见 接入Pyroscope性能监控数据。背景信息 接入性能监控数据后，性能监控数据被...
管理文件元数据
bucket.resumable_upload('my-object','local-file',:metas=>{'year'=>'2016','people'=>'mary'})修改文件元数据 以下代码用于修改文件元数据。require 'aliyun/oss' client=Aliyun:OSS:Client.new(#填写Bucket所在地域对应的Endpoint。以...
查询服务
服务元数据：包含服务的元数据，还包含MSE提供的一些用于使用微服务能力的元数据。Dubbo的服务详情如下所示。基本信息：包含 服务名称、版本、分组、服务类型 和 应用名。服务调用关系：包含 服务提供者 和 服务消费者 列表及其 IP、端口、...
时序数据生命周期
当要实现自动清理时序表中的历史数据时，您可以使用数据生命周期（TTL）功能有效地管理时序数据，减少数据存储空间，降低存储成本。配置TTL后，如果希望延长数据保存时间，您可以修改TTL。注意事项 数据清理后无法恢复，请谨慎操作。通过...
数据地图
DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块，元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用Hologres数据。本文为您介绍如何在数据地图中配置Hologres元数据采集器及相关...
JindoFS缓存模式
概述 缓存模式兼容现有OSS存储方式，文件以对象的形式存储在OSS上，每个文件根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元数据的性能，Cache模式提供不同元数据同步策略以满足您在不同场景下的需求。...
管理时间线元数据
时间线元数据中有一个时间线元数据属性列（_attributes）支持进行更新，但目前仅在时间线元数据生命周期为-1（数据永不过期）时支持该属性的更新。说明 关于时间线元数据生命周期的更多信息，请参见 时序数据生命周期。删除时间线元数据 ...
方案背景
本文主要为您介绍搭建海量智能元数据管理系统的技术点以及使用表格存储搭建智能元数据管理系统的方案。用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Meta）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient，请参见 初始化。要设置文件元数据，您必须具有 oss:PutObject 权限；要获取...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient，请参见 初始化。要设置文件元数据，您必须具有 oss:PutObject 权限；要获取...
OpenMetaQuery
调用 OpenMetaQuery 接口为存储空间（Bucket）开启元数据管理功能。开启元数据管理功能后，OSS会为Bucket创建元数据索引库并为Bucket中的所有文件（Object）建立元数据索引。元数据索引库创建完成后，OSS会继续对Bucket中新增文件进行准...
查询服务列表
本文介绍如何通过SAE控制台查询部署的Spring Cloud应用和Dubbo应用的服务列表和服务详情。使用限制 服务查询包含新、旧两个版本，您可以在 服务列表 页面单击 切换新版本...Metadata数据：包含服务的元数据，以及用于使用微服务能力的元数据。
写入
Timestream提供了数据点和元数据的写入接口。数据点写入 Timestream提供了同步和异步两种数据点写入方式。其中异步接口的底层是通过TableStoreWriter来写入，其写入吞吐能力更高，对延时不是特别敏感的业务建议使用异步接口。元数据写入 ...
单点登录（SSO）常见问题
在云SSO的单点登录配置中下载旧的元数据文件，在元数据文件中的 KeyDescriptor 的部分，复制 X509Certificate 原证书信息，粘贴到新的元数据文件中相同位置，然后保存。云SSO的单点登录配置中上传新的元数据文件。在IdP单点登录配置中激活...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件的实体。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如...
Hive元数据基本操作
本文为您介绍Hive元数据的基本操作，包括新建库、删除库、新建表和删除表。前提条件 已创建集群，详情请参见 创建集群。新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
管理文件元数据
示例代码 以下代码用于上传文件时指定元数据，并在文件上传后更新和查看文件元数据。DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8" /> <title>Document</title> </head> <body> <button id='upload'>上传</button><button id='update...
1.1.5版本
2）支持通过API接口授权外部系统对区行平台主数据元数据进行增删改查 3）新增基于不同行业属性的主数据元数据运营期模板 4）基于定时更新和立即更新的不同策略，从行业平台集中对企业级平台主数据元数据进行更新 5）支持从行业平台集中访问...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
云存储网关软件版公测
元数据 元数据存储管理 下表详细列举了ossfs与云存储网关软件版元数据相关的原理对比：对比项 云存储网关软件版 ossfs 元数据缓存 云存储网关软件版采用KV数据库存储数据，它会将元数据全量缓存到缓存盘里，能够处理大规模的文件数目。...
0011-00000004
问题原因 自定义元数据是一组键值对，元数据名称必须以 x-oss-meta-开头。该报错原因是用户自定义元数据（User Meta）的Key中 x-oss-meta-*包含非法字符。问题示例 用户自定义元数据的Key为：x-oss-meta-*，其中*需要填写正确的字符。例如...
Query洞察
Query洞察旨在结合 慢Query日志 和表统计信息日志系统表hg_table_info，快速获取当前Query的执行信息，例如Query进程的资源消耗、Query所涉及的表的元数据，以及Query对应的执行计划（plan）。同时可以通过Query洞察快速判断当前Query是否...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
Information Schema常见问题
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析：MaxCompute元数据使用实践-作业统计 MaxCompute...
数据地图概述
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。元数据采集与接入 MaxCompute数据 如果您使用了...
- 产品推荐
- 这些文档可能帮助您