自定义OSS文件下载时的文件名
为了避免重新上传整个对象内容并减少数据覆盖的风险，推荐使用SDK中的 update_object_meta 接口而非 PutObject 接口来安全地更新对象的元数据。示例代码 更新文件的元数据中的 Content-Disposition 字段的Python示例代码如下：#-*-coding:...
产品优势
通常，图片应用会选择采用业务服务器安装不同厂家的AI分析能力，通过这些功能得到关键的元数据信息，然后保存到数据库中，从而更好的支撑元数据检索，支撑业务和监管的需求。采用此方案存在如下问题：接口不统一 因为有多厂家的选型，需要...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
Jindo sql命令介绍
本文为您介绍如何使用Jindo sql命令，分析JindoFS访问日志、元数据和OSS访问日志的数据。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 您可以使用Jindo sql命令分析以下数据：使用Jindo sql分析JindoFS访问...
什么是智能媒体管理
阿里云智能媒体管理（Intelligent Media Management，简称IMM），场景化封装数据智能分析管理，为云上文档、图片、视频数据，提供一站式数据处理、分析、检索等管控体验。产品概述 智能媒体管理针对不同行业的业务场景封装整合完整的处理...
查询脚本
重要 对DDL或DML语句运行将会直接影响线上元数据或数据，请谨慎操作。编写的内容每分钟进行一次自动保存，您也可以选择手动将临时查询持久化保存在左侧文件夹下。操作步骤 登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 ...
数据地图
DataWorks数据地图是在元数据基础上提供的企业数据目录管理模块，元数据详情查看、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用Hologres数据。本文为您介绍如何在数据地图中配置Hologres元数据采集器及相关...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理元数据
本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面 在Dataphin首页，单击顶部菜单栏的 资产。在 资源 页面，按照下图操作指引，进入 元数据管理 页面。在 元数据管理 页面，查看系统元数据及自定义的...
管理文件元数据
关于OSS支持的Region与Endpoint的对应关系，请参见 访问域名和数据中心。本文以OSS域名新建OSSClient为例。如果您希望通过自定义域名、STS等方式新建OSSClient，请参见 初始化。要设置文件元数据，您必须具有 oss:PutObject 权限；要获取...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
Hudi MetaStore使用说明
背景信息 Hudi每次操作数据都会新增时间线（instant），查询时需要读取所有时间线元数据，以获得在该时间点上的有效分区或文件，其中Partition Listing和File Listing涉及大量IO操作，耗时较多。湖格式和传统表结构不同，有其特有的元数据...
元数据抽取
在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...
元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件 支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务 创建迁移任务 打开 数据湖构建控制台。选择...
指标总览
单击操作列的 详情，可以查看当前指标的元数据、详细的上报量、时间线数量等内容。更多信息，请参见 指标详情。指标详情 基本信息 基本信息显示了指标名称、单位、指标类型、采集间隔、付费类型、指标来源和采集Job。存储实例 存储实例展示...
指标总览
单击操作列的 详情，可以查看当前指标的元数据、详细的上报量、时间线数量等内容。更多信息，请参见 指标详情。指标详情 基本信息 基本信息显示了指标名称、单位、指标类型、采集间隔、付费类型、指标来源和采集Job。存储实例 存储实例展示...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
Hive元数据说明
DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）中。数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还...
消息模板
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、实时集成、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。背景信息 Dataphin中阿里云短信服务...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
概述
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
元数据仓库共享模型概述
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。...
计费模式
本文介绍数据湖构建中各资源的计费规格，包括入湖作业资源用量、数据存储对象和元数据请求三部分。计量计费项 重要 DLF产品目前所有功能为 0折扣活动阶段，即使超过免费阶梯限定后，目前也均不会产生实际计费。元数据对象的存储量 元数据...
EMR+DLF数据湖解决方案
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...
元数据导入
本文介绍如何在 云消息队列 Kafka 版 控制台创建元数据导入任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署云消息队列 Kafka 版实例：购买并部署VPC实例 购买并部署公网/VPC实例 说明 购买实例的规格可...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
通过元数据文件迁移上云
本文介绍如何在 云消息队列 Kafka 版 控制台创建迁移任务，将元数据迁移至 云消息队列 Kafka 版 已有实例。前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
自定义消息渠道支持的元数据
背景信息 自定义消息渠道的接口中包含基础的元数据信息，在Proxy应用中，进行告警消息的升级及告警消息内容的拼接。若自定义消息渠道的接口中包含元数据信息不足以满足需求，可通过OpenAPI获取更多的信息。通用元数据 参数名称 数据类型 ...
获取文件元数据
您可以获取一个文件（Object）的元数据信息，包括该Object的ETag、Size、LastModified信息，并且不返回该Object的内容。注意事项 本文以华东1（杭州）外网Endpoint为例。如果您希望通过与OSS同地域的其他阿里云产品访问OSS，请使用内网...
0041-00000111
问题描述 无法解析自定义元数据。问题原因 请求触发镜像回源时，源站解析自定义元数据格式错误。问题示例 解析x-oss-persistent-headers内容不合法。其他情况 解决方案 排查源站异常。相关文档 镜像回源
SAML配置
2.进入 Microsoft Azure AD界面，配置SP的元数据信息，获取IDP的元数据信息 步骤一：在Azure AD中创建应用 管理员用户登录 Microsoft Azure AD界面，点击 查看。在左侧导航栏，选择 企业应用程序>所有应用程序。单击 新建应用程序。在 浏览...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
CreateDatabase-新增元数据库
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
- 产品推荐
- 这些文档可能帮助您