元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
ALIYUN:RAM:SAMLProvider
SAMLMetadataDocument String 否 是 元数据文档内容。大小为1～102,400字节。必须指定SAMLMetadataDocumentURL或SAMLMetadataDocument，但不能同时指定二者。EncodedSAMLMetadataDocument String 否 是 元数据文档。经过Base64编码。由支持...
EMR元数据迁移DLF最佳实践
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖...
将自建ClickHouse数据迁移到云ClickHouse中
Q：为什么目标实例云数据库ClickHouse连接自建数据库ClickHouse连接失败？A：可能是您的自建数据库ClickHouse设置了防火墙或白名单等操作。可以在云数据库ClickHouse控制台查看云数据库ClickHouse的VPC网络，并且将该VPC的整个网段都加入到...
如何基于LSM-tree架构实现一写多读
在一写多读的模式下，Replica节点与Primary节点共享一份磁盘数据，而磁盘数据是由内存中数据定期dump出来的，因此需要保证Primary和Replica节点有相同的切memtable位点，从而保证数据视图的一致性。一写多读下的Compaction 在一写多读场景...
0011-00000005
问题原因 自定义元数据是一组键值对，该报错是因为键值对中的Value包含非法字符。问题示例 正确示例：x-oss-meta-last-modified:20210506。解决方案 检查自定义元数据的Value，确认是否包含非法字符。使用PutObject接口时，如果配置以 x-...
0011-00000004
问题原因 自定义元数据是一组键值对，元数据名称必须以 x-oss-meta-开头。该报错原因是用户自定义元数据（User Meta）的Key中 x-oss-meta-*包含非法字符。问题示例 用户自定义元数据的Key为：x-oss-meta-*，其中*需要填写正确的字符。例如...
获取文件元数据
通过HeadObject方法可以只获取文件元数据而不获取文件内容。注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
通过元数据文件迁移上云
前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中...
获取文件元数据
注意事项 文件元数据是对文件的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。您可以通过设置HTTP标准属性来自定义HTTP请求的策略，例如文件（Object）缓存策略、强制下载策略等。您还可以通过设置用户...
元数据导入
背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出...
常见术语
DLA元数据 元数据：支持库（Schema，是表的集合）、表（Table，是同构行记录的集合）、列（Column，描述一行数据的某个属性）、视图（View，将某个查询的结果抽象成一张表）等，每个库（Schema）只能对应一种数据源，元数据是Presto引擎、...
模型介绍
该轨迹数据的元数据是快递本身，包含了单号、物流平台、快递当前位置信息以及快递寄件/收件等元信息，其中单号以及物流平台的组合（Identifier）唯一确定这个快递。数据存储方式分析 将物流平台作为Name进行存储，一个快递平台的数据属于同...
迁移自建Kafka集群至新实例
背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
set-meta（管理文件元数据）
文件元数据是对文件（Object）的属性描述，包括HTTP标准属性（HTTP Header）和用户自定义元数据（User Meta）两种。其中，HTTP Header可用于自定义HTTP请求的策略，用户自定义元数据可用于标识文件的用途或属性等。您可以通过 set-meta ...
落标监控概述
落标监控 落标监控是基于数据标准对映射到的对象进行的监控，可分为 元数据监控 和 内容质量监控：元数据监控是评估资产对象的元数据字段值和标准定义的属性值是否一致。内容监控是指针对标准映射到的资产对象（如字段、指标），评估其具体...
概述
例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息 或者 IndexFileMeta-索引文件元信息 接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见 创建...
实现原理
监控的通用逻辑 定义数据源：首先，需要建立元数据基本模型，元数据是监控系统的根基。例如：定义应用、部署实例、机房信息，单元化信息等。在 SOFAStack 场景下，这部分信息需要从 PaaS 侧自动获取。数据采集：通过安装在机器上的 Agent ...
开源RabbitMQ迁移上云
迁移上云 迁移元数据 迁移元数据是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云 云消息队列 RabbitMQ 版 实例。云消息队列 RabbitMQ 版 会根据成功导入的元数据在目标 云消息队列 RabbitMQ 版 实例中创建对应的Vhost、Queue、...
Hive元数据说明
本文为您介绍E-MapReduce（简称EMR）支持的元数据类型和各元数据类型的优势。元数据类型介绍 EMR Hive元数据支持DLF统一元数据、自建RDS和内置MySQL三种类型。DLF统一元数据 元数据存储在阿里云数据湖构建（Data Lake Formation，简称DLF）...
许可证配置
自定义元数据：输入需要额外限制服务的自定义数据。输入的自定义元数据内容长度不超过1024个字符，格式不限。调用校验许可证接口的时，会返回此处设置的内容。说明 自定义元数据设置后，不论校验自定义许可证还是云市场许可都会返回此处...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
基本概念
元数据 元数据是数据的描述数据，可以为数据说明其属性（名称、大小、数据类型等），或结构（字段、类型、长度等），或其相关数据（位于何处、拥有者、产出任务、访问权限等）。DataWorks中元数据主要指库、表相关的信息，元数据管理对应的...
专业术语
但是，用它们来存储经常被查询的元数据是非常有用的；因为数据库会对tag建索引，所以tag上的查询性能很高。查询提示：跟tag相比，数据库不会对field建索引。相关术语：field，tag key，tag set，tag value。tag key 构成tag的key-value对...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
Delta Lake和Hudi是数据湖方案中常用的存储机制，为数据湖提供流处理、批处理能力。MaxCompute基于阿里云DLF、RDS或Flink、OSS产品提供了支持Delta或Hudi存储机制的湖仓一体架构。您可以通过MaxCompute查询到实时数据，即时洞察业务数据...
优化器信息收集
表的元数据主要是通过对其数据收集统计信息（Column stats）来获取，该元数据是推算其它元数据的基础。MaxCompute提供了如下两种收集方式：异步收集框架（Analyze）：用户异步通过 analyze 命令收集。需要用户主动收集。说明 MaxCompute...
Spark流式写入Iceberg
注意 示例中数据湖元数据的配置参数，根据集群版本不同，配置的参数不同，Catalog名称也不同。本示例以EMR-5.3.0版本为列，其中 dlf_catalog 为Catalog名称。具体版本对应的配置请参见 数据湖元数据配置。def main(args:Array[String]):...
PutObject
不建议使用ETag作为Object内容的MD5来校验数据完整性。默认值：无 Expires 字符串 否 2022-10-12T00:00:00.000Z 缓存内容的绝对过期时间，格式是格林威治时间（GMT）。默认值：无 x-oss-forbid-overwrite 字符串 否 false 指定PutObject...
元数据管理常见问题
什么是工作流模板？工作流模板（Template）定义了部分接口所需要执行的工作流。在创建智能媒体管理项目、数据集时，可以设置工作流模板ID（TemplateId）。在为存储在阿里云对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件建立元数据...
管理文件元数据
自定义元数据是一组键值对，元数据名称必须以 x-oss-meta-开头。例如 x-oss-meta-last-modified:20210506，可用于记录本地文件最后修改时间为2021年5月6日。调用 GetObject 或者 HeadObject 接口时，将在HTTP头部返回自定义元数据。操作...
数据目录
什么是数据目录（Catalog）数据目录（Catalog）是数据湖构建（Data Lake Formation）的元数据最上层实体，它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景，比如多个E-MapReduce集群，每个集群绑定不同的Catalog，每个EMR集群...
管理文件元数据
内容类型决定浏览器将以什么形式、什么编码读取文件。如果没有指定则根据文件的扩展名生成，如果没有扩展名则为默认值application/octet-stream。meta.setContentType("text/plain");设置内容被下载时的名称。meta.setContentDisposition(...
JindoFS介绍和使用
JindoFS是基于阿里云对象存储OSS，为开源大数据生态构建的Hadoop兼容文件系统（Hadoop Compatible File System，HCFS）。JindoFS提供兼容对象存储的纯客户端模式（SDK）和缓存模式（Cache），以支持与优化Hadoop和Spark生态大数据计算对OSS...
新旧版本使用指引
更新数据集 UpdateSet-更新媒体集的显示名称 GetDataset-查询数据集信息 GetSet-获取媒体集信息 ListDatasets-列出数据集 ListSets-获取媒体集列表 DeleteDataset-删除数据集 DeleteSet-删除媒体集 元数据索引 IndexFileMeta-文件元信息...
常见问题
Trino与Presto的区别与联系是什么？Trino的各个版本有什么区别？Trino在EMR上的部署形态是什么样的？是否支持高可用？Trino如何连接DLF？开启了DLF后是否还能连接MetaStore？默认提供的连接器不够用怎么办？Trino如何访问OSS？是否支持OSS-...
事件目标参数
无论事件内容是什么，事件总线EventBridge 只把 value 定义的常量路由到事件目标。更多信息，请参见 常量。value 示例值如下所示。test1"TEMPLATE：模板。需定义 value 和 template。事件总线EventBridge 通过 JSONPath 从CloudEvents提取...
QueryContent-查询文档内容
ADBPG是什么？Filter string 否 要查询的数据的过滤条件，格式为 SQL 的 WHERE 格式。title='test' RecallWindow array 否 召回窗口。当该值不为空时，增加返回检索结果的上下文。格式为 2 个元素的数组：List,B>，其中-10，0。说明 推荐当...
Catalog概述
本文为您介绍什么是Catalog（数据目录），以及如何使用Catalog查询内外部数据。基本概念 内部数据：保存在StarRocks中的数据。外部数据：保存在外部数据源（例如，Apache Hive、Apache Iceberg和Apache Hudi）中的数据。Catalog StarRocks ...
- 产品推荐
- 这些文档可能帮助您