元数据采集
DataWorks数据地图为您提供 元数据采集 功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件 您需要...
创建集群
参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置高级信息。高级信息包括如下两方面：Spark设置 参数 ...
添加数据源
相关操作 对于已经添加的数据源，您还可以在目标数据源的 更多 中，执行如下操作：操作 描述 配置数据分析计划 修改数据分析计划。立即运行元数据索引 为数据源立即创建元数据索引，便于后续分析和搜索。查看数据源 查看您已创建的数据源...
Delta Lake数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 deltalake。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，端口号默认为9083。DLF 使用DLF查看数据源，...
约束和限制
数据湖管理使用限制 限制 描述 元数据发现支持发现的数据源 OSS SLS Tablestore 元数据发现OSS数据源的文件格式 只支持识别CSV、JSON、Parquet、ORC格式的文件 元数据发现OSS数据源目录结构 按照库/表/分区布局的路径 元数据发现OSS数据源...
Hive数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 hive。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，端口号默认为9083。DLF 使用DLF查看数据源，详情...
Hudi数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 hudi。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，端口号默认为9083。DLF 使用DLF查看数据源，详情...
API概览
本产品中所有开放的API，按照功能目录分类，将API链接和API描述罗列出来。命名空间 API 描述 CreateNamespace 创建命名空间。UpdateNamespace 更新命名空间。DescribeNamespace 获取命名空间详情。DeleteNamespace 删除命名空间。配置 API ...
同步配置
参数 描述 相同配置 相同配置的判断标准：如果Data ID和Group都相同，则识别为相同配置。您可以选择以下操作：终止克隆：终止这次克隆的操作，这次操作选中的所有配置都不会被克隆到目标命名空间。跳过：跳过重复的配置，继续克隆其他配置...
Hive访问Iceberg数据
Hive支持通过内表或外表的方式访问Iceberg数据。本文通过示例为您介绍如何使用EMR上的Hive访问EMR Iceberg数据。前提条件 已创建Hadoop集群，详情请参见 创建集群。...Iceberg表使用DLF统一元数据的必要配置，请参见 数据湖元数据配置。
模型介绍
Meta：用于描述Timeline的元数据，元数据描述采用free-schema结构，可自由包含任意列。Queue：一个Timeline内所有Message存储在Queue内。SequenceId：Queue中消息体的序列号，需保证递增、唯一。模型支持自增列、自定义两种实现模式。...
通过元数据文件迁移上云
前提条件 下载JDK 8 购买并部署 云消息队列 Kafka 版 实例：购买并部署VPC实例 购买并部署公网/VPC实例 背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
0024-00000502
问题描述 管理元数据转换任务请求（修改或删除）时，设置了RoleID。问题原因 您发起了管理元数据转换任务请求（修改或删除），并设置了RoleID。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 管理元数据转换任务...
表详情
当您需要全面了解并高效地使用表数据，您可在 数据管理DMS 的SQL窗口查看表的详细信息，包含表所属库、字段、索引、行数等技术元数据，类目、表描述等业务元数据，以及表权限、表Owner等管理元数据。背景信息 DMS在表详情中引入表的元数据...
0024-00000503
问题描述 创建元数据转换任务请求中的RoleID为空。问题原因 您发起了创建元数据转换任务请求，请求中的RoleID为空。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 填写正确的RoleID。相关文档 OSS-HDFS服务的...
0011-00000008
问题描述 文件元数据中Content-Encoding的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Encoding字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Encoding字段声明...
0011-00000007
问题描述 文件元数据中Content-Disposition的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Disposition字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Disposition...
0024-00000507
问题描述 启动元数据转换任务时，任务状态冲突。问题原因 您启动元数据转换任务时，任务状态不为空闲。问题示例 该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案 检查当前任务状态，如不为空闲状态，请等任务执行完成，状态为...
0011-00000010
问题描述 文件元数据中Expires的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Expires字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Expires字段声明缓存内容的绝对过期时间，格式应...
0011-00000006
问题描述 文件元数据中Content-Type的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Content-Type字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Content-Type字段声明上传的文件类型...
Iceberg数据源
不同元数据服务的配置方法如下：Hive MetaStore 属性 是否必选 说明 type 是 数据源类型，取值为 iceberg。iceberg.catalog.type 是 Iceberg中Catalog的类型。使用Hive MetaStore则设置该参数为 HIVE。iceberg.catalog.hive.metastore.uris...
新建ArgoDB计算源
参数 描述 元数据获取方式 支持从元数据库获取和HMS获取方式。使用HMS请先在配置文件中上传hdfs-site.xml、hive-site.xml、core-site.xml文件及配置认证方式。数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应...
0024-00000504
问题描述 创建元数据转换任务请求时，命中前缀参数含有OSS-HDFS的特殊路径。问题原因 您发起了创建元数据转换任务请求，命中前缀参数含有OSS-HDFS的特殊路径。命中前缀不支持设置为..d、.dl、.dls、.dlsd、.dlsda、.dlsdat、.dlsdata其中...
Spark UDF
说明 数据湖元数据管理不支持针对UDF的Alter语法，如果需要修改元数据的一些配置，请DROP对应的UDF后重新创建。使用UDF 实现UDF。初始化一个Maven管理工程，并在依赖中加入如下代码：<dependency><groupId>org.apache.hive</groupId>...
0011-00000009
问题描述 文件元数据中Cache-Control的值包含非法字符。问题原因 请求中指定了文件元数据，但是文件元数据中的Cache-Control字段包含非法字符。问题示例 例如，您发起了PostObject请求，并通过表单域中的Cache-Control字段指定Object的缓存...
元数据仓库共享模型概述
Dataphin V3.4版本开始，支持单实例多租户（对应 租户设置 功能）、外部审批流对接配置、元数据共享模型 等实例级别的功能。重要 元仓租户下的任务不占用数据处理单元。业务租户：统称为 开发租户，进行数据中台建设的租户，即进行数据开发...
Spark应用配置参数说明
云原生数据仓库 AnalyticDB MySQL 版（AnalyticDB for MySQL）Spark配置参数跟开源Spark中的配置参数基本一致。本文介绍 AnalyticDB for MySQL 与开源Spark用法不一致的配置参数。使用说明 Spark应用配置参数用于配置和调整Spark应用程序的...
0037-00000004
问题描述 Bucket元数据索引库未构建完成。问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket元数据索引库未构建完成。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）元数据索引库未...
数据查询
在迷你图区域，单击 快速对比，系统将同步您已完成的配置（元数据筛选条件、标签筛选条件、聚合策略、元数据时间范围、主时间范围）到 数据对比 页面，并展示数据对比迷你图和火焰图。更多信息，请参见 Profile Explorer使用（数据对比）。...
使用MaxCompute作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
迁移自建Kafka集群至新实例
背景信息 Kafka集群元数据是指Kafka集群的Topic和Group配置信息。Kafka集群元数据存储于ZooKeeper上，Kafka集群各个节点从ZooKeeper中获取最新的元数据。因此，集群的各个节点的元数据被导出时都是最新且相同的。Kafka集群元数据可以被导出...
数据流动概述
元数据自动更新 配置当OSS的数据发生变化后，CPFS可通过OSS的数据修改事件监控到元数据变化，并自动将修改后的文件元数据同步到CPFS上。这样可确保CPFS与OSS上的数据保持最终一致，从而节省运维开销。弹性伸缩 数据流动的规格支持升配和降...
Information Schema常见问题
MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析：MaxCompute元数据使用实践-作业统计 MaxCompute...
数据血缘
元数据采集完成后，您可以在数据总览页面查看当前地域下，配置了数据采集器的Hologres数据库统计信息和表信息，详情请参见 数据总览。如果需要查找表，可参见 通用数据查询与管理。查看血缘详情。查找到目标表后，您可以单击目标表名称进入...
新功能发布记录
全部 统一Arms的TraceId和API网关TraceId 向Arms同步请求埋点数据时，增加符合协议的TraceId默认值，并把默认值传给用户侧 全部 2022-09 功能名称 功能描述 发布地域 相关文档 插件数据集 插件中的配置数据抽象成数据集对象进行单独管理，...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
0041-00000112
问题描述 请求触发镜像回源时，解析的自定义元数据大小超出8 KB限制。问题原因 单个Object可以配置多个自定义元数据，但所有的自定义元数据总大小不能超过8 KB。问题示例 无 解决方案 检查配置的自定义元数据大小以及请求格式。相关文档 ...
基于SAML配置SSO
配置基于SAML的SSO时，为了建立 无影云电脑 与企业身份提供商IdP（下文简称为企业IdP）之间的互信关系，需要完成以 无影云电脑 作为SP的SAML配置和企业IdP的SAML配置，配置完成后终端用户在登录 无影终端 时才能使用SSO。本文介绍如何配置...
阿里云OSS-HDFS服务（JindoFS服务）元数据导出使用...
元数据导出说明 配置Jindo命令行工具，应配置对应OSS-HDFS Bucket的访问密钥，详情请参见 通过Jindo CLI命令访问OSS/OSS-HDFS。执行导出命令。jindo admin-dumpInventory oss:/<hdfs_bucket>/。可以观察到输出路径。Dump Inventory=Job Id:...
- 产品推荐
- 这些文档可能帮助您