元数据干什么用的-元数据干什么用的文档介绍内容-阿里云

Iceberg数据源

Iceberg使用的元数据服务不同，该参数的配置也不同。Iceberg Catalog的作用是保存Iceberg表和其存储路径的映射关系。不同元数据服务的配置方法如下：Hive MetaStore 属性是否必选说明 type 是数据源类型，取值为 iceberg。iceberg....

使用独立的Trino集群

创建完独立的Trino集群后，您需要进行以下配置：配置连接器可选：配置数据湖元数据如果数据集群的元数据选择的不是数据湖元数据，则可以忽略此配置。配置连接器在待使用的连接器中配置查询对象。本文以Hive连接器为例介绍。进入集群...

External Catalog

Hive、Hudi和 Delta Lake 使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：使用Hive Metastore元数据配置项如下。参数是否必选说明 type 是数据源类型，取值为hive、hudi或deltalake。hive.metastore.uris 是...

事件告警

告警的处理方式元数据空间不足告警原因元数据空间指的是SMB或NFS共享所对应的缓存盘中用于存储元数据的空间，主要包括目录结构等信息，文件数目越多，使用的元数据空间也就越大。共享使用的缓存盘由数据空间和元数据空间组成，默认20%的...

元数据仓库共享模型标准访问方式

将元仓任务计算源对应的数据源配置为输入组件，将目标空间项目配置为输出组件，选择需要使用的元数据表，完成集成任务的配置。集成任务调度配置。您可以直接将集成任务配置为定时调度，可以查看元仓租户下共享模型任务的平均产出时间作为...

Paimon数据源

paimon.catalog.type 是 Paimon使用的元数据类型，取值为：hive:使用Hive MetaStore存储的元数据。filesystem：使用filesystem存储的元数据。paimon.catalog.warehouse 是 warehouse所在路径，支持HDFS、OSS和OSS-HDFS。hive.metastore....

Paimon与Spark集成

spark.sql.catalog.paimon.metastore：指定Catalog使用的元数据存储类型。设置为 filesystem 意味着元数据存储在本地文件系统。spark.sql.catalog.paimon.warehouse：配置数据仓库的实际位置，请根据实际情况修改。创建DLF Catalog DLF ...

新建ArgoDB数据源

数据库类型根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...

创建Impala数据源

元数据库获取方式参数说明数据库类型请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...

Hudi数据源

Hudi使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：Hive MetaStore 属性是否必选说明 type 是数据源类型，取值为 hudi。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，...

Hive数据源

Hive使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：Hive MetaStore 属性是否必选说明 type 是数据源类型，取值为 hive。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>:<端口号>，...

Delta Lake数据源

Delta Lake使用的元数据服务不同，该参数的配置也不同。不同元数据服务的配置方法如下：Hive MetaStore 属性是否必选说明 type 是数据源类型，取值为 deltalake。hive.metastore.uris 是 Hive MetaStore的URI。格式为 thrift:/的IP地址>...

创建TDH Inceptor数据源

数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...

Hudi连接器

使用DLF元数据如果数据表的元数据使用了 DLF统一元数据，则还需为Hive、Iceberg和Hudi等连接器进行额外的配置。此时查询不再依赖数据集群，hive.metastore.uri 可以任意填写，Trino能够直接访问到同一个账号下的DLF元数据。数据湖元数据...

创建Impala数据源

参数描述数据库类型请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...

创建Hive数据源

参数说明数据库类型请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。连接地址格式为 ...

创建Hadoop计算源

元数据库获取方式参数描述数据库类型根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...

开发及提交SQL脚本

说明在工具栏上，单击图标，可以更新SQL脚本中使用的元数据，例如表、UDF。如果MaxCompute服务端存在表或函数，但MaxCompute Studio提示表和函数不存在时，请尝试使用该功能更新元数据。SQL依赖于您在 Project Explorer 窗口中添加的项目...

Hive统一元数据

EMR上可以支持将数据存放在阿里云OSS中，在大数据量的情况下将数据存储在OSS上会大大降低使用的成本，EMR集群主要用来作为计算资源，在计算完成之后可以随时释放，数据在OSS上，同时也不用再考虑元数据迁移的问题。数据共享。使用统一的...

访问ECS实例元数据时强制使用加固模式

访问ECS实例的元数据时强制使用加固模式，视为“合规”。应用场景访问ECS实例元数据时支持普通模式和加固模式。在加固模式下，ECS实例基于Token鉴权访问实例元数据。加固模式相比普通模式，对SSRF攻击有更好的防范效果。风险等级默认风险...

概述

例如相册场景，一个相册创建一个数据集，调用 BatchIndexFileMeta-批量索引文件元信息或者 IndexFileMeta-索引文件元信息接口为照片建立元数据索引，使用人脸聚类功能，将相册中存在相似人脸的多张照片进行分组。具体操作，请参见创建...

消息模板

Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、实时...若需使用消息的元数据，可使用${元数据名称} 的形式，告警系统会进行自动的替换。单击确定，完成消息模板修改。

管理单点登录

警告删除正在使用的SAML签名证书，会导致单点登录失败，请谨慎操作。在 SSO登录的身份提供商（IdP）信息区域，单击 SAML签名证书右侧的管理。在证书对话框，轮转SAML签名证书。单击上传新的证书，上传从企业IdP获取的新证书。确认...

单点登录概述

如果您需要配置更多IdP信息，请在IdP端生成元数据文件并使用上传元数据的方式进行配置。配置完成后，请启用SSO登录功能。具体操作，请参见管理单点登录。通过SCIM同步用户或在云SSO中创建IdP的同名用户。如果IdP中有大量用户，且IdP支持...

Information Schema常见问题

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息，您可以一次性拉取您同一个元数据中心下所有Project的某类元数据，从而进行各类元数据的统计分析：MaxCompute元数据使用实践-作业统计 MaxCompute...

元数据迁移

元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务创建迁移任务打开数据湖构建控制台。选择...

API概览

库库 CreateDatabase 新增元数据库在数据湖元数据中创建一个新的元数据库。DeleteDatabase 删除元数据库根据名称删除数据湖元数据库。UpdateDatabase 更新元数据库信息更新数据湖元数据库的详细信息。GetDatabase 获取元数据库详情 ...

set-meta（管理文件元数据）

ossutil64 set-meta oss:/examplebucket/exampleobject.txt X-Oss-Object-Acl:public-read-update 使用-update 选项时仅更新目标Object中与指定Header匹配的元数据，并替换为该Header对应的Value值，其中Value值可以为空。Value置空时，...

EMR+DLF数据湖解决方案

通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持数据湖的多种管理如数据生命周期，湖格式自动优化，存储分析等。同时支持多源数据入湖以及一站式数据探索的能力。本文为您介绍EMR+DLF数据湖方案...