元数据库如何看配置-元数据库如何看配置文档介绍内容-阿里云

使用星环TDH作为元仓计算引擎进行元仓初始化

使用星环TDH作为<em>元</em>仓计算引擎进行<em>元</em>仓初始化

以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...

EMR+DLF数据湖解决方案

在新建元数据库对话框，配置元数据库参数。单击确定，完成元数据库创建。新建大数据集群，已有数据存在在OSS中，但没有元数据信息。可以使用元数据抽取来识别OSS上数据的元数据信息，并存储在DLF中。步骤三：初始化数据初始化数据一般...

元数据迁移

源库配置 元数据库类型：目前仅支持MySQL类型。MySQL类型：Aliyun RDS：阿里云官网提供的RDS，可参考云数据库RDS MySQL 版。其他MySQL：EMR内置MySQL、自建MySQL或其他MySQL数据库。如果选择为Aliyun RDS，则需要填写RDS实例相关信息：RDS...

EMR元数据迁移DLF最佳实践

创建迁移任务进入数据湖构建控制台，切换到EMR集群所属的区域，选择左侧菜单“元数据管理-元数据迁移”，并单击“创建迁移任务”进行配置迁移任务，如下图源库配置 元数据库类型：选择MySQL类型即可。MySQL类型：根据Hive元数据类型选择...

创建TDH Inceptor数据源

元数据库配置 元数据获取方式支持 元数据库 方式和 HMS 方式获取。元数据库方式：需要配置数据库类型、版本、JDBC URL、认证方式、用户名和密码。数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL...

新建ArgoDB数据源

配置 元数据库配置 区域的参数。参数描述元数据获取方式支持从元数据库直接获取和HMS获取方式。使用HMS需上传hive-site.xml配置文件。认证方式支持无认证、LDAP、Kerberos。Kerberos认证方式还需上传Keytab File及配置Principal。数据库...

创建TDH Inceptor计算源

前提条件若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...

元数据管理

配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表创建完成元数据库后，选择创建元数据表。配置元数据表参数。输入数据表的名称。选择所属数据目录。选择数据目录下的...

创建Hive数据源

Hive数据源配置参数中，集成配置是为了支持数据集成，实时研发配置是为了支持实时研发的场景，而 元数据库配置 是基础的配置，用来获取元数据。说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...

元数据导出

前提条件已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...

数据备份与删除

独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...

数据湖构建的审计事件

数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

创建Impala数据源

配置数据源元数据库参数。元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式参数说明数据库类型请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持...

创建Impala数据源

配置数据源元数据库参数。参数描述数据库类型请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname...

DatabaseInput

名称类型描述示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...

Database

名称类型描述示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...

UpdateDatabase-更新元数据库信息

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否新的元数据库 Name string 否修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数名称类型 ...

使用数据探索查询Iceberg表

准备工作已开通DLF，并创建了 元数据库。通过元数据发现/入湖任务管理或者API等方式创建了Iceberg元数据表。操作步骤登录数据湖构建控制台，在左侧菜单中选择数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...

数据湖元数据管理

数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件已在数据湖构建...

LockObj

名称类型描述示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...

Quick BI中元数据库中记录报表使用分析的数据

概述本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI

产品简介

产品功能架构元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...

从统一元数据库迁出到用户自建的RDS实例

为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件已购买RDS，详情请参见创建RDS MySQL实例。使用限制建议选择 MySQL 的5.7版本；系列选择高可用版。RDS MySQL实例须与E-MapReduce的...

概述

参见元数据管理章节，定义数据湖的元数据库和表。控制台概览控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...

CreateDatabase-新增元数据库

在数据湖元数据中创建一个新的元数据库。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的...

DeleteFunction-删除元数据库的函数

根据名称删除数据湖元数据库的用户自定义函数。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略...

CreateFunction-新增元数据库的函数

JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否函数定义详情返回参数名称类型描述示例值 object 返回结果 Code...

1.0.8版本

1）内容管理-橱窗推荐功能变更公告数字工厂 1）主数据集成应用优化主数据的编码支持层级嵌套 元数据属性为主数据、工厂模型等类型支持默认值 元数据属性增加库存地点类型 元数据集成映射配置保存和上传 2）工厂模型\工艺路径\库存模型的...

UpdateFunction-更新元数据库的函数

JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否待更新的函数详情 FunctionName string 否函数名称 func2 返回参数 ...

快速入门

数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式详细操作请参见元数据管理。

元数据库数据字典

云原生数据仓库AnalyticDB MySQL版的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...

GetDatabase-获取元数据库详情

获取数据湖具体的一个元数据库的详细信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句...

RenamePartition-更新元数据表分区名

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否更新后的分区信息，和 CreatePartition 相同 ...

ListDatabases-获取元数据库列表

获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，...

新建Paimon数据源

元数据配置 元数据获取方式支持 元数据库 和 HMS 方式。元数据库方式数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/...

RenameTable-更新元数据表的名称

JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否元数据表对象，注意仅需填写 TableName 即可 TableName string 否元数据表...

BatchCreateTables-批量新增元数据表

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否如果相同名字的表已经存在，是否忽略异常 true TableInputs array 否 ...

UpdateTable-更新元数据表信息

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否默认情况下，更新元数据表会创建一个新的归档版本，但如果 skipArchive 设置 true 则...

使用Hadoop作为元仓计算引擎进行元仓初始化

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

DeleteTableVersion-删除元数据表指定版本

请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...

元数据库如何看配置

新品推荐