元数据库-元数据库文档介绍内容-阿里云

配置自建RDS

数据库名称>：步骤一：元数据库准备中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名填写步骤一：元数据库准备中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码填写步骤一：元数据库准备中账号的...

使用星环TDH作为元仓计算引擎进行元仓初始化

以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...

集群高可用

阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...

EMR+DLF数据湖解决方案

在新建元数据库对话框，配置元数据库参数。单击确定，完成元数据库创建。新建大数据集群，已有数据存在在OSS中，但没有元数据信息。可以使用元数据抽取来识别OSS上数据的元数据信息，并存储在DLF中。步骤三：初始化数据初始化数据一般...

元数据迁移

元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。

数据湖元数据管理

数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件已在数据湖构建...

使用数据探索查询Iceberg表

准备工作已开通DLF，并创建了 元数据库。通过元数据发现/入湖任务管理或者API等方式创建了Iceberg元数据表。操作步骤登录数据湖构建控制台，在左侧菜单中选择数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...

数据权限概述

数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置权限设置主要为数据目录（Catalog）开启和关闭权限...

LockObj

名称类型描述示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...

产品简介

可支持对元数据库、元数据表、元数据列三种粒度的权限。数据探索，为您提供一键式数据探索能力，可支持Spark 3.0 SQL语法，可以保存历史查询，预览数据，导出结果，一键生产tpc-ds测试数据集。湖管理，将为您提供对湖内数据存储的分析及...

EMR元数据迁移DLF最佳实践

查看运行记录和日志单击右侧操作“运行记录”，可以查看运行的详情信息单击查看日志，可以查看运行中的日志信息，如下确认元数据迁移到DLF 在元数据管理-元数据库/元数据表中，可以查询到期望同步的元数据库表信息。如下 EMR集群切换...

使用Hadoop作为元仓计算引擎进行元仓初始化

详情如下：元数据库方式获取参数描述数据库类型选择Hive的元数据库类型。Dataphin支持选择 MySQL。支持MySQL数据库的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库JDBC的连接地址。例如：MySQL数据...

MySQL整库实时同步至OSS数据湖

比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息设置数据入湖存储时...

概述

参见元数据管理章节，定义数据湖的元数据库和表。控制台概览控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...

EMR元数据迁移到数据湖构建（DLF）

在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启自动配置更新并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...

UpdateTablePartitionColumnStatisticsRequest

类型描述示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...

Hive元数据基本操作

在表管理页面的中间区域，单击已创建的元数据库。单击右上角的新建表。在新建表对话框中，配置各项参数。配置项操作表名表名称。字段分隔符从字段分隔符中选择分隔符或者自定义。外部表默认不选中。需要创建外部表时，执行以下...

查询授权

本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型：包括元数据表、元数据库、元数据列三种类型。资源名称：指定具体的资源名称，如数据库的库名。数据权限：授权的权限名称，关于权限描述可参考权限配置。

Partition

名称类型描述示例值 object Partition CreateTime integer 创建时间，Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间 1608730999 LastAnalyzedTime integer ...

元数据导出

前提条件已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...

PartitionInput

名称类型描述示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间，Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间，Unix 时间戳秒...

创建TDH Inceptor数据源

数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...

创建Hudi数据源

各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...

创建Hudi数据源

各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...

新建ArgoDB数据源

数据库类型根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...

创建TDH Inceptor计算源

前提条件若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...

快速入门

数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式详细操作请参见元数据管理。

Function

CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间，Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...

创建Impala数据源

元数据库获取方式参数说明数据库类型请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...

新建ArgoDB计算源

数据库类型选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码填写登录元数据库的用户名和密码。说明为保证任务正常执行，请...

RenamePartition-更新元数据表分区名

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否更新后的分区信息，和 CreatePartition 相同 ...

创建Impala数据源

参数描述数据库类型请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...

RenameTable-更新元数据表的名称

JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否元数据表对象，注意仅需填写 TableName 即可 TableName string 否元数据表...

数据探索简介

已开通DLF，并创建了 元数据库。通过元数据发现/入湖任务管理或者API等方式创建了元数据表。运行查询登录数据湖构建控制台，在左侧菜单中选择数据探索。左侧数据库/表区域，会列举出当前账户下所有元数据库和元数据表。您可以在此区域...

创建集群

参见数据湖元数据管理统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见共享独立RDS元数据库设置高级信息。高级信息包括如下两方面：Spark设置参数 ...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：选择 Hudi。分区信息设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入...

BatchCreateTables-批量新增元数据表

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否如果相同名字的表已经存在，是否忽略异常 true TableInputs array 否 ...

DLF数据探索快速入门-淘宝用户行为分析

第三步：在DLF上抽取元数据 3.1 创建元数据表 DLF中元数据库可以理解为在关系型数据库中的Database，其下一级为Table。a.在 DLF控制台中，进入元数据库页面，创建元数据库。b.填入数据库名称。并选择刚才存有用户行为分析的如下图所示，...

UpdateTable-更新元数据表信息

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否默认情况下，更新元数据表会创建一个新的归档版本，但如果 skipArchive 设置 true 则...

新建Paimon数据源

元数据库方式数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...

元数据库

新品推荐