知识元数据库-知识元数据库文档介绍内容-阿里云

创建Hudi数据源

各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...

创建TDH Inceptor计算源

前提条件若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...

Function

CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间，Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...

快速入门

数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式详细操作请参见元数据管理。

元数据库数据字典

云原生数据仓库AnalyticDB MySQL版的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...

GetDatabase-获取元数据库详情

获取数据湖具体的一个元数据库的详细信息。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句...

创建Impala数据源

元数据库获取方式参数说明数据库类型请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...

从统一元数据库迁出到用户自建的RDS实例

为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件已购买RDS，详情请参见创建RDS MySQL实例。使用限制建议选择 MySQL 的5.7版本；系列选择高可用版。RDS MySQL实例须与E-MapReduce的...

新建ArgoDB计算源

数据库类型选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码填写登录元数据库的用户名和密码。说明为保证任务正常执行，请...

创建Impala数据源

参数描述数据库类型请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...

RenamePartition-更新元数据表分区名

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否更新后的分区信息，和 CreatePartition 相同 ...

ListDatabases-获取元数据库列表

获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，...

数据探索简介

已开通DLF，并创建了 元数据库。通过元数据发现/入湖任务管理或者API等方式创建了元数据表。运行查询登录数据湖构建控制台，在左侧菜单中选择数据探索。左侧数据库/表区域，会列举出当前账户下所有元数据库和元数据表。您可以在此区域...

RenameTable-更新元数据表的名称

JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否元数据表对象，注意仅需填写 TableName 即可 TableName string 否元数据表...

创建集群

参见数据湖元数据管理统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见共享独立RDS元数据库设置高级信息。高级信息包括如下两方面：Spark设置参数 ...

基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...

元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：选择 Hudi。分区信息设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入...

新建Paimon数据源

元数据库方式数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...

DLF数据探索快速入门-淘宝用户行为分析

第三步：在DLF上抽取元数据 3.1 创建元数据表 DLF中元数据库可以理解为在关系型数据库中的Database，其下一级为Table。a.在 DLF控制台中，进入元数据库页面，创建元数据库。b.填入数据库名称。并选择刚才存有用户行为分析的如下图所示，...

BatchCreateTables-批量新增元数据表

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否如果相同名字的表已经存在，是否忽略异常 true TableInputs array 否 ...

UpdateTable-更新元数据表信息

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否默认情况下，更新元数据表会创建一个新的归档版本，但如果 skipArchive 设置 true 则...

TableInput

名称类型描述示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...

快速使用TPC-DS测试数据集

TPC-DS是一套决策支持系统测试基准，提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，...执行完成后，就可以在查询输入框中，对新生成的TPC-DS元数据库进行SQL查询了。

Table

名称类型描述示例值 object Table Cascade boolean 是否允许级联删除 false CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test ...

DLF数据访问权限控制

选择元数据库级权限时：您可以勾选需要申请的元数据名称，并在 元数据库权限列表勾选需要申请的权限点。配置申请信息。参数描述使用者选择需要为谁申请权限。当前登录账号：表示为当前登录DataWorks工作空间的阿里云账号申请目标表...

DeleteTableVersion-删除元数据表指定版本

请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...

DeleteTableColumnStatistics-删除元数据表统计信息

请求语法 DELETE/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

ListFunctionNames-获取元数据库的函数名称列表

默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionNamePattern string 否函数名匹配的正则表达式.*NextPageToken string 否翻页 token，从返回结果返回，无则传空字符串或'' '' PageSize integer ...

基于DLF数据入湖的MaxCompute湖仓一体实践

步骤一：创建数据湖的元数据库 登录数据湖管理控制台，在页面上方选择地域，在元数据>元数据管理页面创建元数据库。具体操作请参见创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...

元数据抽取

目标数据库抽取获取的元数据存储的元数据库位置。目标数据表前缀通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时当元数据抽取任务获取的表与现有表字段发现不一致时，采取...

DeletePartitionColumnStatistics-删除元数据表分区...

请求语法 DELETE/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称...

存储概览

存储概览开通打开数据湖构建控制台，点击左侧湖管理-存储概览菜单，点击立即启用，开启存储概览功能重要开通湖资产，元数据库的OSS地址将写入文件的统计信息到OSS中，将产生少量存储成本。首日开通无统计数据，需要等待第二天数据产出后...

ListPartitionNames-获取元数据表分区名称列表

数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test NextPageToken string 否翻页 token，从返回结果返回，无则传空字符串或'' 2cb472ec1bf84f8d92f9c4baa0d21c19aa PageSize integer 否...

BatchDeleteTableVersions-批量删除元数据表版本

Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20200715162543389 VersionIds array 否版本号列表 integer 否版本号 1 返回参数名称类型描述示例值 object 返回结果...

GetFunction-获取元数据库的指定函数

根据函数名称，获取数据湖元数据库的用户自定义函数。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM...

为Spark集群设置元数据

背景信息因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...

基于Delta lake的一站式数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...

MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

登录数据湖管理控制台，新建元数据库，详情请参见创建元数据库。创建元数据抽取任务，导入OSS测试数据，详情请参见元数据抽取。已创建MaxCompute项目，详情请参见创建MaxCompute项目。已创建DataWorks工作空间，并绑定MaxCompute数据源...

使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

ListFunctions-获取元数据库的函数列表

批量获取数据湖元数据库的用户自定义函数列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略...

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

本示例中创建的元数据库名称为flink_dlf_hive，选择路径为 oss:/<yourBucketName>/flink_dlf_hive/db。在DataLake集群中，查看已经创建的元数据库。通过SSH方式登录DataLake集群，详情请参见登录集群。执行以下命令，切换为hadoop用户并...

知识元数据库

新品推荐