元数据库是什么-元数据库是什么文档介绍内容-阿里云

元数据管理

创建元数据库 登录数据湖管理控制台，选择元数据目录下的元数据管理。单击新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表创建完成元数据库后，...

数据湖元数据管理

数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件已在数据湖构建...

数据库代理常见问题

什么是数据库代理？数据库代理是位于数据库服务端和应用服务端之间的网络代理服务，用于转发应用服务端访问数据库时的所有请求，提供自动读写分离、事务拆分、连接池、连接保持等高级功能，具有高可用、高性能、可运维、简单易用等特点。...

EMR元数据迁移DLF最佳实践

本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...

创建Hadoop计算源

元数据库获取方式参数描述数据库类型根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...

集群高可用

阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...

共享集群（OSS数据湖加速）

创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...

元数据导出

前提条件已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...

元数据迁移

元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。

使用流程

若您初次使用数据库备份DBS，请先了解 什么是数据库备份DBS。如需了解DBS是否支持备份恢复您的数据库，以及各类数据库备份恢复的具体粒度等，请参见支持的数据库引擎与功能或各类数据库备份配置指导文档。备份恢复方案您可以通过如下两...

使用数据探索查询Iceberg表

准备工作已开通DLF，并创建了 元数据库。通过元数据发现/入湖任务管理或者API等方式创建了Iceberg元数据表。操作步骤登录数据湖构建控制台，在左侧菜单中选择数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...

EMR元数据迁移到数据湖构建（DLF）

在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启自动配置更新并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...

Hadoop集群迁移至DataLake集群

自建RDS 使用自建的阿里云RDS作为元数据库。选择该方式时，需要配置已有RDS相关的参数，详情请参见配置自建RDS。内置MySQL 元数据存储在集群本地环境的MySQL数据库中。重要该方式仅用于测试场景，请勿用于生产环境。（可选）软件自定义...

LockObj

名称类型描述示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...

实例元数据

ECS实例元数据是指在ECS实例内部通过访问元数据服务（Metadata Service）获取的实例属性等信息，如实例ID、VPC信息、网卡信息。通过元数据服务，您无需登录控制台或调用API，在实例内部即可访问实例信息，可以更便捷、安全地配置或管理正在...

概述

参见元数据管理章节，定义数据湖的元数据库和表。控制台概览控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...

UpdateTablePartitionColumnStatisticsRequest

类型描述示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...

查询授权

本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型：包括元数据表、元数据库、元数据列三种类型。资源名称：指定具体的资源名称，如数据库的库名。数据权限：授权的权限名称，关于权限描述可参考权限配置。

Partition

名称类型描述示例值 object Partition CreateTime integer 创建时间，Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间 1608730999 LastAnalyzedTime integer ...

PartitionInput

名称类型描述示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间，Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间，Unix 时间戳秒...

快速入门

数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式详细操作请参见元数据管理。

Function

CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ClassName string 包含了函数实现的 Java 类名 com.xxx.xxxxFunction CreateTime integer 创建时间，Unix 时间戳秒数 1608863962 DatabaseName string 元数据库名称 ...

使用星环TDH作为元仓计算引擎进行元仓初始化

以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...

新建Paimon数据源

元数据库方式数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...

TableInput

名称类型描述示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...

通过DMS登录RDS MySQL

DMS（数据管理服务）支持数据管理、用户...如果实例存在，但实例展开后未找到目标数据库，可能是元数据未同步造成目录无法显示数据库。请将鼠标悬浮在目标数据库所属实例上，单击实例名右侧的刷新按钮，即可刷新数据库列表，显示目标数据库。

DeleteTableVersion-删除元数据表指定版本

请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...

Table

名称类型描述示例值 object Table Cascade boolean 是否允许级联删除 false CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test ...

DLF数据访问权限控制

选择元数据库级权限时：您可以勾选需要申请的元数据名称，并在 元数据库权限列表勾选需要申请的权限点。配置申请信息。参数描述使用者选择需要为谁申请权限。当前登录账号：表示为当前登录DataWorks工作空间的阿里云账号申请目标表...

DeleteTableColumnStatistics-删除元数据表统计信息

请求语法 DELETE/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

存储概览

存储概览开通打开数据湖构建控制台，点击左侧湖管理-存储概览菜单，点击立即启用，开启存储概览功能重要开通湖资产，元数据库的OSS地址将写入文件的统计信息到OSS中，将产生少量存储成本。首日开通无统计数据，需要等待第二天数据产出后...

基于DLF数据入湖的MaxCompute湖仓一体实践

步骤一：创建数据湖的元数据库 登录数据湖管理控制台，在页面上方选择地域，在元数据>元数据管理页面创建元数据库。具体操作请参见创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...

DeletePartitionColumnStatistics-删除元数据表分区...

请求语法 DELETE/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称...

BatchDeleteTableVersions-批量删除元数据表版本

Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20200715162543389 VersionIds array 否版本号列表 integer 否版本号 1 返回参数名称类型描述示例值 object 返回结果...

为Spark集群设置元数据

背景信息因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...

通过DMS登录RDS数据库

说明如果实例存在，但实例展开后未找到目标数据库，可能是元数据未同步造成目录无法显示数据库。请将鼠标悬浮在目标数据库所属实例上，单击实例名右侧的刷新按钮，即可刷新数据库列表，显示目标数据库。说明除了通过RDS控制台跳转到DMS...

GetTableColumnStatistics-获取元数据表字段的统计...

请求语法 GET/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test...

GetPartitionColumnStatistics-获取元数据分区字段的...

GET/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

批量获取元数据分区统计信息

默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20201223 PartitionNames ListString 否元数据表的分区名称列表 ColumnNames ListString 否元数据表的字段...

入湖基础操作

关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...

元数据库是什么

新品推荐