元数据管理
创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后，...
API概览
本产品（数据湖构建/2020-07-10）的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
元数据仓库共享模型概述
提高系统稳定性：如果您直接连接元数据库查询或同步数据，可能会对Dataphin系统的稳定性产生影响，从而影响功能使用。提升输出稳定性：Dataphin的系统元数据库表结构可能会跟随功能升级产生变化，包括表新增下线、字段新增下线等。直接使用...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库（Dataphin中的项目绑定MaxCompute的项目），不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
使用星环TDH作为元仓计算引擎进行元仓初始化
以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...
集群高可用
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
Dataphin中SQL脚本任务在元数据库存放位置
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
EMR+DLF数据湖解决方案
在新建元数据库对话框，配置元数据库参数。单击确定，完成元数据库创建。新建大数据集群，已有数据存在在OSS中，但没有元数据信息。可以使用 元数据抽取 来识别OSS上数据的元数据信息，并存储在DLF中。步骤三：初始化数据 初始化数据一般...
使用数据探索查询Iceberg表
准备工作 已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了Iceberg元数据表。操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...
LockObj
名称 类型 描述 示例值 object LockObj CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 元数据库名称 database_test PartitionName string 分区名称，非必填 dt TableName string 元数据表名称 ...
元数据迁移
元数据迁移提供可视化的元数据迁移能力，可以帮...验证元数据同步结果 在元数据管理-元数据库中，查询期望同步的数据库信息，可以查询到相应的数据库信息。在元数据管理-元数据表中，查询期望同步的数据表信息，可以查询到相应的数据表信息。
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
Quick BI中元数据库中记录报表使用分析的数据
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中，每天凌晨4:30更新数据。适用于 Quick BI
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
DeleteDatabase-删除元数据库
Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade：true：删除 db 下的表，false：不删除 db 下的表，如果 db 还存在表，那么删除失败 返回...
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
使用Hadoop作为元仓计算引擎进行元仓初始化
详情如下：元数据库方式获取 参数 描述 数据库类型 选择Hive的元数据库类型。Dataphin支持选择 MySQL。支持MySQL数据库的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库JDBC的连接地址。例如：MySQL数据...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
UpdateTablePartitionColumnStatisticsRequest
类型 描述 示例值 object UpdateTableColumnStatistics CatalogId string 数据库分类命名空间，默认填写主账号 Uid 1344371 ColumnStatisticsList array 字段统计信息列表 ColumnStatistics 字段统计 DatabaseName string 元数据库名称 ...
CreateDatabase-新增元数据库
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
概述
参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...
Partition
名称 类型 描述 示例值 object Partition CreateTime integer 创建时间，Unix 时间戳秒数 1608730999 DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间 1608730999 LastAnalyzedTime integer ...
DeleteFunction-删除元数据库的函数
根据名称删除数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
查询授权
本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型：包括元数据表、元数据库、元数据列三种类型。资源名称：指定具体的资源名称，如数据库的库名。数据权限：授权的权限名称，关于权限描述可参考 权限配置。
PartitionInput
名称 类型 描述 示例值 object Partition DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问分区的时间，Unix 时间戳秒数 1608730999 LastAnalyzedTime integer 上一次执行统计运算的时间，Unix 时间戳秒...
CreateFunction-新增元数据库的函数
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...
UpdateFunction-更新元数据库的函数
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...
EMR元数据迁移到数据湖构建（DLF）
在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启 自动配置更新 并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...
元数据导出
前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...
创建TDH Inceptor数据源
数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
新建ArgoDB数据源
数据库类型 根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...
- 产品推荐
- 这些文档可能帮助您