元数据管理
输入元数据库的位置。创建元数据表 创建完成元数据库后，选择 创建元数据表。配置元数据表参数。输入数据表的名称。选择所属数据目录。选择数据目录下的数据库。（选填）输入元数据表描述。选择元数据表中数据存储的位置。选择元数据表的...
API概览
UpdateFunction 更新元数据库的函数 根据名称，更新数据湖元数据库的用户自定义函数信息。ListFunctionNames 获取元数据库的函数名称列表 分页查询，获取元数据库的函数名称列表。ListFunctions 获取元数据库的函数列表 批量获取数据湖...
元数据仓库共享模型概述
提高系统稳定性：如果您直接连接元数据库查询或同步数据，可能会对Dataphin系统的稳定性产生影响，从而影响功能使用。提升输出稳定性：Dataphin的系统元数据库表结构可能会跟随功能升级产生变化，包括表新增下线、字段新增下线等。直接使用...
数据湖构建的审计事件
CreateFunction 新增元数据库的函数。CreateLifecycleRule 创建生命周期规则。CreateLock 创建元数据锁。CreateMetastoreMigration 创建元数据迁移。CreatePartition 新增元数据表的分区。CreateSavedQuery 创建保存查询。...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库（Dataphin中的项目绑定MaxCompute的项目），不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
UpdateDatabase-更新元数据库信息
更新数据湖元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
集群高可用
目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制Utility节点的元数据库的数据。如果Utility节点宕机或者Utility节点上的MariaDB Master出现...
使用数据探索查询Iceberg表
准备工作 已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了Iceberg元数据表。操作步骤 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。在SQL输入框中，输入查询语句。针对Iceberg表，需要在指定的...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
EMR元数据迁移DLF最佳实践
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置...
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
DeleteDatabase-删除元数据库
Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade：true：删除 db 下的表，false：不删除 db 下的表，如果 db 还存在表，那么删除失败 返回...
Hive元数据基本操作
在 表管理 页面的中间区域，单击已创建的元数据库。单击右上角的 新建表。在 新建表 对话框中，配置各项参数。配置项 操作 表名 表名称。字段分隔符 从 字段分隔符 中选择分隔符或者自定义。外部表 默认不选中。需要创建外部表时，执行以下...
MySQL整库实时同步至OSS数据湖
元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test...
CreateDatabase-新增元数据库
CatalogId string 否 默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 元数据库的详细信息 返回参数 名称 类型 描述 示例值 object 返回参数 Code string 状态码 OK Message string 提示相关错误信息.RequestId string 请求 ID...
概述
参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...
EMR元数据迁移到数据湖构建（DLF）
在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启 自动配置更新 并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...
DeleteFunction-删除元数据库的函数
根据名称删除数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
CreateFunction-新增元数据库的函数
新增数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
UpdateFunction-更新元数据库的函数
根据名称，更新数据湖元数据库的用户自定义函数信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM...
元数据导出
RunOptions 运行时参数 参数名称 是否必选 参数说明 schema 必选 hive元数据库的名称。说明 MySQL connectionUrl中的库名要与schema保持一致，修改时要同时修改。batchSize 必选 批量调用 DLF SDK 的批次大小，最大不能超过 500，太大可能...
创建TDH Inceptor数据源
JDBC URL：填写对应元数据库的链接地址。MySQL：格式为 jdbc:mysql:/host:port/dbname。PostgreSQL：格式为 jdbc:postgresql:/host:port/dbname。Inceptor：格式为：jdbc:hive2:/hsot:port/dbname。认证方式：数据库类型为Inceptor需填写...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
新建ArgoDB数据源
JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还需上传Keytab File及配置Principal。用户名、密码 登录元数据库的用户名和密码。...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
创建TDH Inceptor计算源
JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/{连接地址}:{端口}/{数据库名称}。用户名、密码 填写登录元数据库的用户名和密码。单击 测试连接，测试连接的计算源。测试连接成功后，单击 提交。后续步骤 完成创建TDH ...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
创建Impala数据源
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
新建ArgoDB计算源
JDBC URL 填写对应元数据库的连接地址，格式为 jdbc:postgresql:/<host>:<port>/<database name>。用户名、密码 填写登录元数据库的用户名和密码。说明 为保证任务正常执行，请确保填写的用户有所需数据权限。单击 测试连接。连接测试通过...
RenamePartition-更新元数据表分区名
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInput PartitionInput 否 更新后的分区信息，和 CreatePartition 相同 ...
BatchCreateTables-批量新增元数据表
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否 如果相同名字的表已经存在，是否忽略异常 true TableInputs array 否 ...
创建Impala数据源
JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=propertyValue1][&propertyName2][=propertyValue2].PostgreSQL：格式为 jdbc:postgresql:/host:port/dbname。用户名...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
RenameTable-更新元数据表的名称
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否 元数据表对象，注意仅需填写 TableName 即可 TableName string 否 元数据表...
UpdateTable-更新元数据表信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test SkipArchive boolean 否 默认情况下，更新元数据表会创建一个新的归档版本，但如果 skipArchive 设置 true 则...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：选择 Hudi。分区信息 设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤一：创建数据湖的元数据库 登录 数据湖管理控制台，在页面上方选择地域，在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...
新建Paimon数据源
JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。HMS方式 认证方式：支持 无认证、LDAP、Kerberos 方式。说明 使用Kerberos方式，需在 集群配置 中开启...
- 产品推荐
- 这些文档可能帮助您