创建TDH Inceptor数据源
数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...
新建ArgoDB数据源
数据库类型 根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...
创建Impala数据源
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
创建Impala数据源
参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
Hive统一元数据
使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群 支持以下两种...
API概览
库 库 CreateDatabase 新增元数据库 在数据湖元数据中创建一个新的元数据库。DeleteDatabase 删除元数据库 根据名称删除数据湖元数据库。UpdateDatabase 更新元数据库信息 更新数据湖元数据库的详细信息。GetDatabase 获取元数据库详情 ...
创建Hive数据源
参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。连接地址格式为 ...
使用星环TDH作为元仓计算引擎进行元仓初始化
以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目的写入表及...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
元数据仓库共享模型概述
应用场景 降低开发成本：在Dataphin有10+以上的元数据库，比较复杂。若您有分析或二次开发Dataphin元数据的需求，您可使用共享模型进行分析或二次开发，降低使用成本。提高系统稳定性：如果您直接连接元数据库查询或同步数据，可能会对...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库（Dataphin中的项目绑定MaxCompute的项目），不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
集群高可用
元数据库 Cloudera Manager、Hive和Hue等组件都需要使用数据库存储他们的元数据信息，目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
EMR元数据迁移DLF最佳实践
查看运行记录和日志 单击右侧操作“运行记录”，可以查看运行的详情信息 单击查看日志，可以查看运行中的日志信息，如下 确认元数据迁移到DLF 在元数据管理-元数据库/元数据表中，可以查询到期望同步的元数据库表信息。如下 EMR集群 切换...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
创建TDH Inceptor计算源
前提条件 若以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户，需具备dataphin_meta项目...
使用Hadoop作为元仓计算引擎进行元仓初始化
详情如下：元数据库方式获取 参数 描述 数据库类型 选择Hive的元数据库类型。Dataphin支持选择 MySQL。支持MySQL数据库的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库JDBC的连接地址。例如：MySQL数据...
EMR元数据迁移到数据湖构建（DLF）
在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启 自动配置更新 并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、...针对Iceberg表，需要在指定的元数据库和表之前，加上dlf_catalog.前缀。例如：SELECT*FROM dlf_catalog.database_name.iceberg_table limit 100;
元数据导出
前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR集群上实现导出。所有元数据的location路径建议都在oss上，如果location的路径为...
Hive元数据基本操作
在 表管理 页面的中间区域，单击已创建的元数据库。单击右上角的 新建表。在 新建表 对话框中，配置各项参数。配置项 操作 表名 表名称。字段分隔符 从 字段分隔符 中选择分隔符或者自定义。外部表 默认不选中。需要创建外部表时，执行以下...
概述
参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
为Spark集群设置元数据
背景信息 因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...
DLF数据探索快速入门-淘宝用户行为分析
DLF产品（数据湖构建）提供数据发现和数据探索的功能，本文介绍如何通过DLF完成对淘宝用户行为样例的分析。操作流程 服务开通：开通阿里云账号及DLF和OSS相关服务。样例数据集下载和导入：下载样例数据（csv文件），并上传至OSS。DLF数据...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
存储概览
存储概览主要包括存储，元数据对象的基本信息，还包括存储趋势、存储归档分布，表格式分布，小文件分布等信息，可以方便您快速了解当前存储资源使用情况及问题，并进行优化。前提条件 已经开通OSS产品。已经在DLF中完成 Location托管。存储...
从统一元数据库迁出到用户自建的RDS实例
在一台Master节点上，将 hive-site.xml 中的元数据库链接地址、用户名和密码换成RDS的信息，然后根据您集群的Hive版本初始化Schema。如果Hive是2.3.x版本时，请执行以下命令进行初始化。使用ssh方式登录集群Master节点，详情请参见 登录...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
元数据库名称前缀：元数据库是根据来源库名自动建立，但是可以手工指定元数据库的名称前缀。指定的前缀，将会应用到所有库中。数据湖格式：选择 Hudi。分区信息 设置数据入湖存储时的分区，后续入湖同步写入数据时，根据来源端数据的写入...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤一：创建数据湖的元数据库 登录 数据湖管理控制台，在页面上方选择地域，在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...
MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践
您可以登录 DLF控制台，在左侧导航栏 元数据管理 下拉列表下的 元数据库 页面获取。practice_db DLF RoleARN 可选。RAM角色的ARN信息。采用自定义授权方式时，需要配置该参数。您可以登录 RAM访问控制台，在左侧导航栏 身份管理 下拉列表下...
DataFlow集群通过Hive Catalog连接数据湖元数据DLF
本示例中创建的元数据库名称为flink_dlf_hive，选择路径为 oss:/<yourBucketName>/flink_dlf_hive/db。在DataLake集群中，查看已经创建的元数据库。通过SSH方式登录DataLake集群，详情请参见 登录集群。执行以下命令，切换为hadoop用户并...
元数据库和数据字典
PolarDB-X 的元数据库为information_schema库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图 兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS...
元数据库数据字典
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库，并和MySQL的元数据库有一定的兼容性，但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
- 产品推荐
- 这些文档可能帮助您