SHOW CATALOGS
Catalog记录了数据库、表等元数据。本文介绍如何通过DDL语句展示流引擎中所有的Catalog。语法 SHOW CATALOGS 说明 流引擎中默认存在两个Catalog：lindorm_stream，流引擎目录。您可以在此目录中创建数据库、流表和持续查询等。lindorm_...
管理访问控制权限
数据管理DMS提供了全方位细粒度的数据安全管理功能，支持对实例、数据库、表、数据列、数据行、元数据等进行访问控制权限管理。本文对DMS提供的访问控制权限进行介绍。权限类别说明 权限分类 权限类别 权限说明 实例是否开启安全托管 操作...
Hive采集字段
基本信息 通过对Hive的对象信息进行盘点，采集的字段重点举例为：Hive版本 Hive db名称 Hive db大小 表个数 分区表个数 外部表个数 事物表个数 视图个数 函数个数 Top对象信息 通过对Hive DB进行元数据统计获取Top对象信息，采集的字段重点...
EMR-4.6.x版本说明
支持Hive元数据和作业运行信息输出至DataWorks。Metastore 新增Hive Statistics功能。HCatalog支持Data Lake Formation。优化STSToken的获取方式。HDFS 升级jQuery至3.5.1版本。升级至3.2.1版本。YARN 升级至3.2.1版本。升级jQuery至3.5.1...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
EMR Hive功能增强
EMR-3.23.0之前版本 Hive 2.x 外部统一数据库保存至Hive Meta，所有使用外部Hive Meta的集群共享同一份Meta信息。EMR-4.x系列 EMR版本 组件版本 功能增强 EMR-4.10.0 Hive 3.1.2 修复了Hue查询历史记录时，中文乱码的问题。修复了Hue与...
常见问题
目前，ClickHouse不支持查询使用DLF元数据的Hive表，只支持使用MySQL或RDS作为元数据的Hive表。因此，不建议直接使用ClickHouse查询Hive表。根据具体需求，建议如下：如果需要将Hive数据导入到ClickHouse，建议使用Apache Spark或Apache ...
EMR元数据迁移公告
阿里云EMR团队发现部分用户在EMR集群上，仍然使用本地MySQL和统一meta数据库（旧版功能）作为生产环境的Hive元数据存储。我们强烈建议您尽快迁移到数据湖构建DLF中，原因如下：本地MySQL是单机部署，无法保证服务高可用，容易造成服务中断...
MaxCompute湖仓一体概述
MaxCompute提供湖仓一体方案，该方案可以打破数据湖与数据仓库割裂的体系，并将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力构建数据湖和数据仓库相融合的数据管理平台。本文介绍如何通过MaxCompute和异构数据...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
创建集群模板
UseLocalMetaDb Boolean 否 false 是否使用集群内置MySQL作为Hive元数据库。取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。集群内置MySQL单节点，无法保证高可靠。UserDefinedEmrEcsRole String 否 ...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤一：创建数据湖的元数据库 登录 数据湖管理控制台，在页面上方选择地域，在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...
Spark
Spark SQL应用使用SHOW TABLES或SHOW DATABASE命令查询库表时，为什么显示的库表与实际库表不符？Spark应用为什么提示错误日志oss object 403？如何定位Spark应用运行速度变慢的原因？如何定期删除Spark应用日志信息？如何查看Spark应用...
管理元数据
数据对象 元数据表中所要描述的主题对象，包括 物理表、逻辑表、脚本任务、逻辑表任务。负责人 数据对象的负责人。指标数 元数据中包含的指标个数，也就是该元数据中的字段个数。例如表储存相关的元数据可能包含表大小、分区数、负责人等...
管理元数据
数据对象 元数据表中所要描述的主题对象，包括 物理表、逻辑表、脚本任务、逻辑表任务。负责人 数据对象的负责人。指标数 元数据中包含的指标个数，也就是该元数据中的字段个数。例如表储存相关的元数据可能包含表大小、分区数、负责人等...
新建Paimon数据源
元数据库方式 数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...
功能特性
可以将S3、HDFS等常见远端存储中的文件数据，映射成云数据库 SelectDB 版中的表，从而对这些文件数据进行分析 文件分析 数据湖分析 Hive数据源 通过连接Hive Metastore，云数据库 SelectDB 版可以自动获取Hive的库表信息，进行数据查询、...
创建Impala数据源
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
创建TDH Inceptor数据源
数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本：数据库类型为 MySQL，需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL：填写对应元数据库的链接...
创建集群
UseLocalMetaDb Boolean 否 true 是否使用集群内置MySQL作为Hive元数据库。取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。集群内置MySQL单节点，无法保证高可靠。MasterPwd String 否 pwd Master节点root密码。需要...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested ...需要参考如下方案排查并解锁：Oracle数据库表被锁，导致管道任务取数据报错ORA-01013 适用于 Dataphin
Hive数据按行过滤
test-row-filter Hive Database 添加Hive中的数据库。default Hive Table 添加表。test_row_filter Select User 选择配置按行过滤的用户。testc Access Types 选择授予的权限。select Row Level Filter 填写过滤的函数。id>=10 单击 Add。...
使用StarRocks作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
新建ArgoDB数据源
数据库类型 根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...
BatchCreateTables-批量新增元数据表
均采用 JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否 如果相同名字的表已经存在，是否忽略异常 true TableInputs array 否 ...
使用SQL查询时序数据
创建时序表并建立SQL映射关系后，您可以通过控制台、SDK等不同方式使用SQL查询时序数据。时序表的SQL映射关系 根据每个时间线每个时刻对应一个值或者多个值，时序模型分为“单值模型”和“多值模型”。对于同一个时序表，您可以建立三种SQL...
使用MaxCompute作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
Hive访问Iceberg数据
使用DLF统一元数据作为Hive元数据。该场景下，Hive只支持以外部表的方式访问Iceberg表。EMR-3.38.x版本和EMR-5.3.x~EMR-5.4.x版本（包含），需要设置Hive接入Iceberg使用DLF统一元数据的必要配置，其余版本已默认添加。SET iceberg.catalog...
创建Hive数据源
背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化HQL或SQL语句为MapReduce、Tez等程序。Hive处理的数据存储在HDFS中。Hive分析数据底层的实现是MapReduce、Tez等...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
MaxCompute湖仓一体
MaxCompute湖仓一体方案通过数据仓库MaxCompute和数据湖共同实现，将数据湖的灵活性、生态丰富能力与数据仓库的企业级部署能力进行融合，助力于构建数据湖和数据仓库相融合的数据管理平台。本文为您介绍如何通过Dataphin管理MaxCompute和...
Hive数据脱敏
test_mask Hive Database 添加Hive中的数据库。testdb Hive Table 添加表。testtb1 Hive Column 可添加列名。a Select User 指定添加此策略的用户。test Access Types 选择授予的权限。select Select Masking Option 选择脱敏方式。Partial...
通过Hive访问云数据库HBase
云数据库HBase支持通过Hive读写数据，本文介绍如何配置Hive并读写云数据库HBase的数据。前提条件 已将Hive所在的Hadoop集群所有的节点的IP加入到云数据库HBase实例的白名单中，具体操作请参见 设置白名单。已获取云数据库HBase的zookeeper...
Flink Table Store与Hive集成
通过Hive Catalog同步元数据到Hive MetaStore后，可以在Hive中直接查询Hive Catalog中的表。如果创建集群时，元数据 选择为 DLF统一元数据，则其它服务也可以通过DLF Catalog同步元数据到DLF，并在Hive中查询。下面以Spark写入Hive Catalog...
Dataphin使用Impala数据源连接测试失败报错：“测试...
问题描述 Dataphin使用Impala数据源连接测试失败报错：“测试连接失败，请确保填写连接信息无误，错误信息：...确认元数据库JDBC URL中配置的数据库端口是否是开通的，如果端口不通，需要对元数据库配置白名单开放端口访问。适用于 Dataphin
元数据管理常见问题
问题分析：由于删除OSS上的表数据之前，没有删除数据表对应的元数据，导致表的Schema还存在，但实际的数据已经不存在或已经移动到别的路径。解决方法：可以先修改表的Location为一个存在的路径，然后再删除表。alter table test set ...
GetDatabase-获取元数据库详情
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
基于DLF、RDS或Flink、OSS支持Delta Lake或Hudi存储...
如果您有多个数据源、数据库、数据表，您可以在左侧手动添加限定条件来进行过滤，或者在右侧页面的搜索框中通过关键词搜索出对应的库表进行添加或删除的操作。入湖配置。OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。选择元数据...
EMR-3.34.x版本说明
修复基于Parquet格式的数据转换成Delta表，且创建表元数据时报错的问题。修复当没有待compact的文件时，执行Optimize命令异常的问题。支持Merge语法使用子查询作为source命令。使用Presto查询Delta表时，引入缓存机制，以提升查询效率。...
- 产品推荐
- 这些文档可能帮助您