数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库,首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
PolarDB-X 的元数据库为information_schema库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图 兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS...
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库,并和MySQL的元数据库有一定的兼容性,但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表,示例如下:select*from TABLES where table_schema='test' ...
CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称,更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade:true:删除 db 下的表,false:不删除 db 下的表,如果 db 还存在表,那么删除失败 返回...
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中,每天凌晨4:30更新数据。适用于 Quick BI
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库(Dataphin中的项目绑定MaxCompute的项目),不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
获取数据湖元数据库列表,分页查询,可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,...
根据名称删除数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...
获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action ...
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...
批量获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 ...
获取数据湖元数据库分区详情列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 ...
根据函数名称,获取数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...
默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionNamePattern string 否 函数名匹配的正则表达式.*NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' '' PageSize integer ...
为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS,详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本;系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
批量获取数据湖元数据库的用户自定义函数列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
概述 本文介绍现场运维同学如何通过元数据库查询Dataphin环境中任务的节点ID、作业类型、任务节点名、任务状态、调度周期、调度时间等详细信息;查询任务上下游节点任务的ID、名称等信息。详细信息 具体查询任务节点ID、作业类型、任务节点...
概述 本文主要介绍数据管理DMS中,为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时,DMS会加载该实例当前的数据库、表等元数据的结构信息。例如,数据库的名称列表、表的名称列表、当前表的结构字段、...
元数据库名称前缀:元数据库是根据来源库名自动建立,但是可以手工指定元数据库的名称前缀。指定的前缀,将会应用到所有库中。比如,定义的前缀为“abc_”,那么来源库名在数据湖中的元数据库就会自动加上此前缀,如"abc_my_db",“abc_test...
元数据库名称前缀:元数据库是根据来源库名自动建立,但是可以手工指定元数据库的名称前缀。指定的前缀,将会应用到所有库中。数据湖格式:选择 Hudi。分区信息 设置数据入湖存储时的分区,后续入湖同步写入数据时,根据来源端数据的写入...
问题描述 无法为Bucket开启元数据管理功能。问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能,但是请求的Bucket已...关闭元数据索引库是异步的过程,您需要等待Bucket关闭元数据索引库后,重新为该Bucket开启元数据管理功能。
EMR-2.4.0之前版本,所有集群采用的是集群本地的MySQL数据库作为Hive元数据库;EMR-2.4.0及后续版本,E-MapReduce(简称EMR)支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接,所以集群必须要有公网IP,同时请...
本产品(数据湖构建/2020-07-10)的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
数据湖构建已与操作审计服务集成,您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称,校验长度 128,不支持...
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如 HDFS 路径/hdfs/hivedb/...
创建元数据库 登录 数据湖管理控制台,选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。(选填)输入元数据库描述。输入元数据库的位置。创建元数据表 创建完成元数据库后,...
数据湖元数据是服务化高可用并且可扩展的元数据库,您无需额外购买独立的元数据库,就可以实现多个引擎计算,例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
什么是数据库代理?数据库代理是位于数据库服务端和应用服务端之间的网络代理服务,用于转发应用服务端访问数据库时的所有请求,提供自动读写分离、事务拆分、连接池、连接保持等高级功能,具有高可用、高性能、可运维、简单易用等特点。...
本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。本文主要介绍如何将Hive Metasstore存储在MySQL/RDS中的元数据迁移到DLF中,并介绍如何在EMR集群中配置...
什么是数据库代理?数据库代理是位于数据库服务端和应用服务端之间的网络代理服务,用于转发应用服务端访问数据库时的所有请求,提供读写分离、事务拆分等高级功能,具有高可用、高性能、可运维、简单易用等特点。更多信息,请参见 什么是...
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用,此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份,能最大限度保证服务的可用性和数据的可恢复性。...
创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据,该表位于Hologres中的public Schema,并且检验是否存在该外部表,若存在,则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...