为了保证更稳定的大规模Hive元数据服务,您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS,详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本;系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
概述 本文描述Quick BI中元数据库中如何记录报表使用分析的数据。详细信息 报表使用分析的数据记录在表yunbi_report_view_day_stat中,每天凌晨4:30更新数据。适用于 Quick BI
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库,首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
提高系统稳定性:如果您直接连接元数据库查询或同步数据,可能会对Dataphin系统的稳定性产生影响,从而影响功能使用。提升输出稳定性:Dataphin的系统元数据库表结构可能会跟随功能升级产生变化,包括表新增下线、字段新增下线等。直接使用...
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库,兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表,示例如下:select*from TABLES where table_schema='test' ...
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库,并和MySQL的元数据库有一定的兼容性,但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图 兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS 直方图信息为 PolarDB-X 格式 ENGINES 兼容 KEYWORDS 兼容 ...
概述 Dataphin中SQL脚本任务在元数据库存放位置。详细信息 SQL脚本存放在dataphin.od_node中。适用于 Dataphin
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库(Dataphin中的项目绑定MaxCompute的项目),不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
概述 为了支持更灵活的数据分析及二次开发,需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见 元数据仓库共享模型概述。版本变动详情 版本 变动内容 v3.14 新增告警...
概述 为了支持更灵活的数据分析及二次开发,需要使用Dataphin的元数据信息。Dataphin以元数据共享模型的方式将系统元数据对外开放。元数据共享模型的使用方式请参见 元数据仓库共享模型概述。版本变动详情 版本 变动内容 v3.14 新增告警...
CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称,更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
元数据共享模型是一系列元数据相关的物理表,基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成,存储在Dataphin元仓租户下的元仓项目中,产出时效为T+1。若您需访问元仓共享模型,可以通过集成任务将元仓中所需的元仓共享模型...
Uid 1344371 Name string 否 元数据库名称 database_test Cascade boolean 否 是否级联删除数据 false Async boolean 否 是否异步执行 true Cascade:true:删除 db 下的表,false:不删除 db 下的表,如果 db 还存在表,那么删除失败 返回...
在数据湖元数据中创建一个新的元数据库。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的...
概述 本文介绍现场运维同学如何通过元数据库查询Dataphin环境中任务的节点ID、作业类型、任务节点名、任务状态、调度周期、调度时间等详细信息;查询任务上下游节点任务的ID、名称等信息。详细信息 具体查询任务节点ID、作业类型、任务节点...
获取数据湖元数据库列表,分页查询,可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,...
根据名称删除数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句...
获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 Action ...
JSON 格式 CatalogId string 否 数据库分类命名空间,默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...
Code 错误码说明 NoSuchObject:对应的元数据库/元数据表不存在 InternalError:其他类型错误,请参考 Message 提示 示例 正常返回示例 JSON 格式 {"Code":"OK","Message":".","PartitionErrors":[{"ErrorDetail":{"Code":"401","Message":...
获取数据湖元数据库分区详情列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略语句的 ...
根据函数名称,获取数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM...
默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionNamePattern string 否 函数名匹配的正则表达式.*NextPageToken string 否 翻页 token,从返回结果返回,无则传空字符串或'' '' PageSize integer ...
批量获取数据湖元数据库的用户自定义函数列表。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息,可以在RAM权限策略...
查看运行记录和日志 单击右侧操作“运行记录”,可以查看运行的详情信息 单击查看日志,可以查看运行中的日志信息,如下 确认元数据迁移到DLF 在元数据管理-元数据库/元数据表中,可以查询到期望同步的元数据库表信息。如下 EMR集群 切换...
支持统一元数据之前,元数据都是在集群内部的MySQL数据库,元数据会随着集群的释放而丢失,特别是EMR提供了灵活按量模式,集群可以按需创建用完就释放。如果您需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一元数据...
您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台,选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。(选填)输入元数据库描述。输入元数据库的...
以TDH Inceptor作为元仓,或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时,需要具备以下条件:已在TDH Inceptor中创建dataphin_meta的项目。元仓初始化中TDH Inceptor配置的用户,需具备dataphin_meta项目的写入表及...
概述 本文主要介绍数据管理DMS中,为什么需要重新加载库表结构的元数据。详细信息 通过数据管理DMS登录某个数据库实例时,DMS会加载该实例当前的数据库、表等元数据的结构信息。例如,数据库的名称列表、表的名称列表、当前表的结构字段、...
本产品(数据湖构建/2020-07-10)的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
数据湖构建已与操作审计服务集成,您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中,满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称,校验长度 128,不支持...
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间,Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径,例如 HDFS 路径/hdfs/hivedb/...
数据库名称>:步骤一:元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一:元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一:元数据库准备 中账号的...
数据库类型:根据集群中使用的元数据库类型,选择数据库类型。支持选择 MySQL、PostgreSQL、Inceptor。版本:数据库类型为 MySQL,需选择对应版本。支持 MySQL5.1.43、MySQL5.6/5.7 和 MySQL8.0 版本。JDBC URL:填写对应元数据库的链接...