元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在Oracle中对绑定在Dataphin数据源中的账号授予相关表的查询权限。...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
功能介绍
是指对数据库元数据进行的拷贝。Serverless模式是存储分离架构，数据会存储到OSS中，不需要进行二次备份。实例元数据会被压缩后存储到相同OSS目录中，在基础备份期间不会阻塞您的读写操作。日志备份（也称为增量备份）是指将实例产生的日志...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
ListDatabases-获取元数据库列表
获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
产品架构
元数据管理层 基于处理引擎提供的功能，通过对场景的深入理解和梳理，智能媒体管理封装了场景的元数据设计，对外提供场景的元数据访问接口，简化场景应用的设计难度、无需关注元数据索引数据库的运维工作，目前支持的元数据索引如下：人脸...
GetDatabase-获取元数据库详情
操作 访问级别 资源类型 条件关键字 关联操作 dlf:GetDatabase READ 全部资源*无 无 请求语法 GET/api/metastore/catalogs/databases 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid ...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
集群高可用
元数据库 Cloudera Manager、Hive和Hue等组件都需要使用数据库存储他们的元数据信息，目前元数据库部署在Utility节点和Master-1节点上，采用主备的架构，Utility节点上的元数据库作为Master，Master-1节点上的元数据库作为Slave去复制...
UpdateDatabase-更新元数据库信息
CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseInput DatabaseInput 否 新的元数据库 Name string 否 修改前的元数据库名称，更新前后元数据库相同则仅更新其他 Meta database_test 返回参数 名称 类型 ...
结构设计
数据管理DMS提供的结构设计功能，可以实现对目标库、表进行符合研发规范的表结构设计。您可按需自定义不同业务线的研发流程，保障多套环境（例如开发环境、测试环境、...相关文档 逻辑表结构设计 结构设计元数据不一致的解决办法 创建安全规则
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
DeleteDatabase-删除元数据库
操作 访问级别 资源类型 条件关键字 关联操作 dlf:DeleteDatabase WRITE 全部资源*无 无 请求语法 DELETE/api/metastore/catalogs/databases 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主账号...
独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
数据库管理
数据库（Database）是表、索引、视图、存储过程、操作符的集合。您可以在一个 AnalyticDB PostgreSQL 实例中创建多个数据库，但是客户端程序一次只能连接上并且访问一个数据库，无法跨数据库进行查询。创建数据库 使用 CREATE DATABASE ...
元数据采集的数据源有白名单访问控制时需要配置的白...
为保证您能正常使用数据地图的元数据采集和类目管理功能，您需要提前配置好白名单，将使用的DataWorks所在地域的IP网段添加至目标项目或数据库中，并为所使用的账号配置类目管理权限。本文为您介绍如何配置白名单及类目管理权限。背景信息 ...
DLF统一元数据
说明 如果需要迁移数据库的元数据信息，请参见 EMR元数据迁移公告。进入Hive服务页面。登录EMR on ECS控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。在 集群管理 页面，单击目标集群所在行的 集群服务。单击Hive服务区域的 配置...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤四：查看数据湖的元数据 在 数据湖管理控制台 单击 元数据>元数据管理，进入目标数据库，在 表列表 页签查看数据表信息。重要 如果通过元数据抽取后的表的序列化方式为：org.apache.hadoop.hive.serde2.OpenCSVSerde，会导致MaxCompute...
DeleteFunction-删除元数据库的函数
操作 访问级别 资源类型 条件关键字 关联操作 dlf:DeleteFunction WRITE 全部资源*无 无 请求语法 DELETE/api/metastore/catalogs/databases/functions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认...
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 ...此时，系统会重新采集数据库元数据，确保结构设计中的表结构和变更基准库中的表结构一致。
CreateFunction-新增元数据库的函数
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 函数定义详情 返回参数 名称 类型 描述 示例值 object 返回结果 Code...
使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
UpdateFunction-更新元数据库的函数
JSON 格式 CatalogId string 否 数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test FunctionInput FunctionInput 否 待更新的函数详情 FunctionName string 否 函数名称 func2 返回参数 ...
创建Impala数据源
元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库类型支持 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
使用StarRocks作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
常用SQL
针对源端为数据库的元数据操作 MSCK REPAIR DATABASE：自动关联源数据库的所有表。CREATE TABLE LIKE MAPPING：自动根据源端的表的结构推断表结构。常见的查询DDL SHOW SCHEMAS：查询用户所有的SCHEMA/DATABASE。SHOW TABLES：查询用户当前...
新建Paimon数据源
元数据库方式 数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...
在DMS中自定义屏蔽系统库
背景信息 在实例录入 DMS 后，系统将自动采集实例中数据库的元数据（字典）信息。为保护系统库，同时减少系统库对您的干扰，可自定义屏蔽 DMS 部分系统库（如MySQL的information_schema库）或高敏感业务的数据库。屏蔽后，DMS 将不会采集...
创建Impala数据源
参数 描述 数据库类型 请根据集群中使用的元数据库类型，选择数据库类型。Dataphin支持选择MySQL和PostgreSQL。JDBC URL 填写对应元数据库的链接地址：MySQL：格式为 jdbc:mysql:/host[,failoverhost.]port/dbname?propertyName1][=...
使用MaxCompute作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
DMS默认屏蔽的实例系统库
背景信息 数据管理DMS中录入实例后，系统将自动采集实例中数据库的元数据（字典）信息。为了保护系统库，同时减少系统库对用户的干扰，如果实例的管控模式为安全协同模式，系统在采集元数据信息时会自动屏蔽实例的系统库。元数据的更多信息...
概述
参数 描述 连接名称 数据湖构建中惟一的名称 连接类型 目前支持RDS MySQL 用户名 连接MySQL数据库的用户名 密码 连接MySQL数据库的密码 虚拟专有网络（VPC）数据库所在的vpc 交换机（Switch）数据库所在的交换机 安全组 数据库所在的安全组...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
GetFunction-获取元数据库的指定函数
操作 访问级别 资源类型 条件关键字 关联操作 dlf:GetFunction READ 全部资源*无 无 请求语法 GET/api/metastore/catalogs/databases/functions 请求参数 名称 类型 必填 描述 示例值 CatalogId string 否 数据库分类命名空间，默认填写主...
0037-00000002
问题原因 您发起OpenMetaQuery请求为Bucket开启元数据管理功能，但是请求的Bucket已开启或者正在关闭元数据索引库。问题示例 例如，您发起OpenMetaQuery请求为Bucket（oss-example）开启元数据管理功能。如果该Bucket已开启或者正在关闭...
- 产品推荐
- 这些文档可能帮助您