GetDatabase-获取元数据库详情
获取数据湖具体的一个元数据库的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句...
Dataphin管道任务将数据同步到Oracle数据库选择表之后...
问题描述 Dataphin管道任务将数据同步到Oracle数据库选择表之后报错“获取元数据失败SQLTimeoutException：ORA-01013:user requested cancel of current operation”。问题原因 根据报错“ORA-01013:user requested cancel of current ...
ListDatabases-获取元数据库列表
获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，...
GetPartition-获取元数据库分区
获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
GetFunction-获取元数据库的指定函数
根据函数名称，获取数据湖元数据库的用户自定义函数。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM...
ListFunctions-获取元数据库的函数列表
批量获取数据湖元数据库的用户自定义函数列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略...
ListPartitions-获取元数据库分区列表
获取数据湖元数据库分区详情列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
BatchGetPartitions-批量获取元数据库分区
批量获取数据湖元数据库分区详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
ListFunctionNames-获取元数据库的函数名称列表
分页查询，获取元数据库的函数名称列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的...
Dataphin离线管道任务报错“获取元数据失败...
问题描述 Dataphin离线管道任务报错“获取元数据失败SqlSyntaxErrorException DB2 SQL Error:SQLCODE=-418,SQLSTATE=42610,SQLERRMC=null,DRIVER=xxx"是什么原因？解决方案 连接使用的DB2数据源的版本不支持，当前的Dataphin数据源只支持DB...
DBMS_METADATA
DBMS_METADATA提供了获取数据库对象的元数据信息的方法，用于重建数据库中的对象。元数据信息以XML形式或者DDL语句的形式返回。DBMS_METADATA子程序总览 子程序 说明 GET_DDL Function 获取对象的DDL。GET_DDL 该函数用于获取对象的DDL...
DBMS_METADATA
PolarDB 通过DBMS_METADATA提供的方法获取数据库对象的元数据信息，用于重建数据库中的对象。元数据信息以XML形式或者DDL语句的形式返回。DBMS_METADATA函数/存储过程 执行以下命令安装polar_dbms_metadata插件：create extension if not ...
API概览
本产品（数据湖构建/2020-...ListDatabases 获取元数据库列表 获取数据湖元数据库列表，分页查询，可以根据数据库名称匹配。表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。...
结构设计元数据不一致的解决办法
本文介绍如何解决结构设计中表结构与变更基准库中表结构不一致问题。解决方法 请在目标表关联的所有工单状态为 设计中 的工单（工单状态为 已发布 ...此时，系统会重新采集数据库元数据，确保结构设计中的表结构和变更基准库中的表结构一致。
Dataphin数据集成Oracle组件下拉表清单提示无法获取...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
数据权限概述
库（Database）：数据湖元数据中管理的库 表（Table）：数据湖元数据中管理的表 列（Column）：数据湖元数据中管理的列 访问资源的方式（Access）访问资源的方式与资源类型有关，不同资源类型支持的访问方式各不相同。如库支持CreateTable...
数据湖构建的审计事件
CreateTpcdsDatabase 新增TPCDS数据库。CreateUser 创建用户。CreateUserFeedback 创建用户反馈信息。DeleteBlueprintInstance 删除入湖任务。DeleteCatalog 删除数据湖目录。DeleteDatabase 删除元数据库。DeleteDataSource 删除入湖数据...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
功能介绍
是指对数据库元数据进行的拷贝。Serverless模式是存储分离架构，数据会存储到OSS中，不需要进行二次备份。实例元数据会被压缩后存储到相同OSS目录中，在基础备份期间不会阻塞您的读写操作。日志备份（也称为增量备份）是指将实例产生的日志...
元数据抽取
目标数据库 抽取获取的元数据存储的元数据库位置。目标数据表前缀 通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时 当元数据抽取任务获取的表与现有表字段发现不一致时，采取...
使用Hadoop作为元仓计算引擎进行元仓初始化
元数据获取方式 元数据获取方式支持 元数据库 和 HMS（Hive Metastore Serivce）、DLF 三种方式获取元数据。不同获取方式所配置信息不同。详情如下：元数据库方式获取 参数 描述 数据库类型 选择Hive的元数据库类型。Dataphin支持选择 ...
操作流程
同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建...
操作流程
同步元数据 获取、更新源端和目标端的物理表及元数据Meta信息。创建同步任务 支持单个、批量配置同步任务，通过同步的Meta信息支持自动创建目标表，支持创建实时同步任务、离线同步任务两种模式。上线同步任务 同步任务上线后会按照创建...
功能特性
自建MySQL同步至RDS MySQL 数据订阅 数据订阅功能可以帮助您获取数据库的实时增量数据，您可以根据自身业务需求自由消费增量数据，并写入目标端，实现各类业务场景，例如缓存更新、业务异步解耦、异构数据源数据实时同步及含复杂ETL的多种...
API概览
BatchGetFileMeta 批量获取文件元数据 批量获取数据集内已完成索引的文件的元数据。DeleteFileMeta 删除文件元信息 从数据集内删除文件的元信息。BatchDeleteFileMeta 批量删除文件元信息 批量从数据集内删除文件的元信息。查询与统计 查询...
数据湖元数据管理
Databricks 数据洞察DBR 7.3,Spark 3.0.1,Scala 2.12及之后版本，在创建集群选择元数据类型时支持数据湖元数据作为Hive数据库。数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，...
创建Impala数据源
元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式 参数 说明 数据库类型 请根据集群中使用的元数据库类型，选择对应的数据库类型。Dataphin支持选择 MySQL。MySQL 数据库...
Okta与云SSO进行单点登录的示例
Entity ID：从 步骤一：在云SSO获取服务提供商（SP）元数据 获取的 Entity ID 值。Application username：选择 Okta username。单击 Save。步骤三：在Okta获取身份提供商（IdP）元数据 在应用程序CloudSSODemo详情页，单击 Sign On 页签。...
GetAllTables
调用GetAllTables获取数据库下面的所有有权限的表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
通知设置
系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航栏的 通知设置，进入通知设置页面。参数 描述 流程控制、权限管理、资源用量、租户管理、系统消息 选择通知消息的...
配置Hive输入组件
元数据获取 支持静态和动态两种方式获取元数据。静态：保存任务并提交时，所获取的元数据用于该任务之后的每一次运行。动态：每次任务运行时都重新获取该时刻的元数据。文件编码 选择读取文件的存储在Hive的编码方式。文件编码包括 UTF-8 ...
元数据管理
在DLF页面删除数据库后，并不会删除OSS存储的数据，如需删除数据请从E-MapReduce/MaxCompute侧执行Drop Database操作。删除元数据表 1.进入元数据管理-元数据表页面。2.找到想要删除的元数据表，点击右侧的删除按钮，点击确认窗口中的...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
创建TDH Inceptor数据源
元数据库配置 元数据获取方式 支持 元数据库 方式和 HMS 方式获取。元数据库方式：需要配置数据库类型、版本、JDBC URL、认证方式、用户名和密码。数据库类型：根据集群中使用的元数据库类型，选择数据库类型。支持选择 MySQL、PostgreSQL...
通知设置
系统消息：用于元数据获取异常等系统异常的通知。操作步骤 在Dataphin首页，按照下图操作指引，进入 通知中心。单击左侧导航栏的 通知设置，进入通知设置页面。参数 描述 流程控制、权限管理、资源用量、租户管理、系统消息 选择通知消息的...
新建ArgoDB计算源
参数 描述 元数据获取方式 支持从元数据库获取和HMS获取方式。使用HMS请先在配置文件中上传hdfs-site.xml、hive-site.xml、core-site.xml文件及配置认证方式。数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应...
新建ArgoDB数据源
数据库类型 根据集群中使用的元数据库类型，选择数据库类型。支持选择 ArgoDB。JDBC URL 填写 ArgoDB 元数据库的链接地址。格式为：jdbc:hive2:/hsot:port/dbname。认证方式 支持3种认证方式，无认证、LDAP、Kerberos。Kerberos认证方式还...
AD FS与云SSO进行单点登录的示例
选择 从文件导入有关信赖方的数据，然后单击 浏览，导入从 步骤一：在云SSO获取服务提供商元数据 获取的元数据文档，最后单击 下一步。输入自定义的信赖方显示名称，然后单击 下一步。本示例中使用名称CloudSSODemo。根据您的需要，选择...
创建Hive数据源
元数据获取方式：支持 元数据库、HMS、DLF 三种源数据获取方式。获取方式不同，所需配置信息不同。元数据库获取方式 说明 开启模块 仅勾选实时研发 时，元数据获取方式仅支持元数据库。参数 说明 数据库类型 请根据集群中使用的元数据库...
新建Paimon数据源
元数据库方式 数据库类型：仅支持MySQL数据库类型，支持的版本包括 MySQL5.1.43、MySQL5.6/5.7、MySQL8。JDBC URL：填写元数据库的JDBC URL地址。连接格式 jdbc:mysql:/host:port/dbname。用户名、密码：填写访问元数据库的用户名和密码。...
- 产品推荐
- 这些文档可能帮助您