知识元数据库-知识元数据库文档介绍内容-阿里云

DeleteTable-删除元数据表

Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20201223 返回参数名称类型描述示例值 object 返回结果体 Code string 状态码描述 OK Message string 提示相关错误信息....

BatchGetPartitions-批量获取元数据库分区

批量获取数据湖元数据库分区详情。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的 ...

创建Hive数据源

Hive数据源配置参数中，集成配置是为了支持数据集成，实时研发配置是为了支持实时研发的场景，而 元数据库配置是基础的配置，用来获取元数据。说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...

GetTableColumnStatistics-获取元数据表字段的统计...

请求语法 GET/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test...

MSHA应用双活架构接入Helloworld

本文通过一个Helloworld示例为您介绍如何接入MSHA应用双活架构并进行功能...测试步骤主备切换前，杭州单元内的应用：执行数据库读操作（即查询商品详情），应该访问到杭州单元数据库。执行数据库写操作（即下单），应该访问到杭州单元数据...

GetPartitionColumnStatistics-获取元数据分区字段的...

GET/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

批量获取元数据分区统计信息

默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20201223 PartitionNames ListString 否元数据表的分区名称列表 ColumnNames ListString 否元数据表的字段...

E-MapReduce数据迁移方案

Hive元数据同步概述 Hive元数据，一般存在MySQL里，与一般MySQL同步数据相比，要注意两点：Location变化 Hive版本对齐 E-MapReduce支持Hive Meta DB：统一元数据库，E-MapReduce管控RDS，每个用户一个Schema 用户自建RDS 用户ECS自建MySQL...

使用StarRocks作为元仓计算引擎进行元仓初始化

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

GetPartition-获取元数据库分区

获取数据湖元数据库分区详情。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...

元数据库和数据字典

PolarDB-X 的元数据库为information_schema库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS...

DeletePartition-删除元数据表分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否如果相同名字的分区已经删除，是否忽略异常 true PartitionValues ...

ListPartitions-获取元数据库分区列表

获取数据湖元数据库分区详情列表。调试您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试授权信息下表是API对应的授权信息，可以在RAM权限策略语句的 ...

CreateTable-新增元数据表

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否元数据表详细信息返回参数名称类型描述示例值 object 返回结果 Code string 状态...

入湖基础操作

关系数据库实时入湖：可以实现RDS MySQL或PolarDB数据库表数据增量同步到数据湖，选择在数据源管理中配置好的数据源，将数据源对应数据库中选定表的数据抽取binlog的方式将数据库表数据实时同步回放到数据湖中。待同步的数据表需确认包含...

使用MaxCompute作为元仓计算引擎进行元仓初始化

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

管理元数据

本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面在Dataphin首页，单击顶部菜单栏的资产。在资源页面，按照下图操作指引，进入 元数据管理页面。在 元数据管理页面，查看系统元数据及自定义的...

数据备份与删除

独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...

管理元数据

本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面在Dataphin首页，单击顶部菜单栏的资产。在资源页面，按照下图操作指引，进入 元数据管理页面。在 元数据管理页面，查看系统元数据及自定义的...

BatchDeleteTables-批量删除元数据表

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否 IfExists true TableNames array 否元数据表名称列表 string 否元数据...

元数据库数据字典

云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库，并和MySQL的元数据库有一定的兼容性，但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...

BatchUpdateTables-批量更新元数据表信息

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInputs array 否更新后元数据表详细信息 TableInput 否更新后元数据表详细信息 IsAsync...

基于OSS-HDFS构建数据湖

单独创建：创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema。方式一 CREATE FOREIGN TABLE dlf_oss_test(id text,pt text)SERVER dlf_server-已创建的Foreign Server options(schema...

ListTableNames-获取元数据表名称列表

Uid 1344371 TableNamePattern string 否元数据表匹配正则表达式.*NextPageToken string 否翻页 token，从返回结果返回，无则传空字符串或'' '' PageSize integer 否每页大小 10 DatabaseName string 否 元数据库名称 database_test ...

BatchUpdatePartitions-批量更新元数据表的分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInputs array 否分区输入信息列表 PartitionInput 否更新的分区输入信息 TableName...

BatchDeletePartitions-批量删除元数据表分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否如果相同名字的分区已经删除，是否忽略异常 true PartitionValueList ...

修改集群模版

UseLocalMetaDb Boolean 否 true 是否使用本地Hive元数据库，取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。IoOptimized Boolean 否 true 是否开启I/O优化，取值如下：true：开启I/O优化 false：不开启I/O优化 ...

什么是全球多活数据库集群

跨地域实时同步各单元数据库实时同步，提供全球统一的数据库访问能力。高效容灾异地灾备数据库资源利用最大化，加强了业务的连续性和抗风险能力。应用场景异地容灾当一个数据中心发生故障，只需做流量切换，其他数据中心即可正常运行并...

生命周期管理介绍

功能说明您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...

Kafka单表实时入湖OSS（HUDI）

目标库：选择数据写入的目标数据库，支持您单击右侧的新建库创建DLF元数据库。目标表：选择要写入的OSS表是自动建表还是使用已有表。表名：填写或者选择要写入的OSS表名。OSS存储路径选择：选择入湖后数据存储在OSS的哪个路径下。编辑...

MaxCompute湖仓一体

db metadat_store-DLF元数据库的名称。endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com";OSS所属地域的Endpoi MaxCompute访问授权当您通过MaxCompute与Hadoop构建...

MaxCompute湖仓一体

db metadat_store-DLF元数据库的名称。endpoint"dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint信息-ossEndpoint"oss-cn-hangzhou-internal.aliyuncs.com";OSS所属地域的Endpoi MaxCompute访问授权当您通过MaxCompute与Hadoop构建...

ListPartitionsByFilter-按条件获取元数据表分区列表

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test Filter string 否查询条件表达式，如 ds>20201201 ds>20201201 NextPageToken string 否翻页 token，从返回...

CreatePartition-新增元数据表的分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否如果相同名字的分区已经存在，是否忽略异常 true NeedResult boolean ...

创建Hadoop计算源

元数据库获取方式参数描述数据库类型根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...

搭建与管理（基于DLF和OSS）

您可以登录 DLF控制台，在左侧导航栏元数据管理下拉列表下的 元数据库 页面获取。DLF RoleARN 可选。RAM角色的ARN信息。采用自定义授权方式时，需要配置该参数。您可以登录 RAM访问控制台，在左侧导航栏身份管理下拉列表下的角色页面...

共享集群（OSS数据湖加速）

创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema，并且检验是否存在该外部表，若存在，则对已有表更新。方式一 CREATE FOREIGN TABLE dlf_oss_test_ext(id text,pt text)SERVER dlf_...

ListTableVersions-获取元数据表版本列表

请求语法 GET/api/metastore/catalogs/databases/tables/versions/list 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...

BatchCreatePartitions-批量新增元数据表的分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfNotExists boolean 否如果相同名字的分区已经存在，是否忽略异常 true NeedResult boolean ...

数据湖加速查询

基于阿里云数据湖构建（Data Lake Formation，DLF）和对象存储（Object Storage Service，OSS）推出的Hologres数据湖加速服务，提供了灵活的数据访问和分析能力以及高效的数据处理能力，显著加快了对OSS数据湖的查询和分析过程。...

知识元数据库

新品推荐