元数据库-元数据库文档介绍内容-阿里云

元数据

元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...

元数据抽取

目标数据库抽取获取的元数据存储的元数据库位置。目标数据表前缀通过元数据抽取生成跟文件一致的表名，输入目标元数据表前缀后，会在表名前添加前缀。抽取任务发现表字段更新时当元数据抽取任务获取的表与现有表字段发现不一致时，采取...

TableInput

名称类型描述示例值 object Table Cascade boolean 是否级联删除 false CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test LastAccessTime integer 上一次访问这个 table 的时间戳 1608707407 ...

快速使用TPC-DS测试数据集

TPC-DS是一套决策支持系统测试基准，提供99个SQL查询（SQL99或2003），分析数据量大，测试数据与实际商业数据高度相似，同时具有各种业务模型（分析报告型，...执行完成后，就可以在查询输入框中，对新生成的TPC-DS元数据库进行SQL查询了。

DeleteTableVersion-删除元数据表指定版本

请求语法 DELETE/api/metastore/catalogs/databases/tables/versions 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test ...

Table

名称类型描述示例值 object Table Cascade boolean 是否允许级联删除 false CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 CreatedBy string 创建者名称 zhangsan DatabaseName string 元数据库名称 database_test ...

DeleteTableColumnStatistics-删除元数据表统计信息

请求语法 DELETE/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

DLF数据访问权限控制

选择元数据库级权限时：您可以勾选需要申请的元数据名称，并在 元数据库权限列表勾选需要申请的权限点。配置申请信息。参数描述使用者选择需要为谁申请权限。当前登录账号：表示为当前登录DataWorks工作空间的阿里云账号申请目标表...

存储概览

存储概览开通打开数据湖构建控制台，点击左侧湖管理-存储概览菜单，点击立即启用，开启存储概览功能重要开通湖资产，元数据库的OSS地址将写入文件的统计信息到OSS中，将产生少量存储成本。首日开通无统计数据，需要等待第二天数据产出后...

基于DLF数据入湖的MaxCompute湖仓一体实践

步骤一：创建数据湖的元数据库 登录数据湖管理控制台，在页面上方选择地域，在元数据>元数据管理页面创建元数据库。具体操作请参见创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...

DeletePartitionColumnStatistics-删除元数据表分区...

请求语法 DELETE/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称...

BatchDeleteTableVersions-批量删除元数据表版本

Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20200715162543389 VersionIds array 否版本号列表 integer 否版本号 1 返回参数名称类型描述示例值 object 返回结果...

为Spark集群设置元数据

背景信息因为数据湖元数据DLF具有高可用和易维护的特点，所以以下场景适合使用数据湖元数据：当您的EMR集群均为生产环境时，您无需维护独立的元数据库。横向使用多种大数据计算引擎时，元数据可以集中管理。例如，MaxCompute、Hologres和 ...

ListPartitionNames-获取元数据表分区名称列表

数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test NextPageToken string 否翻页 token，从返回结果返回，无则传空字符串或'' 2cb472ec1bf84f8d92f9c4baa0d21c19aa PageSize integer 否...

基于Delta lake的一站式数据湖构建与分析实战

数据湖作为一个集中化的数据存储仓库，支持的数据类型具有多样性，包括结构化、半结构化以及非结构化的数据，数据来源上包含数据库数据、binglog 增量数据、日志数据以及已有数仓上的存量数据等。数据湖能够将这些不同来源、不同格式的数据...

MaxCompute+DLF+OSS湖仓一体的湖查询和湖数据入仓实践

登录数据湖管理控制台，新建元数据库，详情请参见创建元数据库。创建元数据抽取任务，导入OSS测试数据，详情请参见元数据抽取。已创建MaxCompute项目，详情请参见创建MaxCompute项目。已创建DataWorks工作空间，并绑定MaxCompute数据源...

使用AnalyticDB for PostgreSQL作为元仓计算引擎进行...

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

DeleteTable-删除元数据表

Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20201223 返回参数名称类型描述示例值 object 返回结果体 Code string 状态码描述 OK Message string 提示相关错误信息....

DataFlow集群通过Hive Catalog连接数据湖元数据DLF

本示例中创建的元数据库名称为flink_dlf_hive，选择路径为 oss:/<yourBucketName>/flink_dlf_hive/db。在DataLake集群中，查看已经创建的元数据库。通过SSH方式登录DataLake集群，详情请参见登录集群。执行以下命令，切换为hadoop用户并...

GetTableColumnStatistics-获取元数据表字段的统计...

请求语法 GET/api/metastore/catalogs/databases/tables/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test...

管理元数据

本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面在Dataphin首页，单击顶部菜单栏的资产。在资源页面，按照下图操作指引，进入 元数据管理页面。在 元数据管理页面，查看系统元数据及自定义的...

GetPartitionColumnStatistics-获取元数据分区字段的...

GET/api/metastore/catalogs/databases/tables/partitions/columnstatistics 请求参数名称类型必填描述示例值 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_...

创建Hive数据源

Hive数据源配置参数中，集成配置是为了支持数据集成，实时研发配置是为了支持实时研发的场景，而 元数据库配置是基础的配置，用来获取元数据。说明通常情况下，生产数据源和开发数据源需配置非同一个数据源，以使开发数据源与生产数据...

管理元数据

本文为您介绍如何新建元数据、编辑元数据、检测元数据、转交负责人及删除元数据。介绍页面在Dataphin首页，单击顶部菜单栏的资产。在资源页面，按照下图操作指引，进入 元数据管理页面。在 元数据管理页面，查看系统元数据及自定义的...

批量获取元数据分区统计信息

默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableName string 否元数据表名称 test_table_20201223 PartitionNames ListString 否元数据表的分区名称列表 ColumnNames ListString 否元数据表的字段...

DeletePartition-删除元数据表分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否如果相同名字的分区已经删除，是否忽略异常 true PartitionValues ...

MSHA应用双活架构接入Helloworld

本文通过一个Helloworld示例为您介绍如何接入MSHA应用双活架构并进行功能...测试步骤主备切换前，杭州单元内的应用：执行数据库读操作（即查询商品详情），应该访问到杭州单元数据库。执行数据库写操作（即下单），应该访问到杭州单元数据...

使用StarRocks作为元仓计算引擎进行元仓初始化

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

E-MapReduce数据迁移方案

Hive元数据同步概述 Hive元数据，一般存在MySQL里，与一般MySQL同步数据相比，要注意两点：Location变化 Hive版本对齐 E-MapReduce支持Hive Meta DB：统一元数据库，E-MapReduce管控RDS，每个用户一个Schema 用户自建RDS 用户ECS自建MySQL...

CreateTable-新增元数据表

CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInput TableInput 否元数据表详细信息返回参数名称类型描述示例值 object 返回结果 Code string 状态...

BatchDeleteTables-批量删除元数据表

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否 IfExists true TableNames array 否元数据表名称列表 string 否元数据...

使用MaxCompute作为元仓计算引擎进行元仓初始化

Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...

入湖基础操作

目标元数据库：目标表所在的元数据库。目标元数据表名称：定义目标表名称。存储格式：选择数据在数据湖中的存储格式，目前支持Delta，Iceberg，Hudi，Parquet，ORC。数据湖存储位置：数据存储的OSS路径，入湖任务会自动创建此处填写的空...

BatchUpdateTables-批量更新元数据表信息

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test TableInputs array 否更新后元数据表详细信息 TableInput 否更新后元数据表详细信息 IsAsync...

ListTableNames-获取元数据表名称列表

Uid 1344371 TableNamePattern string 否元数据表匹配正则表达式.*NextPageToken string 否翻页 token，从返回结果返回，无则传空字符串或'' '' PageSize integer 否每页大小 10 DatabaseName string 否 元数据库名称 database_test ...

BatchDeletePartitions-批量删除元数据表分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test IfExists boolean 否如果相同名字的分区已经删除，是否忽略异常 true PartitionValueList ...

BatchUpdatePartitions-批量更新元数据表的分区

均采用 JSON 格式 CatalogId string 否数据库分类命名空间，默认填写主账号 Uid 1344371 DatabaseName string 否 元数据库名称 database_test PartitionInputs array 否分区输入信息列表 PartitionInput 否更新的分区输入信息 TableName...

基于OSS-HDFS构建数据湖

单独创建：创建一张外部表映射DLF元数据库dlfpro中元数据表dlf_oss_test的数据，该表位于Hologres中的public Schema。方式一 CREATE FOREIGN TABLE dlf_oss_test(id text,pt text)SERVER dlf_server-已创建的Foreign Server options(schema...

修改集群模版

UseLocalMetaDb Boolean 否 true 是否使用本地Hive元数据库，取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。IoOptimized Boolean 否 true 是否开启I/O优化，取值如下：true：开启I/O优化 false：不开启I/O优化 ...

什么是全球多活数据库集群

跨地域实时同步各单元数据库实时同步，提供全球统一的数据库访问能力。高效容灾异地灾备数据库资源利用最大化，加强了业务的连续性和抗风险能力。应用场景异地容灾当一个数据中心发生故障，只需做流量切换，其他数据中心即可正常运行并...

元数据库

新品推荐