独立RDS元数据库
数据库名称>为 hive元数据库 名称。数据库用户名 填写hive元数据库中账号的用户名。数据库密码 填写hive元数据库中账号的密码。Metastore初始化 1.连接RDS元数据库，首先需要打通Databricks集群与MySQL实例的VPC和vSwitch网络。详情参见 ...
元数据仓库共享模型概述
提升输出稳定性：Dataphin的系统元数据库表结构可能会跟随功能升级产生变化，包括表新增下线、字段新增下线等。直接使用可能会因为变更导致下游数据加工任务出错，通过元仓共享模型可保持输出元数据的稳定性。元数据共享模型存储方式及产出...
修改集群模版
UseLocalMetaDb Boolean 否 true 是否使用本地Hive元数据库，取值如下：true：使用本地Hive元数据库。false：不本地Hive元数据库。IoOptimized Boolean 否 true 是否开启I/O优化，取值如下：true：开启I/O优化 false：不开启I/O优化 ...
元数据管理
您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库参数。选择所属数据目录。输入元数据库名称。（选填）输入元数据库描述。输入元数据库的...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
Hive数据迁移
表黑名单,格式为db.table 不需要迁移的Hive数据库表。单个表的格式为 dbname.tablename,多个表之间以英⽂逗号分隔。表白名单，格式为db.table 需要迁移的Hive数据库表。单个表的格式为 dbname.tablename，多个表之间以英⽂逗号分隔。单击...
元数据
元数据用于产品内的展示、检索使用，同时也是敏感数据规则自动化识别的基础信息，也是库、表、字段、数据行、可编程对象等细粒度的权限管控的基础信息。数据管理DMS会根据数据库实例的管控模式提供不同的采集范围与采集方式。背景信息 ...
配置自建RDS
数据库名称>：步骤一：元数据库准备 中设置的数据库名称。javax.jdo.option.ConnectionUserName RDS用户名 填写 步骤一：元数据库准备 中账号的用户名。javax.jdo.option.ConnectionPassword RDS密码 填写 步骤一：元数据库准备 中账号的...
API概览
库表元数据 API 标题 API概述 逻辑库表 逻辑库表 CreateLogicDatabase 创建逻辑库 创建DMS逻辑库。AddLogicTableRouteConfig 逻辑表中配置路由算法 为逻辑表添加路由算法配置。DeleteLogicDatabase 删除逻辑库中的物理库 删除DMS逻辑库。仅...
计算节点发布说明
修复数据库表数量过多时，扩缩容流程可能会失败的问题。修复BKAJoin场景下的路由计算问题。修复information_schema.table_constraints视图对于无主键表、复合索引、全局索引的显示错误问题。修复数据校验流程可能被数据迁移任务阻塞的问题...
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、...针对Iceberg表，需要在指定的元数据库和表之前，加上dlf_catalog.前缀。例如：SELECT*FROM dlf_catalog.database_name.iceberg_table limit 100;
产品简介
产品功能架构 元数据管理，通过控制台查看和管理数据湖中元数据库和表的信息，通过 新增元数据库 的方式操作元数据，集成到第三方应用服务。并支持多版本管理、可通过元数据发现和入湖任务自动生成元数据。入湖基础操作，通过入湖任务的...
MySQL整库实时同步至OSS数据湖
比如，定义的前缀为“abc_”，那么来源库名在数据湖中的元数据库就会自动加上此前缀，如"abc_my_db",“abc_test_table”等等，此时体现在OSS路径就会是“oss:/zhangsan/my_folder/abc_my_db/abc_test_table”。分区信息 设置数据入湖存储时...
概述
参见 元数据管理 章节，定义数据湖的元数据库和表。控制台概览 控制台概览分为2个部分，左侧为主要功能区，右侧为产品主要信息，帮助用户快速上手产品。注册数据湖位置 阿里云数据湖构建采用OSS作为统一数据湖位置，用户需要注册一个OSS的...
查询授权
本文档主要为您说明如何进行查询已有的数据授权信息。...资源类型：包括元数据表、元数据库、元数据列三种类型。资源名称：指定具体的资源名称，如数据库的库名。数据权限：授权的权限名称，关于权限描述可参考 权限配置。
EMR元数据迁移到数据湖构建（DLF）
在 元数据库 页签中，可以查询到期望同步的元数据库表信息。EMR集群切换元数据 引擎切换元数据 Hive 在Hive服务的 hive-site.xml 中添加如下配置，开启 自动配置更新 并保存，然后重启Hive服务。配置DLF元数据服务地址，Region替换为集群...
快速入门
数据湖构建（Data Lake Formation，DLF）产品主要使用流程如下。...创建数据源 创建数据湖的入湖来源，当前支持阿里云RDS MySQL...创建数据湖的元数据 添加元数据库 创建元数据表，指定表中数据的存储位置和存储格式 详细操作请参见 元数据管理。
DeleteFunction-删除元数据库的函数
ID B7F4B621-E41E-4C84-B97F-42B5380A32BB Success boolean 是否成功 true Code 错误码说明 NoSuchObject：对应的元数据库/表或者函数不存在 InternalError：其他类型错误，请参考 Message 提示 示例 正常返回示例 JSON 格式 {"Code":"OK",...
CreateFunction-新增元数据库的函数
OK Message string 提示相关错误信息.RequestId string 请求 ID B7F4B621-E41E-4C84-B97F-42B5380A32BB Success boolean 是否成功 true Code 错误码说明 AlreadyExists：相同的函数已经存在 NoSuchObject：对应的元数据库/表等不存在 ...
UpdateFunction-更新元数据库的函数
示例值 object 返回结果 Code string 状态码描述 OK Message string 提示相关错误信息.RequestId string 请求 ID B7F4B621-E41E-4C84-B97F-42B5380A32BB Success boolean 是否成功 true Code 错误码说明 InvalidObject：对应的元数据库/表/...
UpdateTable-更新元数据表信息
true TaskId string Async task Id aa689782deb97265701f57324fc4ae42 Code 错误码说明 InvalidOperation：对应的元数据库/表不存在 InternalError：其他类型错误，请参考 Message 提示 taskid：因为 updatetable 也会更新 table 的所有 ...
RenameTable-更新元数据表的名称
true TaskId string Async task Id c38206c3aca0c41332ffe49294243009 Code 错误码说明 InvalidOperation：对应的元数据库/表等不存在 InternalError：其他类型错误，请参考 Message 提示 示例 正常返回示例 JSON 格式 {"Code":"OK",...
数据探索简介
已开通DLF，并创建了 元数据库。通过 元数据发现/入湖任务管理 或者API等方式创建了元数据表。运行查询 登录 数据湖构建控制台，在左侧菜单中选择 数据探索。左侧数据库/表区域，会列举出当前账户下所有元数据库和元数据表。您可以在此区域...
RenamePartition-更新元数据表分区名
true Code 错误码说明 InvalidOperation：找不到对应的元数据库/表，或者新的分区名已经存在 InternalError：其他类型错误，请参考 Message 提示 示例 正常返回示例 JSON 格式 {"Code":"OK","Message":".","RequestId":"B7F4B621-E41E-4C84...
ListPartitionNames-获取元数据表分区名称列表
true Code 错误码说明 NoSuchObject：对应的元数据库/表等不存在 InternalError：其他类型错误，请参考 Message 提示 示例 正常返回示例 JSON 格式 {"Code":"OK","Message":".","NextPageToken":"2cb472ec1bf84f8d92f9c4baa0d21c19aa",...
Hive元数据基本操作
本文为您介绍Hive元数据的基本操作，包括新建库、删除库、新建表和删除表。前提条件 已创建集群，详情请参见 创建集群。新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。...此表在Dataphin的元数据仓库（Dataphin中的项目绑定MaxCompute的项目），不在Dataphin的PostgreSQL库中。需要用运维账号登录Dataphin查看。适用于 Dataphin
数据湖构建的审计事件
ListLifecycleResources 获取生命周期规则与库表绑定资源列表。ListLifecycleRules 获取生命周期规则列表。ListLifecycleTasks 获取生命周期管理任务列表。ListMetastoreCrawler 获取元存储爬虫列表。ListMetastoreMigrations 获取元数据...
API概览
本产品（数据湖构建/2020-07-10）的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
新建项目空间并引用表
本文为您介绍如何创建数据工作站项目空间，并添加数据库、表。步骤一：创建并进入项目空间 登录 数据管理DMS 5.0。单击控制台左上角的 图标，选择 全部功能>集成与开发（DTS）>数据工作站。说明 若您使用的是非极简模式的控制台，请在顶部...
常见问题
在Impala之外操作元数据后，您可以在Impala控制台通过使用命令INVALIDATE METADATA，以刷新全库或者某个表的元数据。Impala写入Hive表数据的时候，是否可以修改写入文件的owner？使用Impala写入的表文件的owner默认为Impala，暂不支持修改...
生命周期管理介绍
功能说明 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于数据最后访问时间、分区值、分区/表最后修改时间、分区/表创建时间四种规则类型，对数据定期进行存储类型转换，从而节省数据存储成本。同时，可以...
查看集群日报与分析
Hive使用量分析 在Hive使用分析中，您可以获取以下图表：Hive库存储量使用量分布图 Hive用户总存储量分布 Hive表文件大小分布比例 Hive表热冷数据分布 Hive表存储格式分布 Hive详细信息 在Hive信息中会展示Hive库和Hive表的详细信息。...
数据湖元数据管理
数据湖元数据是服务化高可用并且可扩展的元数据库，您无需额外购买独立的元数据库，就可以实现多个引擎计算，例如同时使用Databricks 数据洞察和E-MapReduce。多个Databricks 数据洞察集群可以共享统一元数据库。前提条件 已在 数据湖构建...
EMR+DLF数据湖解决方案
步骤六（可选）：使用生命周期对数据湖存储进行合理规划，节省存储成本 您可以通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则，可以基于分区/表创建时间、分区/表最近修改时间、分区值三种规则类型，对数据定期进行OSS存储...
使用星环TDH作为元仓计算引擎进行元仓初始化
前提条件 以星环TDH作为元仓时，需开放元数据库或提供Hive Metastore服务，用于获取元数据。以TDH Inceptor作为元仓，或元仓初始化中的元数据库配置使用TDH Incepor作为元数据库获取方式时，需要具备以下条件：已在TDH Inceptor中创建...
创建Hudi数据源
各同步模式需配置不同参数：hms：Hive元数据库的thrift地址、同步到Hive的数据库名称。重要 如果选择hms，则hive需开启metastore server。jdbc：Hive元数据库的jdbc地址、Hive元数据库的用户名、Hive元数据库的密码、同步到Hive的数据库...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
配置CDH6使用文件存储 HDFS 版
命令，进入存储Hive元数据的MySQL数据库。修改表DBS中的数据。执行 SELECT*FROM DBS LIMIT 5;命令，查询表DBS中的数据。返回结果示例如下：+-+-+-+-+-+-+-+|DB_ID|DESC|DB_LOCATION_URI|NAME|OWNER_NAME|OWNER_TYPE|CREATE_TIME|+-+-+-+-+-...
- 产品推荐
- 这些文档可能帮助您