元数据管理
元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库 登录 数据湖管理控制台，选择 元数据 目录下的 元数据管理。单击 新建数据库。配置元数据库...
Dataphin元数据仓库标准模型文档中表dim_dataphin_...
概述 本文介绍Dataphin元数据仓库标准模型文档中表dim_dataphin_table查看方法。详细信息 物理表每天的增量没法直接看到，只能从元数据上每天计算差值。查看表的存储量需要在元数据仓库中查看表dim_dataphin_table，获取相关信息。此表在...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。前提条件 已购买RDS MySQL实例（EMR所有版本均支持MySQL 5.7，仅EMR-3.35.0以上版本、EMR-5.0.0以上版本同时支持MySQL 5.7...
使用数据探索查询Iceberg表
本文为您介绍如何使用DLF数据探索查询Iceberg表。目前DLF数据探索可以直接支持Delta、Hudi、CSV、Parquet、JSON、ORC等格式的表；受限于Spark和Iceberg的底层设计，在DLF数据探索中查询Iceberg表需要指定特定的Catalog。准备工作 已开通DLF...
数据权限概述
数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置 权限设置主要为数据目录（Catalog）开启和关闭权限...
使用Hadoop作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
概述
数据湖构建可以帮助用户快速构建云上数据湖，采用统一的管理视角治理数据湖。本产品目前处于公测阶段，您可以随时开通使用，目前数据湖构建所有功能均为免费使用阶段。用户使用流程 数据湖构建将帮助您快速简洁抽取源数据到统一数据湖的...
元数据库数据字典
云原生数据仓库AnalyticDB MySQL版 的元数据库为INFORMATION_SCHEMA库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询test库下的所有表，示例如下：select*from TABLES where table_schema='test' ...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
从统一元数据库迁出到用户自建的RDS实例
为了保证更稳定的大规模Hive元数据服务，您可以从原有的统一元数据库迁出到您自建的RDS实例。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。使用限制 建议选择 MySQL 的5.7版本；系列 选择 高可用版。RDS MySQL实例须与E-MapReduce的...
常见报错
解决方法：实例内核小版本必须大于20201031。如何升级内核小版本，请参见 升级内核小版本。升级内核小版本如遇到问题，请咨询RDS值班。说明 更多详情，请参见 下载备份前提条件。DBS-DownloadTask.Instance.Storage.Type 可能原因：RDS实例...
Windows系统的ECS实例中安全审计日志简要说明
可对SAM数据库中的用户进行身份验证，支持对受信任域中帐户进行pass-through身份验证，支持子身份验证数据 系统登录日志分析 查看系统登录日志时，重点关注以下字段信息。事件ID：4624（登录成功）和4625（登录失败）。登录类型：根据登录...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤一：创建数据湖的元数据库 登录 数据湖管理控制台，在页面上方选择地域，在 元数据>元数据管理 页面创建元数据库。具体操作请参见 创建元数据库。步骤二：DataWorks数据集成导入数据至OSS 准备入湖数据。登录 RDS管理控制台，选择地域...
术语表
本文介绍云原生分布式关系型数据库PolarDB-X使用过程中遇到的术语。控制台术语 名词 描述 地域 数据中心所在的地理位置。可用区 可用区是指在某一地域内，具有独立电力和网络的物理区域。同一可用区内实例之间的网络延时更小。集群（实例）...
时序模型介绍
表格存储的时序模型是针对时间序列数据的特点进行设计，适用于物联网设备监控、设备采集数据、机器监控数据等场景，支持自动构建时序元数据索引、丰富的时序查询能力等功能。时序模型通过时序表存储时间序列数据，能提供高并发写入和查询...
GetMetaQueryStatus
调用 GetMetaQueryStatus 接口获取指定存储空间（Bucket）的元数据索引库信息。注意事项 要获取存储空间的元数据索引库信息，您必须有 oss:GetMetaQueryStatus 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。请求语法 GET/?...
创建集群
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
独立RDS元数据库
本文介绍如何配置独立的阿里云RDS，作为Databricks数据洞察集群的元数据。前提条件 已购买RDS，详情请参见 创建RDS MySQL实例。说明 本文以MySQL 5.7版本为例介绍。元数据库准备 创建hivemeta的数据库 详情请参见 创建数据库和账号 中的...
元数据库和数据字典
PolarDB-X 的元数据库为information_schema库，兼容MySQL的元数据库。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。Information_schema视图 兼容情况 SCHEMATA 兼容 TABLES 兼容 COLUMNS 兼容 STATISTICS 兼容 COLUMN_STATISTICS...
修改已有文件的元数据
要修改已有文件的元数据，您必须具有 oss:GetObject 和 oss:PutObject 权限。具体操作，请参见 为RAM用户授权自定义的权限策略。示例代码 以下代码用于修改已有文件的元数据。php if (is_file(_DIR_.'/./autoload.php')){ require_once_...
元数据库数据字典
云原生数据仓库MySQL版的元数据库分为记载性能相关信息的performance_schema库和记载元数据的information_schema库，并和MySQL的元数据库有一定的兼容性，但并不是100%一致。查询元数据库可以直接在JDBC连接中使用SQL语句进行查询。查询云...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
功能介绍
云原生数据仓库AnalyticDB PostgreSQL版 支持周期性的基础备份与日志备份，可以有效防止数据丢失。功能原理 云原生数据仓库AnalyticDB PostgreSQL版 通过实例的基础备份加日志备份，可以将实例恢复至指定历史时刻，并保证分布式实例状态与...
数据湖构建的审计事件
数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...
计费模式
说明 元数据对象存储量计费案例：例如在1月1号，数据湖元数据中包括100个库，1万张表，共50万个分区，0.5万个索引，则 月初时，元数据对象的存储量=0.01（库）+1（表）+50（分区）+0.5（索引）=51.51万个存储对象 1月31号，增加60万个分区...
API概览
本产品（数据湖构建/2020-07-10）的...GetDatabaseProfile 获取库数据概况 获取库数据概况的详细信息。GetLifecycleRule 获取库表生命周期规则 获取库表生命周期规则。ListPartitionsProfile 获取分区数据概况 获取分区数据概况的详细信息。
Hive元数据基本操作
本文为您介绍Hive元数据的基本操作，包括新建库、删除库、新建表和删除表。前提条件 已创建集群，详情请参见 创建集群。新建库 进入元数据管理页面。登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击...
产品简介
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力。DLF可以帮助用户快速...
创建Hadoop计算源
元数据库获取方式 参数 描述 数据库类型 根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...
数据备份与删除
独立部署版本：私有云独立部署，Dataphin输出PostgreSQL数据库作为元数据库。元数据库采用一主一备或一主两备模式，保障元数据库稳定性；每天进行元数据库全量冷备，保留七天，过期自动删除。公有云独立部署，Dataphin元数据库采用阿里云上...
ADP底座技术白皮书
运维基础设施 系统存储 元数据库存储：ADP的底座元数据库就是存储底座组件资源定义的数据库。ADP的底座组件基本都是通过自定义CR，将元数据存储到etcd。运维数据存储：ADP底座的运维数据主要包括审计日志、运维操作日志、告警消息、通知...
使用星环TDH作为元仓计算引擎进行元仓初始化
Dataphin元数据仓库（简称：元仓），是统一管理Dataphin内部业务元数据和相应计算引擎元数据的数据仓库，存在于Dataphin元仓租户中（OPS租户）的一个Dataphin项目空间中，由一系列的周期性数据集成节点、SQL脚本节点、Shell节点组成。元仓...
Database
名称 类型 描述 示例值 object 数据库对象 CreateTime integer 创建时间，Unix 时间戳秒数 1608707407 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如 HDFS 路径/hdfs/hivedb/...
DatabaseInput
名称 类型 描述 示例值 object 数据库对象 Description string 元数据库描述文本 this is a hive database LocationUri string 元数据库保存路径，例如可填写 HDFS 路径/hdfs/hivedb/data Name string 元数据库名称，校验长度 128，不支持...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
自定义OSS文件下载时的文件名
如果您希望保留除 Content-Disposition 以外的其他元数据，您需要首先获取对象的当前元数据，对其进行必要的修改，然后使用更新后的元数据集合一起执行PUT操作。为了避免重新上传整个对象内容并减少数据覆盖的风险，推荐使用SDK中的 update...
Hadoop集群迁移至DataLake集群
本文将详细阐述如何将您已有的旧版数据湖集群（Hadoop），高效地迁移至数据湖集群（DataLake），以下分别简称“旧集群”和“新集群”。迁移过程将充分考虑旧集群的版本、元数据类型以及存储方式，并针对这些因素，提供适应新集群的迁移策略...
0037-00000004
问题描述 Bucket元数据索引库未构建完成。问题原因 您发起了DoMetaQuery或GetMetaQueryStatus请求，但是请求的目标Bucket元数据索引库未构建完成。问题示例 例如，你发起了DoMetaQuery请求，但是请求的Bucket（oss-example）元数据索引库未...
资源组
资源组（Resource Group）是 PolarDB PostgreSQL版（兼容Oracle）提供的可以对进程、数据库和用户三种粒度所使用资源进行限制的机制，可以对CPU，内存资源实现精细化的控制。背景信息 如果在同一个节点上存在多个实例或者一个实例存在复杂...
资源组
资源组（Resource Group）是 PolarDB PostgreSQL版（兼容Oracle）提供的可以对进程、数据库和用户三种粒度所使用资源进行限制的机制，可以对CPU，内存资源实现精细化的控制。背景信息 如果在同一个节点上存在多个实例或者一个实例存在复杂...
- 产品推荐
- 这些文档可能帮助您