管理Hive Catalog
Hive Catalog支持Hive MetaStore和阿里云DLF作为元数据管理中心，相关配置说明详情如下：Hive MetaStore 需要检查下配置文件hive-site.xml中 hive.metastore.uris 参数配置是否符合下列要求。name>hive.metastore.uris</name>...
1.1.5版本
功能变更公告 数字工厂 1）元数据管理优化 删除元数据的时候，检查是否有定义关联，提醒防止误操作 已存在主数据的情况下，在不影响原有数据情况，可以对元数据定义的属性进行修改 2）物联网开发应用集成后可进行取消 区域/行业平台 业务中...
Hive元数据说明
元数据管理 DLF产品提供了可视化的元数据检索、元数据管理、多版本管理、数据统计概况和生命周期管理等更丰富的能力。无。多引擎支持 支持Hive、Spark和Presto。支持MaxCompute和Hologres。支持Hive、Spark和Presto。不支持MaxCompute和...
基本概念
元数据管理 对非结构化类型的数据表进行统一的结构化（二维化）配置及管理。网络配置 应用能够成功调用API或Dataphin数据源的基础网络配置，包括域名配置和VPC白名单配置。说明 如果您是公共云用户，则需要配置VPC白名单。调用示例 应用...
模式
进入HoloWeb开发页面，在 元数据管理 界面的 已登录实例 列表。打开目标实例，鼠标右击已登录目标数据库，选择 新建模式。配置 模式名称，单击 确认，其中 实例名 和 数据库名称 默认填充当前模式所在的实例和数据库名称，无需修改配置。...
什么是OSS-HDFS服务
基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留在OSS-HDFS的数据存储目录.dlsdata/下。为避免影响OSS-HDFS...
产品架构
在集群之上，通过联邦管控平面，协调各集群资源、应用和配置，以提供应用变更管控、分组发布、镜像管理、流量调拨、元数据管理、集群资源管理等功能。用户可以通过控制台、命令行或 SDK 以标准方式对单集群及联邦管控层进行交互。作为分布...
数据索引费用
重要 开启元数据管理功能将会产生Object的Meta管理费用以及Bucket的查询费用，但公测期间暂不收费。本文仅说明相关计费项及付费方式。有关计费项的定价详情，请参见 OSS产品定价。计费项 以下两个计费项均涉及免费额度。其中，每个Bucket每...
一站式分析体验
AnalyticDB MySQL 湖仓版（3.0）统一了元数据管理、数据访问、数据管道和计费单位，为您提供一站式分析体验。湖仓版（3.0）数据通过统一的元数据服务进行管理，避免了元数据同步带来的低效、不一致等问题，让湖和仓的联动更加敏捷。而且...
管理数据目录
如果您想添加新的DLF数据目录，可以单击 创建数据目录，跳转至数据湖构建控制台创建，详情请参见 元数据管理。查看数据库和表 在 数据目录 页面，单击数据目录ID。展示当前数据目录下的所有数据库信息。单击操作列的 表。展示当前数据库下...
什么是应用管理
元数据管理：在创建或者编辑应用时，给应用添加自定义的元数据，便于应用分类管理。技术栈管理：技术栈定义了应用发布部署和运维时应用的依赖信息。例如，对典型的 Web 应用系统来说，常见的依赖信息包括服务器系统和版本、Web 服务器类型...
管理MySQL Catalog
UI方式 进入元数据管理页面。登录 实时计算控制台，在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。单击 创建Catalog，选择 MySQL，单击 下一步。填写参数配置信息。重要 Catalog创建完成后，以下配置信息都...
开通并授权访问OSS-HDFS服务
费用说明 元数据管理费用 使用OSS-HDFS服务时，会产生元数据管理费用，但该计费项暂不收费。更多信息，请参见 OSS-HDFS元数据管理费用。数据使用费用 使用OSS-HDFS服务时，数据块采用了OSS的存储方式。因此，OSS的计量计费方式适用于OSS-...
EMR新版控制台上线公告
EMR功能 新版控制台 旧版控制台 EMR on ECS√EMR on ACK√x EMR Doctor√x EMR Serverless√x EMR Workbench√x DLF元数据管理√x 旧版数据开发（停止更新，仅对历史用户开放）√旧版元数据管理（停止更新，仅对历史用户开放）√新版控制台...
DLF统一元数据
背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力，详细信息请参见 数据湖构建产品简介。...
后续指引
下表汇总了IMM的常用高阶功能：功能列表 说明 创建数据集 数据集是由元数据所组成的集合，是元数据管理存放元数据的容器。您可以将有关联的媒体文件存放到同一个数据集中，便于查询。人脸聚类 使用人脸聚类功能，你可以将数据集中存在相似...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
MaxCompute湖仓一体
Dataphin即可基于MaxCompute和DLF对湖仓一体的数据进行数据的加工处理（离线研发及规范建模），元数据管理、访问权限及安全管理、数据质量稽核与计算资源的治理。创建MaxCompute计算源并绑定到Dataphin项目中 需要创建MaxCompute计算源，将...
概述
管理措施及组织能力：数据安全策略规范、组织和人员管理、数据供应链管理、安全事件应急响应、导入导出安全、数据发布安全、以及数据正当使用。云平台基础能力：网络可用性、存储媒介安全、备份和恢复、数据处理环境安全、数据销毁处置、...
快速使用EMR StarRocks Manager
EMR StarRocks Manager是阿里云EMR团队针对Serverless StarRocks实例提供的数据管理控制台，为您提供对实例内数据的管理、诊断与分析，以及安全权限配置等能力。前提条件 已创建StarRocks实例，详情请参见 创建实例。操作流程 步骤一：进入...
功能特性
创建虚拟集群 元数据管理 可视化全局管理视图，可以进行元数据的操作，例如创建Schema、查看库表信息、查询数据等。查询Schema详情 元信息发现 元数据爬取功能可以自动为OSS上面的数据文件创建及更新数据湖元数据，方便分析和计算。具有...
连接HoloWeb
HoloWeb是基于交互式分析Hologres引擎，使用可视化方式开发和管理数据库的一站式平台。本文以一个简单的案例，为您介绍使用HoloWeb的基本流程。前提条件 阿里云账号注册，详情请参见 准备阿里云账号。实名认证，详情请参见 个人实名认证 或...
数据权限概述
使用阿里云RAM用户在数据湖元数据管理中新建元数据库或元数据表时，该RAM用户即为元数据库或元数据表资源的Owner，Owner以用户对应的Principal格式表示。在E-MapReduce引擎中使用Linux或LDAP用户执行SQL命令创建资源时，该Linux或LDAP用户...
视图
在HoloWeb开发页面，单击进入 元数据管理 页面。在 已登录实例 列表，依次单击目标数据库和数据库下已创建的目标模式。鼠标右击 视图，选择 新建视图。在 新建视图 页面，配置各项参数。参数 描述 模式 模式名称。您可以选择默认创建的 ...
基于DLF数据入湖的MaxCompute湖仓一体实践
步骤四：查看数据湖的元数据 在 数据湖管理控制台 单击 元数据>元数据管理，进入目标数据库，在 表列表 页签查看数据表信息。重要 如果通过元数据抽取后的表的序列化方式为：org.apache.hadoop.hive.serde2.OpenCSVSerde，会导致MaxCompute...
创建外部表
在HoloWeb开发页面的顶部菜单栏，单击 元数据管理>MaxCompute加速，单击 创建外部表。您也可以在 元数据管理 界面的 已登录实例 列表。单击目标数据库，鼠标右击数据库下已创建的目标模式，选择 新建外部表。在 新建外部表 页面，配置各项...
数据湖加速查询
服务 介绍 相关链接 阿里云数据湖构建（Data Lake Formation，DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，产品提供了云上数据湖统一的元数据管理、统一的权限与安全管理、便捷的数据入湖能力以及一键式数据探索能力...
基于AnalyticDB构建企业数仓
本文将为您介绍如何基于AnalyticDB构建企业数仓，并进行运维和元数据管理等操作。开始本文的操作前，请首先创建工作空间，详情...元数据管理 您可以单击左上角的图标，选择 全部产品>数据地图，进行元数据管理操作。详情请参见 数据地图概述。
管理Hologres Catalog
UI方式（推荐）进入元数据管理页面。登录 实时计算控制台，在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。单击 元数据管理。单击 创建Catalog，选择 Hologres 后，单击 下一步。填写参数配置信息。重要 Catalog创建完成后，...
数据索引
在左侧导航栏，选择 文件管理>数据索引。在 数据索引 页面，打开 元数据管理 开关。开启元数据管理需要等待一定的时间，具体等待时长取决于Bucket中Object的数量。设置Object基础过滤条件。在 对象基础过滤条件 区域，按需设置以下基础过滤...
创建集群
参见 数据湖元数据管理 统一meta数据库：表示元数据存储在集群本地环境的MySQL数据库中 独立RDS MySQL：表示使用自建的阿里云RDS作为元数据库，更多信息请参见 共享独立RDS元数据库 设置高级信息。高级信息包括如下两方面：Spark设置 参数 ...
GetMetaQueryStatus
描述 MetaQueryNotExist 400 Bucket不存在元数据索引库，请确保已为Bucket开启元数据管理功能并等待元数据索引库创建成功后重试。AccessDenied 403 没有访问该Bucket的权限，请确保已为RAM用户授予访问该Bucket的权限。NoSuchBucket 404 ...
DataWorks on EMR快速入门
DataWorks支持基于E-MapReduce创建Hive、Spark SQL、Presto和MR等节点，实现任务工作流的配置和定时调度、元数据管理及数据质量监控告警等功能，为用户提供一站式数据湖开发和治理的环境。本文为您介绍如何在DataWorks上快速使用EMR集群。...
创建元数据
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元...查看元数据 您就可以在 元数据管理 页面，查看已创建的元数据并对元数据执行编辑和删除操作。后续步骤 完成元数据创建后，即可创建服务单元。具体操作，请参见 创建物理表服务单元。
Delta Lake概述
Delta数据湖方案如下：在大数据存储层之上提供了数据管理层，该数据管理层等同于数据库中的元数据管理，其元数据随着数据一起存放并对用户可见（例如 图 1 所示）。Delta基于元数据管理引入了ACID，解决了因数据导入失败而产生脏数据和数据...
数据地图概述
元数据采集与接入 MaxCompute数据 如果您使用了MaxCompute引擎，您可以直接在数据地图进行MaxCompute表元数据管理的相关操作。其他类型元数据 除MaxCompute外，您还可以通过元数据采集功能将不同数据源中的元数据导入数据地图进行统一管理...
Spark UDF
说明 数据湖元数据管理不支持针对UDF的Alter语法，如果需要修改元数据的一些配置，请DROP对应的UDF后重新创建。使用UDF 实现UDF。初始化一个Maven管理工程，并在依赖中加入如下代码：<dependency><groupId>org.apache.hive</groupId>...
快速玩转Tablestore入门与实战
数据流计算篇 基于Tablestore打造亿量级订单管理解决方案 基于Tablestore多元索引打造亿量级店铺搜索系统 海量智能元数据管理系统实现解析 基于Tablestore的海量保险单查询平台 消息数据 表格存储 自研的Timeline模型主要用于消息数据，...
阿里云DLF数据源
概述 阿里云Data Lake Formation（DLF）是阿里云上的统一元数据管理服务，兼容Hive Metastore协议。SelectDB 可以像访问 Hive Metastore 一样，连接并访问 DLF。连接DLF 创建基础的DLF Catalog CREATE CATALOG dlf PROPERTIES("type"="hms...
DataWorks on EMR集群配置最佳实践
DataWorks支持绑定EMR（E-MapReduce）的DataLake（新版数据湖）集群为EMR计算引擎，创建Hive、MR、Presto和Spark SQL等节点，实现EMR任务工作流的配置、定时调度和元数据管理等功能，帮助EMR用户更好地产出数据。本文为您介绍在DataWorks上...
- 产品推荐
- 这些文档可能帮助您