元数据宕机的原因-元数据宕机的原因文档介绍内容-阿里云

集群高可用

阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...

事件告警

告警的处理方式元数据空间不足告警原因 元数据空间指的是SMB或NFS共享所对应的缓存盘中用于存储元数据的空间，主要包括目录结构等信息，文件数目越多，使用的元数据空间也就越大。共享使用的缓存盘由数据空间和元数据空间组成，默认20%的...

数据湖加速查询

Hologres联合DLF、OSS推出湖仓一体架构的数据湖加速服务，助力企业实现海量数据的低成本存储、统一的元数据管理和高效的数据分析和洞察。Hologres通过与DLF、OSS无缝集成，以外部表的方式，无需移动数据（外表只做字段映射，不真正存储数据...

使用SQL查询时序数据

创建时序表并建立SQL映射关系后，您可以通过控制台、SDK等不同方式使用SQL查询时序数据。时序表的SQL映射关系根据每个时间线每个时刻对应一个值或者多个值，时序模型分为“单值模型”和“多值模型”。对于同一个时序表，您可以建立三种SQL...

0026-00000004

问题描述并发修改对象的元数据或标签。问题原因您执行的对象元数据修改操作或对象标签修改操作产生冲突。问题示例无。解决方案请勿执行对象元数据或对象标签的并发修改操作。相关文档 StaleFile

创建Hadoop计算源

元数据库获取方式参数描述数据库类型根据集群中使用的元数据库类型，选择数据库。Dataphin支持选择 MySQL。支持 MySQL 的版本包括 MySQL 5.1.43、MYSQL 5.6/5.7 和 MySQL 8 版本。JDBC URL 填写目标数据库的JDBC连接地址。例如：MySQL...

CopyObject

重要如果拷贝操作的源Object地址和目标Object地址相同，且未开启版本控制时，则无论x-oss-metadata-directive为何值，都会忽略源Object的元数据，目标Object将直接采用请求中指定的元数据。x-oss-server-side-encryption 字符串否 AES256...

创建集群

内置MySQL（不推荐）：该方式的元数据存储在集群本地环境的MySQL数据库中。说明测试场景：推荐使用 DLF统一元数据。生产场景：可以使用 DLF统一元数据或自建RDS。集群存储根路径当您在可选服务区域选择了OSS-HDFS服务时，需要配置该...

计算层高可用

同时对于interactive模式下本身目标在于延迟敏感的分析场景，目前对于计算节点异常宕机的场景，计算引擎会通过查询级别重算，保证查询稳定性。Batch模式对于类似ETL等数据清洗任务，这类任务计算时间长，计算资源消耗大，如果依然查询级别...

设置宕机自动迁移

为了降低物理故障对业务的影响，阿里云为您提供专有宿主机DDH宕机自动迁移的功能。本章节介绍在创建DDH后如何开启或者关闭宕机自动迁移。背景信息宕机自动迁移开启后，当DDH因故障停机时，会自动迁移至健康的DDH。若您未开启宕机自动迁移...

0024-00000505

问题描述元数据转换任务...问题原因您创建的元数据转换任务数量超过了上限。问题示例该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案检查任务是否超过上限，删除不使用的多余任务后重试。相关文档 OSS-HDFS服务的元数据转换

0024-00000506

问题原因您创建的元数据转换任务中，Path数量超过了上限。问题示例该功能为邀测功能，未对全部用户开放，暂不提供示例。解决方案检查Path是否超过上限，删除多余的Path任务后重试。相关文档 OSS-HDFS服务的元数据转换

管理元数据

在元数据管理页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述元数据名称元数据的名称。...

管理元数据

在元数据管理页面，查看系统元数据及自定义的元数据。您可以在搜索框中输入元数据名称的关键字快速搜索元数据。您也可以单击图标，通过选择数据对象、存储类型、引用状态、负责人快速筛选元数据。参数描述元数据名称元数据的名称。...

API概览

库库 CreateDatabase 新增元数据库在数据湖元数据中创建一个新的元数据库。DeleteDatabase 删除元数据库根据名称删除数据湖元数据库。UpdateDatabase 更新元数据库信息更新数据湖元数据库的详细信息。GetDatabase 获取元数据库详情 ...

元数据管理

元数据管理是构建数据湖重要一环，通过有效集中式的元数据管理，可以提升数据资产价值。您可以使用该功能管理元数据库和元数据表。创建元数据库登录数据湖管理控制台，选择元数据目录下的 元数据管理。单击新建数据库。配置元数据库...

使用mount命令挂载ext4文件系统

当软件发生崩溃或者硬件发生宕机时，如果使用默认的挂载方式（不指定挂载参数）挂载文件系统，由于部分用户数据、文件系统元数据仍在内存中未写入硬盘，因此会有数据丢失的风险。如果使用本场景推荐的挂载参数，任何内存的修改都会同步写入...

概述

利用智能媒体管理服务的人工智能（AI）引擎对图片、视频、音频等媒体文件进行分析得到的标签、人物、文本等丰富的元数据信息。应用场景企业文件管理系统您可以根据关键词查询文件，例如查询包含某个关键词的文件，查询包含某个人物的视频...

元数据管理概述

元数据指的是那些可以用来描述数据属性的信息数据，通过数据同步服务元数据管理功能，您可以连通数据源中的库表元数据信息，包括库名、表名、表字段等信息。...元数据管理限制目前元数据管理只支持管理 OceanBase 数据源的元数据。

元数据抽取

在业务运行中，经常会沉淀到大量数据到数据湖中这部分数据可能是没有像数据仓库一样经过严格的数据管理流程或沉淀规范明确的元数据信息。元数据抽取可以分析数据湖中特定格式的数据，并自动生成元数据信息，通过周期性或手动执行，实现数据...

数据湖构建的审计事件

数据湖构建已与操作审计服务集成，您可以在操作审计中查询用户操作数据湖构建产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足实时审计、问题回溯分析等需求。操作审计记录了用户通过...

迁移元数据上云

迁移元数据上云是指将开源RabbitMQ集群的元数据导出，并将其导入到阿里云云消息队列 RabbitMQ 版实例。云消息队列 RabbitMQ 版会根据成功导入的元数据在目标云消息队列 RabbitMQ 版实例中创建对应的Vhost、Queue、Exchange、Binding，...

EMR元数据迁移公告

本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...

方案背景

用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Meta）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小、创建时间、用户等。随着人工智能的发展，通过AI技术提取文件核心要素也成为文件元数据的重要信息。以...

数据权限概述

数据湖权限支持配置数据库、数据表、数据列、函数四种维度细粒度权限。下面针对不同的数据操作，对所需要配置的权限进行说明，并对Owner权限的定义和权限鉴定方式进行详细说明。权限设置权限设置主要为数据目录（Catalog）开启和关闭权限...

计费模式

说明元数据请求计费案例：1月通过EMR、MaxCompute、Hologres等计算引擎创建、访问了元数据，实际访问的元数据次数为120万，则1月实际产生的费用=0元（前100万次元数据请求免费）+5元（100万到120万的元数据请求）=5元。在2月1号，会从账号...

Hive统一元数据

使用统一的元数据库，如果您的所有数据都存放在OSS之上，则不需要做任何元数据的迁移和重建，所有集群都是可以直接访问数据，这样每个EMR集群可以做不同的业务，但是可以很方便地实现数据的共享。创建使用统一元数据的集群支持以下两种...

基本概念

元数据智能媒体管理提供的元数据管理功能可以帮助用户对存储在对象存储（OSS）、相册与网盘服务（PDS）等产品中的文件的元数据进行采集、分析、查询等。元数据管理支持的文件元数据包括：文件大小、文件格式、创建时间等文件的基础信息。...

GetMetaQueryStatus

调用 GetMetaQueryStatus 接口获取指定存储空间（Bucket）的元数据索引库信息。注意事项要获取存储空间的元数据索引库信息，您必须有 oss:GetMetaQueryStatus 权限。具体操作，请参见为RAM用户授权自定义的权限策略。请求语法 GET/?...

元数据迁移

元数据迁移提供可视化的元数据迁移能力，可以帮您快速的将Hive Metastore的元数据迁移到数据湖构建（DLF）中。前提条件支持Hive版本：2.3.x 版本。支持元数据库类型：MySQL。创建元数据迁移任务创建迁移任务打开数据湖构建控制台。选择...

元数据采集

DataWorks数据地图为您提供元数据采集功能，方便您将不同系统中的元数据进行统一汇总管理，您可以在数据地图查看从各数据源汇集而来的元数据信息。本文为您介绍如何创建采集器，将各数据源的元数据信息汇集至DataWorks。前提条件您需要...

强制调用接口

阿里云CLI集成了部分云产品的元数据，调用时会检查参数的合法性。由于API具有不同的版本，导致内置的产品和接口信息并不能满足所有的需求。您可以强制调用元数据列表以外的接口，并自行检查该接口相关信息的准确性。force 选项说明在阿里...

元数据仓库共享模型概述

元数据共享模型存储方式及产出时效说明元数据共享模型是一系列元数据相关的物理表，基于Dataphin的系统元数据和相应计算引擎的元数据加工汇总而成，存在Dataphin元仓租户下的元仓项目中，产出时效为T+1。背景信息什么是元数据仓库？...