集群高可用
如果Utility节点宕机或者Utility节点上的MariaDB Master出现故障，仅需要简单的操作就可以将元数据库切换到cdp-master-1节点上的备库，具体操作如下：在cdp-master-1上运行命令：mysql 进入mysql终端 停止MariaDB Slave的IO线程：stop ...
EMR+DLF数据湖解决方案
在创建EMR集群时，如果您选择的DataLake集群类型，并且有选择Hive服务的情况下，会出现元数据选项，如下图选择“DLF统一元数据”。如果您没有开通DLF，会提醒您先开通DLF产品。步骤二：初始化元数据 初始化元数据分为两种情况：原有大数据...
元数据仓库共享模型概述
元仓共享模型是基于Dataphin内部的系统元数据表，通过任务加工生成的可以被稳定、标准化访问的开放元数据表，可降低对系统元数据表的依赖，提升系统稳定性。基于开放的元数据信息，您可以结合业务场景进行二次开发，以更好地满足对下游业务...
如何管理事件
如下图所示：字段描述 故障名称：事件 升级为 故障 后的 名称，限制 36个字符；故障等级：设置当前需要升级的 故障等级 P1-P4。P1最高优，P4最低优；故障状态：处理中（升级时故障还在处理中），输入发现故障的时间、已恢复（升级时故障已...
配置自建RDS
本文介绍如何配置自建的阿里云RDS，作为E-MapReduce（简称EMR）上DataLake集群、Custom集群或Hadoop集群的元数据。...说明 在初始化之前，Hive的Hive MetaStore、HiveServer2和Spark的ThriftServer可能会出现异常，待初始化之后会恢复正常。
欠费说明
实例以及Topic、ConsumerGroup等元数据会继续保留。在此期间支持 续费 操作，续费成功后实例恢复使用。实例到期7天后：若您在实例到期7天内未完成续费，云消息队列 RocketMQ 版 实例及相关Topic和ConsumerGroup等元数据全部被释放且不可...
附录：数据地图权限管控能力总览
DataWorks默认租户成员可进入数据地图模块，在数据地图模块中，默认可查看已接入数据地图的项目元数据，您可通过当前文档针对以上场景进行不同粒度的访问控制。数据地图权限管控介绍 数据地图支持的 功能模块、项目、表 这三个级别的元数据...
ODPS-0121096
Reached maximum retry times because of OTSStorageTxnLockKeyFail(Inner exception:Transaction timeout because cannot acquire exclusive lock.)错误码描述 MaxCompute允许多个作业同时写入数据到单个表。当多个作业同时处于元数据提交...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
文件元数据离线分析
EMR-3.30.0及后续版本的Block模式，支持dump整个namespace的元数据信息至OSS中，并通过Jindo Sql工具直接分析元数信息。背景信息 在HDFS文件系统中，整个分布式文件的元数据存储在名为fsimage的快照文件中。文件中包含了整个文件系统的命名...
SHOW CATALOGS
Catalog记录了数据库、表等元数据。本文介绍如何通过DDL语句展示流引擎中所有的Catalog。语法 SHOW CATALOGS 说明 流引擎中默认存在两个Catalog：lindorm_stream，流引擎目录。您可以在此目录中创建数据库、流表和持续查询等。lindorm_...
使用Tablestore作为存储后端
一个EMR JindoFS集群可以绑定一个Tablestore实例（Instance）作为JindoFS元数据服务的存储介质，元数据服务会自动为每个Namespace创建独立的Tablestore表进行管理和存储元数据信息。元数据服务（双机Tablestore和HA）架构图如下所示。配置...
使用Tablestore作为存储后端
一个EMR JindoFS集群可以绑定一个Tablestore实例（Instance）作为JindoFS元数据服务的存储介质，元数据服务会自动为每个Namespace创建独立的Tablestore表进行管理和存储元数据信息。元数据服务（双机Tablestore和HA）架构图如下所示。配置...
0037-00000005
问题描述 元数据索引查询参数有误。问题原因 您发起了DoMetaQuery请求查询Bucket中符合条件的文件，但是查询请求体XML结构不符合规范。问题示例 无 解决方案 结合响应中的ErrorCode和ErrorMessage定位请求体XML中存在的问题，并结合...
管理文件元数据
设置自定义元数据 您可以自定义文件的元数据来对文件进行描述。以下代码用于设置文件的自定义元数据。package com.aliyun.oss.demo;import com.aliyun.oss.ClientException;import com.aliyun.oss.OSS;import com.aliyun.oss.common.auth.*...
新建ArgoDB计算源
参数 描述 元数据获取方式 支持从元数据库获取和HMS获取方式。使用HMS请先在配置文件中上传hdfs-site.xml、hive-site.xml、core-site.xml文件及配置认证方式。数据库类型 选择ArgoDB的元数据库类型。系统目前支持ArgoDB。JDBC URL 填写对应...
客户端加密
OSS客户端加密是在数据上传至OSS之前，由用户在本地对数据进行加密处理，确保只有密钥持有者才能解密数据，增强数据在传输和存储过程中的安全性。免责声明 使用客户端加密功能时，您需要对主密钥的完整性和正确性负责。因您维护不当导致主...
迁移有潜在故障风险的DDH
如果一台DDH有潜在故障风险，其物理机处于可用状态，但随时可能出现故障，导致DDH中的ECS实例出现问题。您可以自主迁移有潜在故障风险的DDH到其他物理机，避免相关业务因DDH故障受到影响。前提条件 请先将DDH上的ECS实例全部停机，否则迁移...
概述
什么是媒资 内容生产过程中会产生的大量的音视频、图片、文字等业务数据，媒资是指这些业务数据、描述这些业务数据的元数据以及相关的一些数据信息。媒资类型 媒资信息的分类如下图所示：信息类型 描述 参考文档 基础信息 音视频信息：包括...
EMR元数据迁移到数据湖构建（DLF）
本文为您介绍如何将Hive MetaStore存储在MySQL、RDS中的元数据迁移到DLF中，并介绍如何在EMR集群中配置使用DLF作为数据湖统一元数据。适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体...
EMR Kafka磁盘故障运维
业务场景 Kafka将日志数据存储到磁盘中，当磁盘出现故障时，会导致磁盘IO能力下降、集群吞吐下降、消息读写延时或日志目录offline等问题。这些情况有可能影响到线上业务平稳运行、数据丢失、Kafka集群容错能力下降，单块盘故障甚至有可能...
管理服务版本
当某个集群出现故障时，设置流量到该集群的权重为0，即可达到流量切换目的。说明 服务版本管理依赖服务节点上关联的元数据信息。对于容器服务K8s，服务节点上的元数据信息来源于Pod的 Labels 属性。例如，如果使用的是SpringCloud应用并...
set-meta（管理文件元数据）
Oss-Storage-Class:Archive-include"*abc*"-exclude"*.jpg"-exclude"*.txt"-u-r 重要 通过 set-meta 命令对大于100 MB的冷归档或者深度冷归档存储类型Object进行存储类型转换时，可能会出现因服务器超时导致转换操作失败的问题。...
均衡分片（Rebalance）
分片分布不均衡示例：如下图有Worker节点没有分片时，监控信息中会出现如下类似情况，有Worker节点的负载远低于其他Worker。使用如下SQL查询Worker加载分片元数据情况：SELECT DISTINCT worker_id FROM hologres.hg_worker_info;返回结果：...
管理服务版本
当某个集群出现故障时，设置流量到该集群的权重为0，即可达到流量切换目的。服务版本管理依赖服务节点上关联的元数据信息。对于容器服务K8s，服务节点上的元数据信息来源于Pod的Labels属性。例如，如果使用的是SpringCloud应用并关联了K8...
基本概念
用来描述文件信息，例如文件类型、编码方式等 Data 文件数据 Key 文件名 ACL(Access Control List)存储空间或者文件的权限 说明 如果没有特殊说明，本文中出现和术语表中相同的英文和中文，表达的是相同的意思。某些场景下，为了表述方便会...
资源规划
该元数据可用于基于各种数据点对资产进行分类。当使用标签对资产进行分类作为成本管理工作的一部分时，公司通常需要以下标签：业务部门，部门，计费单元，地理位置，环境，项目或“应用程序分类”。阿里云费用中心的“分账账单”可以使用...
新建ArgoDB数据源
通过创新建ArgoDB数据源能够实现Dataphin读取ArgoDB的业务数据或向ArgoDB写入数据。本文为您介绍如何新建ArgoDB数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作步骤 在Dataphin...
宽表模型设计
如果格式不匹配也会被当做脏数据丢弃，则会出现数据在表中能查询到，但是在多元索引中查询不到的情况。关于数据类型映射的更多信息，请参见 数据类型映射。字段名称 类型 vin_id Keyword v_color Keyword license_plate_number Text ...
连接HoloWeb
在 HoloWeb 开发界面，您可以单击顶部菜单栏右侧的 互动学习，在界面右侧会出现 互动学习 区域。该区域为您介绍了HoloWeb的基本使用流程，您可以参考所给的流程步骤，快速学习并完成一个简单的试验。在 互动学习 区域底部，您可以反馈该...
历史版本常见问题
这两种方式均无法保证数据的强一致性，均有可能出现数据不一致、数据延迟等问题。处理建议 将实例升级至PolarDB-X 2.0。PolarDB-X 1.0 中的广播表是弱依赖的，应用需要能接受广播表数据出现不一致等情况。广播表尽可能减少增删改，以查询为...
应用场景
通过分析设备元数据来实时监控设备的运转状态，出现异常及时响应，避免故障发生等。在工业生产过程中对数据存储与分析的需求如下：数据存储：设备状态数据定时上报，通过数据网关上云存储，需要支持海量设备元数据存储，可能达到千万级甚至...
元数据导出
DLF提供了元数据导出工具，可以帮您将DLF元数据导出到Hive Metastore元数据中。前提条件 已有一个EMR集群，且Metastore服务配置的元数据库与导出的目标RDS库要一致。同步任务会使用EMR集群的Metastore服务，以Spark作业的方式运行在该EMR...
2020年
无 2020年5月 oss_fdw插件 新增oss_fdw插件，用于Aliyun OSS外部表支持，您可以通过OSS外部表将数据库数据写入到OSS，也可以通过OSS外部表将OSS数据加载到数据库中，OSS外部表支持并行和压缩，极大提高了导入和导出数据的性能，同时也可以...
- 产品推荐
- 这些文档可能帮助您