集群自定义监控报表
集群数据库 io_write_rt SSStore 每次写入平均耗时 集群数据库 io_read_size SSStore 每秒读取数据量 集群数据库 io_size SSStore 每秒处理数据量 集群数据库 io_write_size SSStore 每秒写入数据量 集群数据库 transaction_multi_...
新功能发布记录
2024-03-14 管理尽力交付 2023年 2023年10月 功能名称 功能概述 发布时间 相关文档 EMR正式支持倚天云服务器 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性...
EMR+DLF数据湖解决方案
步骤三：初始化数据 初始化数据一般常见的几种情况如下：已有大数据集群，需要进行数据迁移，此时可以考虑通过 Jindo DistCp 工具将老集群的数据迁移到OSS中。从RDS/MySQL/Kafka 等业务系统接入数据，此时可以考虑通过实时计算Flink实现...
开通EMR Doctor（Hadoop集群类型）
功能介绍 EMR Doctor是开源大数据集群的管家，提供了一站式的智能诊断和优化服务。通过EMR Doctor，您可以高效地运维大数据集群和服务，持续的优化集群的资源使用率，使集群处于健康稳定的状态，更好的为上层业务提供计算服务。EMR Doctor...
什么是EMR on ECS
与自建Hadoop集群对比 开源大数据开发平台EMR与自建Hadoop集群的优势对比如下表所示。对比项 阿里云EMR 自建Hadoop集群 成本 支持按量和包年包月付费方式，集群资源支持灵活调整，数据分层存储，资源使用率高。无额外软件License费用。需...
EMR元数据迁移到数据湖构建（DLF）
适用场景 从其他大数据集群迁移到阿里云E-MapReduce产品。从阿里云EMR老集群（MySQL做元数据），整体集群需要迁移到阿里云EMR新集群（DLF做元数据）。从阿里云EMR老集群（MySQL做元数据），仅元数据修改为DLF。说明 仅EMR-3.33及后续版本、...
迁移方案
对接自建平台 如果您自建了一套大数据平台，则DataFlow集群也可以轻松集成进您现有的平台中：资源管理与运维 DataFlow集群基于YARN进行资源调度与管理，因此只需要按照集成YARN集群到已有平台的通常操作进行即可。您可以根据需要配置YARN...
数据湖集群
E-MapReduce（简称EMR）新版控制台提供了数据湖集群，一个更灵活、可靠，以及高效的大数据计算集群。同时，您可以基于该集群轻松构建一个可扩展的数据管道。本文为您介绍数据湖集群支持的特性，以及与旧版Hadoop集群之间的差异。数据湖集群...
服务关联角色
AliyunServiceRoleForCDP应用场景 Cloudera企业数据云平台集群创建及数据源绑定功能需要访问 云服务器ECS、专有网络VPC 等云服务的资源时，需要通过服务关联角色AliyunServiceRoleForCDP获取访问权限。AliyunServiceRoleForCDP权限说明 ...
使用独立的Trino集群
背景信息 在使用开源大数据平台E-MapReduce控制台时，您可以在创建DataLake集群、自定义集群或Hadoop集群时选择Trino服务，或者创建独立的Trino集群使用Trino服务。Trino集群具备以下特点：Trino独享集群资源，受其他组件干扰少。支持弹性...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
实现开发生产等多套环境隔离
背景信息 很多企业用户在大数据的研发流程中有创建并隔离多套环境的需求，如创建并完全隔离开发、测试、生产环境，即各环境的数据物理存储地址、任务运行集群、大数据作业脚本均隔离，并对操作人员有严格的权限管控，如仅运维团队可使用...
功能特性
分布式事务引擎 OceanBase 数据库的分布式事务引擎严格支持事务的 ACID 属性，并且在整个集群内严格支持数据强一致性，是全球唯一一家通过了标准 TPC-C 测试的原生分布式关系型数据库产品。OceanBase 数据库通过 Paxos 协议将事务日志复制...
客户案例
价值体现 从大数据平台上云整体“降本增效”的方案快速切入，迁移到大数据MaxCompute、实时计算、DataWorks后，部分任务有10倍以上的性能提升，存储从自建Hadoop 3PB降到900T，利用Flink实时数据处理能力，将宝宝树现有的场景实时化（...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
创建集群
本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，则不能选择Hadoop、Data Science、Presto、Zookeeper集群类型。前提条件 已...
JindoFS实战演示
云上计算云下数据：HDFS缓存加速 云上计算云下数据：HDFS缓存加速 2021-06-29 随着云计算越来越成熟，带来弹性扩容、运维方便、节省成本等优点，越来越多企业开始将大数据平台搬到云上。云下的HDFS集群存在历史数据，其中可能包含敏感数据...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
什么是EMR on ACK
阿里云E-MapReduce（简称EMR）on ACK提供了全新构建大数据平台的方式。您可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注...
注册CDH或CDP集群至DataWorks
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
DataWorks On CDP/CDH使用说明
背景信息 CDH是Cloudera的开源平台发行版，提供开箱即用的集群管理、集群监控、集群诊断等功能，并支持使用多种组件，助力您执行端到端的大数据工作流程。CDP是跨平台收集和整合客户数据的公共数据平台，可帮助您收集实时数据，并将其构建...
注册EMR集群至DataWorks
背景信息 开源大数据开发平台 E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还...
集群运维与监控
本文主要介绍Databricks数据洞察在集群维度的监控与告警能力。背景信息 目前Databricks数据洞察主要采用 阿里云监控 服务，完整对接DBR指标体系，实现多维度、多实例、多时段的指标图表监控，用户可以根据业务情况，灵活自定义告警规则，...
Hadoop集群迁移至DataLake集群
（可选）梳理 旧集群弹性伸缩规则 旧平台集群中如果配置了弹性伸缩规则，请查看已配置的弹性伸缩规则，重点关注信息（例如，最大实例数、最小实例数、优雅下线、触发方式、触发规则），并在新平台集群创建完成后，重新配置弹性伸缩规则，...
集群版-单副本
使用场景 数据量较大 集群版可以有效地扩展数据规模量大小，相比标准版可提供更大的存储量，例如64 GB、128 GB、256 GB集群版，可以有效的满足数据扩展需求。纯缓存应用 单副本集群版的分片服务器由单节点组成，分片服务器某节点出现故障时...
AnalyticDB MySQL 2.0数据导入
MaxCompute中已经没有原始数据，原始数据只存在于 AnalyticDB for MySQL 2.0集群的数据库中，可以使用两种数据迁移方式将 AnalyticDB for MySQL 2.0集群中的数据导入到 数仓版（3.0）。具体操作，请参见 数据迁移。准备工作 了解 ...
公共节点
公共场景支持计算引擎，提供节点统一定义、版本管理功能，提供在各个数据加工场景中跨存储/计算平台复用的能力，通过节点版本管理，定制适合不用业务或时期的数据加工流程，提高数据开发效率。操作步骤 登录 数据资源平台控制台。在页面...
新功能发布记录
ACU时包 2023年2月 V3.1.6.4 类别 名称 说明 相关文档 新增 Roaring Bitmap函数 Roaring Bitmap是一种高效的Bitmap压缩算法，被广泛应用在各种语言和各种大数据平台，常用于去重、标签筛选、时间序列等计算中。Roaring Bitmap函数 漏斗分析...
无感数据集成（Zero-ETL）
方案概述 在大数据时代，企业面临着大量分散在不同的系统和平台上的业务数据，为了有效地管理和利用这些数据，企业往往需要依赖于ETL工具对数据进行集中式管理。ETL是将上层业务系统的数据经过提取（Extract）、转换清洗（Transform）、...
访问外部数据源
绑定数据源 绑定数据源的本质是打通不同VPC之间的网络，即将数据源集群所在VPC与目标Databricks数据洞察集群所在VPC的网络打通。数据源绑定之后，您可以在Notebook或Spark作业里直接访问对应数据源的数据。说明 对于数据源绑定场景，如果多...
概述
数据传输是 OceanBase 数据库提供的一种支持同构或异构数据源与 OceanBase 数据库之间进行数据交互的服务，具备在线迁移存量数据和实时同步增量数据的能力。产品功能 数据传输提供可视化的集中管控平台，您只需要进行简单的配置即可实时...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
Hadoop DistCp介绍
Hadoop DistCp（分布式复制）是一个用于大型集群间或集群内数据复制的工具，通过MapReduce实现复制过程中数据的分发、错误处理、恢复及报告。本文为您介绍Hadoop DistCp与Jindo DistCp的区别、Hadoop DistCp使用方法以及常见问题。说明 ...
StarRocks概述
具体的业务场景如下所示：OLAP多维分析 用户行为分析 用户画像、标签分析、圈人 高维业务指标报表 自助式报表平台 业务问题探查分析 跨主题业务分析 财务报表 系统监控分析 实时数仓 电商大促数据分析 教育行业的直播质量分析 物流行业的...
准备环境
前提条件 大数据开发治理平台DataWorks：购买DataWorks，详情请参见 购买指引。说明 因本示例提供的数据资源都在华东2（上海），建议购买时选择地域为华东2（上海）。对象存储OSS：已开通OSS服务，具体步骤，请参见 开通OSS服务。步骤一：...
CREATE ROLE
说明 角色是在数据库集群级别定义的，因此在集群的所有数据库中都有效。参数 参数 说明 name 新角色的名称。IDENTIFIED BY password 设置角色的密码。（密码仅用于具有 LOGIN 属性的角色，但也可以为不具备该属性的角色定义密码。如果未...
整体流程和预估时间
通过集群恢复方式，可以恢复整个集群的数据。集群恢复分为按时间点恢复和按备份集（快照）恢复，两者的差别在于要恢复至的时间点是否是备份集的时间点。如果是备份集的时间点，则可选择按备份集（快照）恢复，更方便。如果要恢复至的时间...
DSW连接EMR集群
EMR作为阿里云平台上的全托管大数据处理服务，集成了Apache Spark，使得用户能便捷地在云环境搭建、管理和使用Spark集群，并进行大规模数据处理、实时计算、机器学习任务以及图形处理等。使用限制 只有以下类型的DSW实例支持连接到EMR集群...
集群恢复：按备份集恢复
步骤三、将新集群的数据迁移到原集群 确认新集群的数据之后，若您还是想继续使用原集群，您可以使用DTS将数据从新集群迁移回原集群。登录 数据传输控制台，在左侧导航栏，单击 数据迁移。在 迁移任务列表 页面顶部，选择迁移的目标集群所属...
系统概述
通过集群管理系统，您可以查看集群的基本信息，完成数据管理、数据查询、集群管理等操作。同时，集群管理系统提供了集群监控和健康检查功能，支持通过系统查看集群、分组、节点、命名空间和表等多个层面的监控信息，有利于快速定位热点和...
- 产品推荐
- 这些文档可能帮助您