Paimon与Hive集成
E-MapReduce支持在Hive中查询Paimon数据。本文通过示例为您介绍如何在Hive中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Hive中查询Paimon中的数据。操作步骤 查询Hive Catalog与DLF Catalog中...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
EMR元数据迁移公告
本文为您介绍迁移E-MapReduce（简称EMR）元数据至数据湖元数据DLF（Data Lake Formation）中的原因及迁移流程。迁移原因 2020年阿里云EMR推出全新的数据湖构建和统一元数据服务，为EMR用户提供了更好的统一元数据服务方案。阿里云EMR团队...
数据格式描述文件
本文介绍索引数据的描述文件（Ingestion Spec文件）。Ingestion Spec（数据格式描述）是Druid对要索引数据的格式以及如何索引该数据格式的一个统一描述，它是一个JSON文件，一般由三部分组成。{"dataSchema":{.},"ioConfig":{.},...
Paimon与Trino集成
E-MapReduce支持在Trino中查询Paimon数据。本文通过示例为您介绍如何在Trino中查询Paimon中的数据。使用限制 EMR-3.46.0及后续版本、EMR-5.12.0及后续版本的集群，支持在Trino中查询Paimon中的数据。操作步骤 指定warehouse路径。Paimon将...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
使用E-MapReduce采集Kafka客户端Metrics数据
本文介绍如何通过E-MapReduce，从Kafka客户端采集Metrics数据，从而有效地进行性能监控。前提条件 已创建Kafka集群，详情请参见 创建集群。说明 本文以EMR-3.21.3版本为例介绍。背景信息 Kafka提供了一套非常完善的Metrics数据，覆盖Broker...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
Spark对接OSS
Spark对接OSS提供了高效、灵活的数据处理和分析方式，将大数据处理和云存储相结合。本文介绍Spark如何处理和分析OSS中的数据。背景信息 当前E-MapReduce：支持 MetaService 服务。支持通过免AccessKey方式访问OSS数据源。支持通过显式写...
SDK概述
E-MapReduce各版本SDK的发布说明。说明 emr-oss：支持Hadoop、Spark与OSS数据源的交互，默认已经存在集群的运行环境中，作业打包时不需要将emr-oss打进去。emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
JindoTable SDK模式归档和解冻命令介绍
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 只在MapReduce作业时使用，为MapReduce作业...
使用JindoTable实现对OSS上表或分区的归档和解冻
否-mr/-mapReduce 使用Hadoop MapReduce而非本地多线程来归档数据。否-e/-explain 如果出现该选项，则为解释（explain）模式，只会显示待移动的分区列表，而不会真正移动数据。否-w/-workingDir 该目录只在MapReduce作业执行时使用，作为...
下线DataNode
随着数据湖技术的普及，越来越多的E-MapReduce（简称EMR）用户选择把数据存放在全托管的数据存储服务中（例如，OSS-HDFS和OSS对象存储等），这样原有的Hadoop集群就不需要很多的DataNode。下线（Decommission）EMR集群的DataNode（Core节点...
MapReduce开发手册
本文以EMR-3.27.0集群为例，通过以下示例为您介绍如何在E-MapReduce集群中开发MR作业。在MapReduce中使用OSS 在MapReduce中读写OSS，需要配置如下参数。说明 请确保在代码运行环境设置了环境变量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_...
Impala概述
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
DLF统一元数据
本文为您简单介绍阿里云数据湖构建，以及如何切换E-MapReduce（简称EMR）的元数据存储类型。背景信息 阿里云数据湖构建是一款全托管的快速帮助用户构建云上数据湖的服务，产品为云原生数据湖提供了统一的元数据管理、统一的权限与安全管理...
克隆集群
前提条件 已创建数据湖（DataLake）、实时数据流（DataFlow）、数据分析（OLAP）、数据服务（DataServing）和自定义场景（Custom）的集群，详情请参见 创建集群。使用限制 如果已有集群的产品版本、业务场景或地域不存在，则不支持克隆。...
Streaming SQL作业配置
库名称 版本 发布日期 引用字符串 详细信息 datasources-bundle 2.0.0（推荐）2020/02/26 sharedlibs:streamingsql:datasources-bundle:2.0.0 支持数据源：Kafka、Loghub、Druid、TableStore、HBase、JDBC、DataHub、Redis、Kudu和DTS。...
概述
当Producer设定 request.required.acks 为all或-1，且写入副本数大于等于2时，数据写入才能成功。参数说明 您可以在E-MapReduce控制台的 配置 页面，查看Kafka的服务配置。配置项 描述 zookeeper.connect Kafka集群Zookeeper的连接地址。...
概述
Apache Druid是一个分布式内存实时分析系统，用于解决如何在大规模数据集下快速的、交互式的查询和分析问题。基本特点 Apache Druid具有如下特点：支持亚秒级的交互式查询。例如，多维过滤、Ad-hoc的属性分组和快速聚合数据。支持实时的...
将Kafka数据导入JindoFS
Kafka广泛用于日志收集、监控数据聚合等场景，支持离线或流式数据处理、实时数据分析等。本文主要介绍Kafka数据导入到JindoFS的几种方式。常见Kafka数据导入方式 通过Flume导入 推荐使用Flume方式导入到JindoFS，利用Flume对HDFS的支持，...
Delta连接器
EMR Trino提供了独立的Delta连接器，在E-MapReduce集群上支持了较为完整的数据湖特性并进行了特性扩展。背景信息 Delta Lake是DataBricks公司推出的一种数据湖方案，以数据为中心，围绕数据流走向推出了一系列功能特性，详情请参见 Delta ...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
Hive数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hive Catalog。前提条件 已创建包含Hive服务的集群，例如DataLake或Custom集群，详情请见 创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功连接到集群，...
Hudi数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Hudi Catalog。前提条件 已创建包含Hudi服务的集群，例如DataLake或Custom集群，详情请见 创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功连接到集群，...
Delta Lake数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Delta Lake Catalog。前提条件 已创建包含Delta Lake服务的集群，例如DataLake或Custom集群，详情请见 创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功...
使用E-MapReduce进行MySQL Binlog日志准实时传输
本文介绍如何利用阿里云SLS插件功能和E-MapReduce集群进行MySQL Binlog的准实时传输。前提条件 已在E-MapReduce上创建Hadoop集群，详情请参见 创建集群。已创建MySQL类型的数据库（例如RDS或DRDS）。MySQL必须开启Binlog，且Binlog必须为...
创建阈值报警规则
云监控（CloudMonitor）是阿里云的一种监控告警服务，当您需要监控E-MapReduce资源的使用和运行情况时，可以通过创建阈值报警规则，实现监控项超过设定阈值后自动发送报警通知的功能，帮助您及时了解监控数据异常并快速进行处理。...
E-MapReduce支持倚天云服务器
阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助您降低成本并提高效率。本文为您介绍倚天云服务器的特性、优势，以及在E-Mapreduce上倚天云服务器的...
Paimon数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Paimon Catalog。前提条件 已创建包含Paimon服务的集群，例如DataLake或Custom集群，详情请参见 创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功连接到...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来处理分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer的实现，基于OSS的Multipart Upload接口，...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
Jindo Job Committer使用说明
背景信息 Job Committer是MapReduce和Spark等分布式计算框架的一个基础组件，用来解决分布式任务写数据的一致性问题。Jindo Job Committer是阿里云E-MapReduce针对OSS场景开发的高效Job Committer，基于OSS的Multipart Upload接口，支持OSS...
- 产品推荐
- 这些文档可能帮助您