Kafka Manager
说明 当选择了Kafka服务，系统将默认安装Kafka Manager软件服务，并开启Kafka Manager的认证功能。注意事项 使用Kafka Manager进行partition reassign功能时，当前版本的Kafka Manager是没有提供限流功能的。如果需要限流，您可以通过 ...
通过客户端方式连接StarRocks实例
tar-zxvf mysql-5.6.40-linux-glibc2.12-i686.tar.gz 执行以下命令，复制解压后的mysql目录到系统的本地软件目录。cp mysql-5.6.17-linux-glibc2.5-i686/usr/local/mysql-r 重要/usr/local/mysql 目录结尾不可以带/（斜杠）。执行以下命令...
Hadoop集群迁移至DataLake集群
（可选）软件自定义配置 如果您导出了旧平台集群中的服务配置，或计划在创建集群流程中预置配置，则可以在新平台集群创建流程中开启软件自定义配置，并将编辑好的配置粘贴输入框中，详细使用方法请参见 配置自定义软件。硬件配置 在 查看...
进阶功能
本文介绍 Serverless 应用引擎 SAE（Serverless App Engine）源码部署的进阶功能。避免使用外网资源 源码部署构建时使用了多种方式避免公网、甚至跨境网络的访问，包括但不限于提前缓存热点资源、换源等。更换第三方依赖镜像源 源码部署中...
安装第三方插件
安装第三方插件，可以在不修改Flume源码的情况下，以插件的方式定制您需要的功能。例如，添加数据源和存储组件等。通过添加JindoFS SDK的插件，可以支持通过Flume直接将数据写入OSS。本文为您介绍如何安装第三方插件。前提条件 已获取第三...
通过开源组件GDB Console登录图数据库
GDB Console是阿里云图数据库GDB自有开源组件，您可以根据自有业务需求对可视化界面进行二次开发。操作步骤 下载并安装GDB Console。下载Release版本，可以直接安装使用。更多信息，请参见 Release版本下载。下载源码版本，可以进行二次...
功能特性
EMR on ECS 功能集 功能 功能描述 参考文档 集群管理 创建集群 您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。创建集群 释放集群 在完成EMR集群任务后及时释放集群，可以释放资源...
Kerberos概述
在这种高安全级别的集群中，所有开源组件均采用Kerberos安全模式启动，确保只有经过Kerberos认证的客户端能够访问集群提供的服务（例如HDFS）。背景信息 集群开启Kerberos之后：客户端：可以对可信任的客户端提供认证，使得可信任客户端...
Flink Python参考
背景信息 DataFlow集群的Flink Python API完全兼容开源的Flink版本，关于Flink Python API的详细信息，请参见 Python API。使用Python依赖 通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三方Python包 使用...
SDK简介与下载
本文简要介绍视频点播提供的所有SDK，同时提供各SDK及对应Demo源码最新版本的下载地址。说明 各SDK的历史发布记录请参见 SDK发布历史。SDK隐私权政策及合规使用说明 为了帮助您落实针对您的产品集成第三方SDK产品情况所应履行的隐私合规...
StarRocks概述
说明 本文部分内容来源于开源StarRocks的 什么是StarRocks。StarRocks特性 StarRocks的架构设计融合了MPP数据库，以及分布式系统的设计思想，其特性如下所示。架构精简 StarRocks内部通过MPP计算框架完成SQL的具体执行工作。MPP框架能够...
创新、资质和荣誉
2020 年，中华财险“理赔服务资源管理系统”荣获 IDC 金融行业技术应用场景创新奖 2021 年，新华人寿云翼项目荣获财经颁发“长青奖”知识产权与技术创新 26 项软件著作权 69 项技术专利 资质和认证 2016 年 9 月，获得信息系统安全等级保护...
基础使用
写数据 环境配置 EMR-3.32.0以及后续版本中，已经将Hudi相关依赖集成到各个开源组件中，包括Spark、Hive和Presto，因此运行时不需要引入额外的Hudi依赖，只需要在pom文件中添加Hudi依赖即可。不同的EMR版本使用的Hudi版本不同，详细信息请...
快速使用EMR on ACK
关于Spark的更多介绍，可以参见开源文档 Quick Start，选择适合您的语言和版本。提交作业的详细信息请参见：提交Spark作业 使用CLI提交Presto作业 提交Flink作业 通过kubectl连接Kubernetes集群，详情请参见 获取集群KubeConfig并通过...
开源客户端首次连接配置
本文以Java SDK为例介绍开源MQTT客户端首次连接服务端时如何初始化客户端和配置自动重连功能。开源客户端Java SDK下载地址 paho.mqtt.java SDK版本 SDK依赖如下，建议使用最新版本。groupId>org.eclipse.paho</groupId>...
产品优势
阿里云E-MapReduce（简称EMR）为您提供相对方便可控的企业级开源大数据服务。您可以快速搭建开源大数据服务，例如Hadoop、Spark、Flink、Kafka和HBase服务。稳定可靠的开源组件 100%采用社区开源组件，随开源版本升级迭代，详情请参见 版本...
产品概述
什么是E-MapReduce 开源大数据开发平台E-MapReduce（简称EMR），是运行在阿里云平台上的一种大数据处理的系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理...
产品简介
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
安装SDK
本节介绍阿里云E-MapReduce Python 2.7+SDK安装流程。SDK安装 通过pip进行安装。sudo pip install aliyun-...sudo pip uninstall aliyun-python-sdk-emr SDK源码 源码下载地址$icmsDocProps={'productMethod':'created','language':'zh-CN',};
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
Iceberg概述
对比项 子项目 开源Clickhouse实时数仓 开源Hive离线数仓 阿里云Iceberg数据湖 系统架构 架构 计算存储一体 计算存储分离 计算存储分离 多计算引擎支持 不支持 支持 支持 数据存储在对象存储 不支持 支持不完善 支持 数据存储在HDFS 不支持...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
释放集群
当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。本文为您介绍如何释放集群。前提条件 请确保待释放集群的状态是创建中、运行中或空闲中。操作步骤 登录 EMR on ACK。...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
- 产品推荐
- 这些文档可能帮助您