Delta Lake数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Delta Lake Catalog。前提条件 已创建包含Delta Lake服务的集群，例如DataLake或Custom集群，详情请见 创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功...
服务支持
本文档汇总了E-MapReduce的产品公告、发布记录、常见问题和服务等级协议等内容。产品公告 EMR Workflow公测说明 EMR旧版数据开发迁移公告 发布记录 新功能发布记录 常见问题 EMR on ECS常见问题 服务等级协议 E-MapReduce服务等级协议（SLA...
Iceberg数据源
本文为您介绍如何在E-MapReduce的StarRocks集群上创建和查看Iceberg Catalog。前提条件 已创建包含Iceberg服务的集群，例如DataLake或Custom集群，详情请参见创建集群。已创建包含StarRocks服务的集群，例如OLAP或Custom集群，并成功连接到...
开发参考
本文介绍了E-MapReduce的SDK和API相关的内容，供您进行对应的开发操作。EMR on ECS API概览 SDK概述
按量付费转包年包月
创建阿里云E-MapReduce的按量付费集群后，您可以将计费模式转为包月，提前预留资源，享受更大的价格优惠。本文介绍如何将按量付费集群转换为包月集群。前提条件 待转换的按量付费集群需要满足以下条件：归属于您的账号下。不能有未支付的...
在记录声明中使用%ROWTYPE
BEGIN SELECT ename,job,hiredate,sal,deptno INTO r_emp.ename,r_emp.job,r_emp.hiredate,r_emp.sal,r_emp.deptno FROM emp WHERE empno=p_empno;DBMS_OUTPUT.PUT_LINE('Employee#:'|p_empno);DBMS_OUTPUT.PUT_LINE('Name:'|r_emp.ename);...
数据迁移
E-MapReduce（简称EMR）支持将您本地自建的Kudu集群迁移至EMR上。本文为您介绍如何迁移自建Kudu集群的数据到E-MapReduce上的Hadoop集群。前提条件 您已自建Kudu集群。已创建E-MapReduce的Hadoop集群，并选择了Kudu服务，详情请参见 创建...
EMR Workbench
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
SDK下载
阿里云E-MapReduce SDK包含阿里云Java SDK公共部分和E-MapReduce部分，公共部分依赖 aliyun-java-sdk-core，E-MapReduce部分依赖 aliyun-java-sdk-emr。我们推荐您采用Maven的方式来管理您的工程。Maven依赖<dependency><groupId>...
管理用户
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。创建用户 使用SSH方式登录集群，详情请参见 登录集群。执行以下命令，创建新账号。opt/apps/hue/build/env/bin/hue createsuperuser 输入新用户名、电子邮件，然后输入密码...
Presto
Zeppelin的Presto解释器是使用JDBC连接Presto。本文为您介绍如何在Zeppelin中使用Presto。背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。无需配置，所有配置都是自动完成。Zeppelin的Presto解释器提供...
计费常见问题
本文汇总了E-MapReduce（简称EMR）计费的常见问题。E-MapReduce是否支持自动续费？如何查看EMR集群和所属的ECS实例的到期时间？EMR集群已到期但是集群的ECS实例未到期时，会产生计费吗？如何解决？EMR计费模式是否可以转换？我确认订单后未...
记录变量
本文介绍了记录变量的语法和使用方法等相关内容。简介 记录变量（record variable）是PL/SQL中的一种特殊变量，其通常代表了 一行 的概念。它可以拥有多个字段，并与类似于访问表的列（即 a.b）的形式来访问它的字段。由于这种性质，使得它...
开发入门
TIMER_CURSOR”模式支持用户强制在指定时间点开始消费，在LoghubUtils#createStream接口中，以下参数需要组合使用：cursorPosition：LogHubCursorPosition.SPECIAL_TIMER_CURSOR forceSpecial：true E-MapReduce的服务器（除了Master节点）...
【活动/调价】RDS SQL Server 2008 R2本地盘升级补贴
阿里云自2022年11月01日起对RDS SQL Server 2008 R2本地盘实例开展版本升级补贴活动，活动为期17个月。活动补贴时间 2022年11月01日~2024年03月31日 说明 建议您在活动时间内尽快对RDS SQL Server 2008 R2本地盘实例进行升级。如果您在非...
将MySQL数据迁移到Redis
下面的sdate等与它相同 name,'\r ','$',LENGTH('sdate'),'\r ','sdate','\r ','$',LENGTH(sdate),'\r ',sdate,'\r ','$',LENGTH('email'),'\r ','email','\r ','$',LENGTH(email),'\r ',email,'\r ','$',LENGTH('domain'),'\r ','domain','...
Hive
Zeppelin的Hive解释器是使用JDBC连接HiveServer2。本文为您介绍如何在Zeppelin中使用Hive。背景信息 EMR数据开发的Zeppelin在以下两方面做了增强：在多个EMR集群中动态切换。您无需配置，所有配置都是自动完成。Zeppelin的Hive解释器提供...
管理LDAP认证
开启LDAP功能对接的LDAP为E-MapReduce自带的OpenLDAP。开启LDAP认证的功能可以方便您使用LDAP认证，避免了复杂的配置过程。本文为您介绍如何一键开启和关闭LDAP认证。前提条件 已创建Hadoop集群，详情请参见 创建集群。使用限制 EMR-3.34.0...
使用Python3 Kernel运行EMR PySpark
在E-MapReduce的JupyterHub中，您可以直接运行Python任务，也可以通过Python3 Kernel中的魔术命令PySpark和SQL运行任务。本文通过示例为您介绍如何运行Python3 Kernel任务，以及Python3 Kernel中的魔术命令PySpark和SQL中的参数。前提条件 ...
设置标签
更新ECS节点的标签不会同步到集群E-MapReduce上，因此为了保持ECS节点与E-MapReduce上标签的一致性，建议不要单独在ECS控制台上修改ECS的标签。并且当集群中某个ECS节点的标签数量达到上限时，集群将不能再创建标签。不同地域中的标签信息...
添加配置
前提条件 已创建E-MapReduce的Hadoop集群，详情请参见 创建集群。操作步骤 进入详情页面。通过阿里云账号登录 阿里云E-MapReduce控制台。在顶部菜单栏处，根据实际情况选择地域 和资源组。单击上方的 集群管理 页签。在 集群管理 页面，...
查看账单
如果您对阿里云E-MapReduce的消费情况产生疑问，可以通过用户中心查看费用账单以及消费明细。操作步骤 登录 阿里云控制台。在顶部菜单栏单击 费用，进入用户中心。在左侧导航栏，选择 账单管理>账单详情。根据需要查看消费情况或导出账单。...
Flink Table Store与Hive集成
E-MapReduce的Flink Table Store服务支持在Hive中查询数据。本文通过示例为您介绍如何在Hive中查询Flink Table Store中的数据。使用限制 仅EMR-3.45.0版本、EMR-5.11.0版本的集群，支持在Hive中查询Flink Table Store中的数据。操作步骤 ...
Hive统一元数据
E-MapReduce后台RDS统一管理元数据的方式，仅限小容量的用户使用。对于大容量场景，建议您自建RDS作为统一元数据。默认限制为：总容量：200MiB。小时query数量限制：720000/h。小时update数量限制：144000/h。注意事项 EMR Hive统一元数据...
自定义图库
本文介绍了如何使用Java SDK管理自定义图库。功能描述 您可以自定义智能鉴黄、暴恐涉政识别、图片或视频广告的图片样本，满足个性化内容管控需求。关于参数的详细信息，请参见 创建图库API文档。您需要使用内容安全的API接入地址，调用本...
使用EMR Event Listener获取基础的审计日志
使用限制 仅EMR-3.46.0及后续版本、EMR-5.12.0及后续版本，支持使用EMR Event Listener获取基础的审计日志。注意事项 开启审计日志对性能有轻微影响，如果您对查询速度有极致的追求，请不要开启此功能。当集群的业务较为繁忙时，日志保存...
Hudi与Spark SQL集成
E-MapReduce的Hudi 0.8.0版本支持Spark SQL对Hudi进行读写操作，可以极大的简化Hudi的使用成本。本文为您介绍如何通过Spark SQL对Hudi进行读写操作。使用限制 EMR-3.36.0及后续版本和EMR-5.2.0及后续版本，支持Spark SQL对Hudi进行读写操作...
JOIN语句
E-MapReduce的JOIN和传统批处理JOIN的语义一致，都用于将两张表关联起来。语法 tableReference[,tableReference]*|tableexpression[joinType]JOIN tableexpression[joinCondition];参数描述如下：tableReference：表名称。tableexpression...
阿里云账号角色授权
首次使用E-MapReduce服务时，您需要使用阿里云账号为E-MapReduce服务授权名为AliyunEMRDefaultRole、AliyunECSInstanceForEMRRole或AliyunEmrEcsDefaultRole的服务角色。授权成功后，您可以在RAM控制台上查看角色，并为角色挂载策略。角色...
多租户资源隔离使用示例
tenant_1 绑定的资源配置信息切换顺序为r1->r4->r5->r6->r7->r3->r2->r1。测试结果 读写（RW）节点的测试数据如下：CPU/内存利用率 TPS/QPS 只读（RO）节点的测试数据如下：CPU/内存利用率 TPS/QPS 在该测试中，因为 tenant_2 的资源配置...
旋转
图片处理支持对处理后的图片进行顺时针旋转。参数 名称 描述 取值范围 r 默认值：0（表示不旋转）[0,360]注意事项 旋转后的图可能会导致图的尺寸变大。旋转对图的尺寸有限制，图片的宽或者高不能超过4096px。示例 将原图缩略成宽度为100，...
模糊效果
如果您希望保护OSS图片的隐私信息或者提升图片的视觉效果，您可以对OSS图片增加全局或者局部模糊效果。使用场景 保护隐私信息：在发布包含敏感信息的图片前，例如车牌号、人脸等，可以通过局部模糊来遮盖这些细节，以保护隐私信息。多图层...
提取字符串动态键值对
(\"\w+)',{r"\1":r"\2"})加工结果 经过DSL编排之后的日志格式：content:"ak_id:"LTAiscW,"ak_key:"rsd7r8f ak_id:LTAiscW ak_key:rsd7r8f 值提取 动态键值对之间以及关键字与值之间有明确标识，如 a=b 或 a="cxxx"日志格式的，推荐用 e_kv ...
Spark
您可以运行所有Spark支持的SQL语句，通过Zeppelin可视化展示，如下图所示：Zeppelin的Spark SQL解释器和其他Spark解释器（PySpark、SparkR和Spark解释器）共享SparkContext和SparkSession，即用其他Spark解释器注册的表也可以使用Spark SQL...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
JindoFS外部客户端
应用场景 JindoFS外部客户端实现了Hadoop文件系统的接口，在用户程序跟E-MapReduce JindoFS Namespace服务网络相通的情况下，用户可以通过JindoFS外部客户端去访问JindoFS上存储的数据，但外部客户端不能利用E-MapReduce JindoFS的数据缓存...
Impala概述
架构 E-MapReduce中Impala的架构如下图。Impala组件如下：Impalad 部署在Core节点和Task节点，允许扩容和缩容。Impala的核心组件是运行在各个节点上的Impala Daemon，进程名为Impalad，负责读取和写入数据文件，接收从 impala-shell 命令、...
使用Druid
背景信息 E-MapReduce将Druid作为单独的集群类型，主要基于以下几方面的考虑：E-MapReduce Druid可以完全脱离Hadoop来使用。大数据量情况下，E-MapReduce Druid对内存要求比较高，尤其是Broker和Historical节点。E-MapReduce Druid本身资源...
管理安全组
背景信息 您在创建E-MapReduce集群时，可以使用已有的安全组或者新建安全组，对某个安全组下的所有ECS实例的出方向和入方向进行网络控制。您可以将ECS实例按照功能划分，放于不同的安全组中。例如，通过E-MapReduce创建的安全组为E-...
加入资源组
资源是您在阿里云创建的云服务实体，E-MapReduce支持资源组的云资源为集群和项目。在集群加入一个资源组时，集群每个节点ECS实例会同步加入集群所属资源组。资源组是项目、环境或者栈的基础设施集合，在资源组里管理资源能集中监控和执行...
- 产品推荐
- 这些文档可能帮助您