查询节点实例启动器日志
F4BBBCEF-20B9-4AD2-99EF-E1BA8D72B2C3","LogEnd":false,"LogEntrys":{"LogEntry":[{"Content":"Fri Nov 16 09:56:00 CST 2018[LocalJobLauncherAM]INFO Starting emr flow launcher am."},{"Content":"=System Properties="},{"Content":...
运行工作流
{"Data":"FI-521925BE9816*","InstanceId":"FI-521925BE9816*","RequestId":"DBD1D138-C7F0-4D81-B3F2-0B4512E4A74C","Id":"FI-521925BE9816*"} 查询工作流实例信息，可以看到当前工作流实例以及节点的运行状态。import ...
签名机制
URLEncoder.encode(value,ENCODING).replace("+","%20").replace("*","%2A").replace("%7E","~"):null;} 使用等号（=）连接编码后的请求参数和参数取值。使用与号（&）连接编码后的请求参数。现在，您得到了规范化请求字符串...
查询工作流列表
Flow AlertConf String"{\"items\":[{\"enable\":true,\"eventId\":\"EMR-210401001\",\"alertUserGroupIdList\":[\"AUG-52dabfbbca654b52aae05ac5acd9a0f0\"],\"alertDingDingGroupList\":[\"ADG-2c411c452e6b467b9a59fadf21d195ad\"]}]}...
API概览
本文为您介绍阿里云E-MapReduce提供的集群、集群服务、弹性伸缩等的API接口及说明。集群 API 描述 创建集群 调用CreateClusterV2接口，创建一个E-MapReduce集群。说明 如果您在2022年12月19日17点（UTC+8）以后第一次创建EMR集群，无法使用...
复杂JSON数据加工
e_json("servers",depth=1)))e_if(e_search("_topic_=overall_type"),e_drop_fields("servers"))#处理client_status日志 e_if(e_search("_topic_=client_status"),e_compose(e_split("clients"),e_json("clients",depth=1),e_drop_fields(...
EMR Spark功能增强
阿里云E-MapReduce产品构建于阿里云云服务器ECS上，基于开源的Apache Hadoop和Apache Spark，做了大量优化。本文为您介绍E-MapReduce（简称EMR）Spark相对开源增强的功能。背景信息 阿里云EMR 100%采用社区开源组件，随开源版本升级迭代，...
Insert Into
file=_shard_2/error_log_insert_stmt_ba8bb9e158e4879-ae8de8507c0bf8a2_ba8bb9e158e4879_ae8de8507c0bf8a2)其中，返回信息中的 ERROR 1064(HY000):all partitions have no load data 显示失败原因，后面的URL可以用于查询错误的数据。...
PAI-Rec使用示例
4bbb-aaa9-dc7199f9f6e8 module=UserCustomRecall name=user2item_recall count=3 cost=2 I1230 08:36:04.106805 6 log.go:13][INFO]requestId=16dda535-9d7f-4bbb-aaa9-dc7199f9f6e8 module=recall cost=2 I1230 08:36:04.106815 6 log.go...
Hudi连接器
20211025145616.parquet|1|a2|10.0 20211025145629|20211025145629_0_1|id:1,name:a1|ac4ec1e6-528d-4189-bde6-d09e137f63f6-0_0-48-3211_20211025145629.parquet|1|a1|10.0 20211025145640|20211025145640_0_2|id:2,name:a1|ac4ec1e6-528d...
ListDoctorHBaseTables-批量获取 HBase Table 信息
1543919</li><li class='.report-detail-li'>RegionServer：emr-worker-2 Region Id：5f019e8cf7c16be9768634cb99ccbe05 读请求数量：1512817</li><li class='.report-detail-li'>RegionServer：emr-worker-2 Region Id：d113992fea3a457f...
Hive访问Iceberg数据
etc/ecm/hive-conf-2.3.5-2.0.3/hive-log4j2.properties Async:true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions.Consider using a different execution engine(i.e.spark,tez)or using Hive 1....
克隆作业
RequestId String BCE475E4-129D-43D2-8595-C80B80CBC114 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=CloneFlowJob&Id=FJ-244582F1934C*&ProjectId=FP-C62EEC30F773*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
开发入门
支持MetaService 上面的例子中是显式地将AccessKey传入到接口中，但是从E-MapReduce SDK 1.3.2版本开始，Spark Streaming可以基于MetaService实现免AccessKey处理LogService数据，具体可以参见E-MapReduce SDK中的LoghubUtils类说明。...
管理安全组
请重复 步骤2~步骤4 操作，直至把E-MapReduce集群中的其他ECS实例也加入到相应安全组中。添加安全组规则 获取机器的公网访问IP地址。为了安全地访问集群组件，在设置安全组策略时，推荐您只针对当前的公网访问IP地址开放。您可以通过访问 ...
EMR数据开发停止更新公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
EMR旧版数据开发迁移公告
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态。如果您还在使用旧版控制台的数据开发功能，请尽快迁移至EMR Worflow。本文为您介绍数据开发模块迁移至EMR Workflow的流程。EMR Workflow是一个全托管的...
Hive统一元数据
EMR-2.4.0之前版本，所有集群采用的是集群本地的MySQL数据库作为Hive元数据库；EMR-2.4.0及后续版本，E-MapReduce（简称EMR）支持统一的高可靠的Hive元数据库。背景信息 因为元数据库需要使用公网IP来连接，所以集群必须要有公网IP，同时请...
A/B测试常见问题
1")+",flow_divider:"+parse.quote("流量 分桶")))#结果：scene_tag%3Atest_1%2Cflow_divider%3A%25E6%25B5%2581%25E9%2587%258F%2520%25E5%2588%2586%25E6%25A1%25B6 控制台搜索测试中使用：scene_tag:test_1,flow_divider:%E6%B5%81%E9%...
Hive连接方式
本文为您介绍在E-MapReduce集群提交Hive SQL的三种方式。前提条件 已创建集群，且选择了Hive服务，详情请参见 创建集群。注意事项 本文示例中需替换的参数：<主节点的节点名称>：您可以在EMR控制台目标集群的 节点管理 页面获取，具体操作...
查询伸缩配置项详情
调用DescribeScalingConfigItemV2，查询伸缩配置项详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
GetDoctorHBaseTable-获取 HBase Table 信息
2115051</li><li class='.report-detail-li'>RegionServer：emr-worker-2 Region Id：b4d21974df92bdf3589e63e4da1fc923 写请求数量：1592509</li><li class='.report-detail-li'>RegionServer：emr-worker-2 Region Id：25eb6717470f4...
E-MapReduce数据迁移方案
例如Hive从1.2 升级到2.3.0，需要依次执行 upgrade-1.2.0-to-2.0.0.mysql.sql、upgrade-2.0.0-to-2.1.0.mysql.sql、upgrade-2.1.0-to-2.2.0.mysql.sql、upgrade-2.2.0-to-2.3.0.mysql.sql。脚本主要是建表，加字段，改内容，如有表已存在，...
查询项目用户信息
3535FE0BE522*</ProjectId><AccountUserId>252016171*</AccountUserId></User></Users>JSON 格式 {"RequestId":"80F270E8-27BD-4F24-BB2A-CD3FBCC450DA","PageSize":"20","PageNumber":"1","Total":"12","Users":{"User":[{"GmtCreate":...
事件判断
e_if(e_has("a"),e_set("has_a",true))e_if(e_has("b"),e_set("has_b",true))e_if(e_has("c"),e_set("has_c",true))e_if(e_not_has("a"),e_set("not_has_a",true))e_if(e_not_has("b"),e_set("not_has_b",true))e_if(e_not_has("c"),e_set...
查询集群主机列表
bp1cfwf2cwgji7ds*</HostInstanceId><Role>MASTER</Role><Type>VM</Type><HostGroupId>G-A5EA210E15FC*</HostGroupId><SerialNumber>3c2a5078-778d-4c18-87e4-1a38fbcb*</SerialNumber><PrivateIp>192.*.*.*</PrivateIp><ChargeType>...
HiveServer2负载均衡
当E-MapReduce（简称EMR）集群有多个HiveServer2服务时，可以借助Zookeeper服务或负载均衡SLB（Server Load Balancer）实现访问HiveServer2的负载均衡，将HiveServer2的压力分担到多个节点上去。本文详细介绍HiveServer2负载均衡的配置及...
概述
创建Kafka集群 如果需要新建包含Kafka的集群，请登录E-MapReduce新版控制台创建DataFlow类型集群，创建集群详情请参见 创建DataFlow Kafka集群。本地盘Kafka集群 当在本地盘上部署Kafka服务时，您需要在E-MapReduce控制台的 配置 页面，...
样例代码
request.add_query_param('HostGroup.1.HostGroupId','G-F0D0661E0A6E*')request.add_query_param('HostGroup.1.NodeCount',1)#request.add_query_param('HostGroup.2.HostGroupId','G-F0D0661E0A6*')#request.add_query_param('HostGroup....
UNION ALL语句
示例 测试数据 表1：test_source_union1 a（varchar）b（bigint）c（bigint）test1 1 10 表2：test_source_union2 a（varchar）b（bigint）c（bigint）test1 1 10 test2 2 20 表3：test_source_union3 a（varchar）b（bigint）c（bigint）...
样例代码
ResizeClusterV2Request.HostGroup hostGroup=new ResizeClusterV2Request.HostGroup();hostGroups.add(hostGroup);hostGroup.setHostGroupId("G-F0D0661E0A6E*");扩容数量。hostGroup.setNodeCount(1);request.setHostGroups(hostGroups);...
删除弹性伸缩配置项
调用RemoveScalingConfigItemV2接口，删除弹性伸缩配置项。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 ...
查询作业运行实例列表
A6C9F4F1E9EC*</ClusterId><ExternalId>application_1542955685866_*</ExternalId><pending>false</pending><JobName>success</JobName><GmtModified>1542957514000</GmtModified><StartTime>1542957499000</StartTime><ProjectId>FP-17AB...
删除项目集群设置
RequestId String ECC2D0D1-B6D5-468D-B698-30E8805EB574 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteFlowProjectClusterSetting&ClusterId=C-F32FB31D8295*&ProjectId=FP-E3F1523F8FC1*&RegionId=cn-hangzhou &<公共请求...
开启部署集
部署策略 支持的实例规格族 高可用策略和部署集组高可用策略 g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g6h、g5、g5ne、sn2ne c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne r8y、r7、r7se、r7t、r...
删除工作流
RequestId String 11BAFBD8-8509-4177-A26D-407505E73713 请求ID。示例 请求示例 http(s):/[Endpoint]/?Action=DeleteFlow&Id=F-7A39731FE719*&ProjectId=FP-257A173659F5*&RegionId=cn-hangzhou &<公共请求参数>正常返回示例 XML 格式...
ListApplications-查询应用列表
20 示例 正常返回示例 JSON 格式 {"Applications":[{"ApplicationName":"HDFS","ApplicationVersion":"2.8.5-20230620","CommunityVersion":"2.8.5","ApplicationState":"RUNNING"}],"RequestId":"9E3A7161-EB7B-172B-8D18-FFB06BA3*",...
修改作业
调用ModifyFlowJob，修改数据开发作业。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的...B698-30E8805EB574</RequestId><Data>true</Data>JSON 格式 {"RequestId":"ECC2D0D1-B6D5-468D-B698-30E8805EB574","Data":true }
E-MapReduce Serverless服务等级协议（SLA）
2023年6月1日起，E-MapReduce Serverless服务等级协议（SLA）生效。详情请参见 开源大数据平台E-MapReduce Serverless服务等级协议。
E-MapReduce服务等级协议（SLA）
本服务等级协议（Service Level Agreement，简称“SLA”）规定了阿里云向客户提供的E-MapReduce（简称“EMR”）的服务可用性等级指标及赔偿方案。服务等级协议详情请参见 E-MapReduce服务等级协议。
- 产品推荐
- 这些文档可能帮助您