服务端线程池配置
本文介绍开发HSF应用过程中如何进行服务端线程池配置。前提条件 在开发应用前，您已经完成以下工作：配置 EDAS 的私服地址和轻量级配置及注册中心 启动轻量级配置及注册中心 服务线程池业务示意图 HSF服务端线程池主要分为IO线程和业务线程...
如何对HSF服务进行单元测试？
在开发环境中，可以使用LightApi进行单元测试。更多信息，请参见 HSF单元测试。
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
Dubbo服务消费者调用HSF服务提供者失败
问题描述 Dubbo服务消费者调用HSF服务提供者失败，具体报错信息如下：java.lang.Exception:[HSF-Provider-192.168.XX.XX]Error log:[HSF-Provider]App[xxxxxxx-3b6f-42d3-xxxx-0ad2434xxxxx]failed to verify the caller signature[null]...
接入HSF开放WebService
本文以实际场景为例介绍接入HSF协议开放WebService协议，以帮助您深入理解开放服务。背景信息 本文仅介绍在实际场景中接入HSF协议开放WebService服务时一些重要的配置步骤和参数，如需了解完整的流程和参数解释，请参见 发布后端已有服务。...
使用Ali-Tomcat启动多个HSF失败怎么办？
问题现象 使用Ali-Tomcat在同一台机器上同时启动多个HSF应用时，可能会出现无法删除临时目录的错误，或者类加载相关的问题。可能原因 两个HSF进程同时启动时，会向相同的临时目录解压，相互造成干扰。解决方案 方式一：在启动参数中配置...
HSF启动时提示Can't assign requested address
问题现象 使用Ali-Tomcat在同一台机器上同时启动多个HSF应用时，可能出现无法删除临时目录的错误，或者类加载相关的问题。HSF启动时，具体报错如下。java.net.BindException: Can't assign requested address 问题原因 服务端端口与实际...
使用Ali-Tomcat启动多个HSF失败怎么办？
问题现象 使用Ali-Tomcat在同一台机器上同时启动多个HSF应用时，可能会出现无法删除临时目录的错误，或者类加载相关的问题。可能原因 两个HSF进程同时启动时，会向相同的临时目录解压，相互造成干扰。解决方案 方式一：在启动参数中配置...
一次调用过程
本文介绍HSF的一次调用过程。HSF的一次调用过程是从服务消费方发起，经过网络抵达服务提供方，再将服务提供方的结果通过网络携带返回，最终返回给用户。该过程涉及多线程交互，同时也涉及HSF中的不同领域对象。HSF的一次调用过程如下图所示...
HSF应用注册或订阅服务数多导致启动较慢怎么办？
可能原因 使用Pandora Boot开发的HSF应用会为每个发布（服务提供者端）或消费（服务消费者端）的服务设置从服务注册中心（ConfigServer）同步地址的默认时间，默认为3000毫秒。当发布或消费的服务数量多时，每个服务需要串行等待同步地址，...
HSF应用注册或订阅服务数多导致启动较慢怎么办？
可能原因 使用Pandora Boot开发的HSF应用会为每个发布（服务提供者端）或消费（服务消费者端）的服务设置从服务注册中心（ConfigServer）同步地址的默认时间，默认为3000毫秒。当发布或消费的服务数量多时，每个服务需要串行等待同步地址，...
一次调用过程
本文介绍HSF的一次调用过程。HSF的一次调用过程是从服务消费方发起，经过网络抵达服务提供方，再将服务提供方的结果通过网络携带返回，最终返回给用户。该过程涉及多线程交互，同时也涉及HSF中的不同领域对象。HSF的一次调用过程如下图所示...
Zeppelin常见问题
EMR Studio上的Zeppelin与开源版本一致吗？如何设置Zeppelin Note的权限？Zeppelin执行时无法正常启动Interpreter EMR Studio上的Zeppelin与开源版本一致吗？EMR Studio上的Zeppelin是增强版的Zeppelin，与开源版本不一致。E-MapReduce的...
将Dubbo应用迁移到HSF（不推荐）
您可以通过添加Maven依赖、添加或修改Maven打包插件和修改配置，将使用Dubbo开发的应用迁移到HSF。不过，由于 SAE 已经支持原生Dubbo框架的应用，所以，新用户不建议使用此方式。背景信息 原生Dubbo框架下的应用开发请参见 使用Spring Boot...
授权信息
本文为您介绍 开源大数据平台 E-MapReduce（EMR）为RAM权限策略定义的操作（Action）、资源（Resource）和条件（Condition）。开源大数据平台 E-MapReduce（EMR）的RAM代码（RamCode）为 emr,emr-apm-server,ecm,emr-serverless-spark,dls...
将Dubbo应用迁移到HSF（不推荐）
您可以通过添加Maven依赖、添加或修改Maven打包插件和修改配置，将使用Dubbo开发的应用迁移到HSF。不过，由于 EDAS 已经支持原生Dubbo框架的应用，所以，新用户不建议使用此方式。背景信息 原生Dubbo框架下的应用开发请参见 使用Spring ...
相关的云服务
本文为您介绍典型场景下，使用开源大数据平台E-MapReduce时通常会使用到的其他云服务。云服务名称 说明 云服务器ECS 使用云服务器ECS（Elastic Compute Service）作为集群的节点，每个ECS实例集群中的一个节点。专有网络VPC 专有网络VPC...
HSF启动时绑定IP地址和端口失败怎么办？
问题现象 使用Ali-Tomcat在同一台机器上同时启动多个HSF应用时，可能会出现无法删除临时目录的错误，或者类加载相关的问题。HSF启动时的具体报错如下。java.net.BindException: Can't assign requested address 可能原因 服务端端口与实际...
支持倚天云服务器
阿里云E-MapReduce支持使用倚天云服务器构建开源大数据集群。适用客户 全网用户 新增功能/规格 阿里云E-MapReduce（简称EMR）支持使用倚天云服务器构建开源大数据集群。与现有X86架构实例体验完全相同的情况下，具有更高的性价比，帮助用户...
访问链接与端口
通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。本文将介绍如何设置安全组规则和访问链接，以便查看集群中开源组件的UI界面。前提条件 已创建E-MapReduce集群，详情请参见 创建集群。背景信息 ...
Iceberg概述
您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
使用OpenAPI
本文为您介绍使用开源大数据平台E-MapReduce OpenAPI的基本信息。关于使用阿里云OpenAPI的详细介绍，请参见 使用OpenAPI。基本信息 版本说明 版本号 说明 2021-03-20 推荐使用。接入点说明 根据实例所在的地域，选择对应的服务接入点地址，...
如何级联发布HSF服务
本文介绍如何级联发布HSF服务。前提条件 已经创建专享实例，请参见 创建专享实例。说明 仅专享实例支持级联发布服务。背景信息 针对复杂的多环境、多归属互通场景，云服务总线提供级联发布管理机制，即跨CSB实例的服务发布，也就是在一个...
Hive概述
Hive是一个基于Hadoop的数据仓库框架，在大数据业务场景中，主要用来...Hive语法 EMR产品最大程度的保持了开源社区的语法以及体验，在Hive语法上保持与开源社区Hive语法100%的兼容性。关于Apache Hive的更多介绍，请参见 Apache Hive官网。
服务治理概述
自动化回归Dubbo服务脚本化编排 自动化回归变量使用方法 HSF服务 部署和运维 无损上线HSF应用 查询HSF服务 查询HSF服务调用链 查看HSF服务报表 全链路流量控制 安全和可用性 使用离群实例摘除保障HSF应用的可用性 多语言服务 金丝雀发布 ...
Shell
与开源Zeppelin相比，E-MapReduce（简称EMR）数据开发集群中的Shell解释器支持在不同EMR集群环境里切换。本文通过示例为您介绍如何在Zeppelin中使用Shell。使用示例 运行hadoop命令 执行如下命令会显示当前EMR集群根目录下的所有文件，切换...
Superset（仅对存量用户开放）
您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源组件Web UI。默认用户名和密码均为admin，请您登录后及时修改密码。说明 首次登录后默认是英文界面。在Superset页面，单击右上角的 图标，选择 ...
错误编码：HSF-0001
查看/home/admin/logs/hsf/hsf-remoting.log 记录的消费端与服务端心跳检查日志，若出现如下日志：01 2018-06-20 12:35:00.797 ERROR[HSF-Worker-2-thread-1:hsf.remoting][][][HSF-0085][remoting]fail to connect:/192.168.xx.xx:12200 ...
Dubbo及HSF接口参数说明
EDAS测试引擎使用泛化调用发送请求至目标Dubbo或HSF服务，因此参数填写遵循泛化调用格式。本文介绍Dubbo及HSF接口参数的类型及使用样例。原子类型、包装类和字符串参数 原子类型参数包括以下几种，请输入对应格式的参数值。类型 值 示例 ...
查看账单
在 明细账单 页签中，设置查询 账期，并在列表中筛选产品为 开源大数据平台E-MapReduce，产品明细为 EMR StarRocks Serverless按量 或 EMR StarRocks Serverless包年包月。您还可以通过 统计项 和 统计周期 选择账单的展示内容。账单详细...
使用离群实例摘除保障HSF应用的可用性
HSF应用的离群实例摘除功能会检测应用和服务实例的可用性并进行动态调整，以保证服务成功调用，从而提升业务的稳定性和服务质量。本文介绍如何为HSF应用创建离群实例摘除策略。背景信息 在下图的示例场景中，某个系统包含4个应用，A、B、C...
ClickHouse概述
开源大数据平台E-MapReduce（简称EMR）的ClickHouse提供了开源OLAP分析引擎ClickHouse的云上托管服务。EMR ClickHouse完全兼容开源版本的产品特性，同时提供集群快速部署、集群管理、扩容、缩容和监控告警等云上产品功能，并且在开源的基础...
概述
Alluxio是一个面向基于云的数据分析和人工智能的开源的数据编排技术。Alluxio为数据驱动型应用和存储系统构建了桥梁，将数据从存储层移动到距离数据驱动型应用更近的位置，从而能够更容易被访问，同时使得应用程序能够通过一个公共接口连接...
什么是EMR Workflow
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据湖仓，并为生产任务的稳定运行提供保障。产品优势 ...
Flink DataStream参考
DataFlow集群的Flink DataStream API完全兼容开源的Flink版本，关于Flink DataStream API的详细信息，请参见 Flink DataStream API Programming Guide。上下游存储（Connector）开源Flink的上下游存储，请参见 DataStream Connectors。...
什么是EMR Notebook
兼容开源 EMR Notebook兼容开源Jupyter Notebook，您可以通过文件导入、导出的方式实现开发工具的自由切换，从而降低了使用门槛。产品功能 交互式编程环境 支持逐步执行SQL和Python代码，并根据运行结果调整后续代码。多种数据源类型 支持...
概述
Flink（VVR）是基于Apache Flink（以下简称Flink）开发的商业版，VVR引擎接口完全兼容Flink开源版本，且提供GeminiStateBackend等高增值功能，以提升作业性能及稳定性。背景信息 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布...
EMR Doctor概述
E-MapReduce Doctor（简称EMR Doctor）是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。通过EMR Doctor（即集群管理页面的“健康检查”功能）可以全局了解集群的健康状况和动态走势，为运维决策和资源优化提供有力的信息...
管理日志
E-Mapreduce（简称EMR）开源组件运行过程中会产生大量的日志。日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。前提条件 已在EMR控制台上创建集群，具体操作请参见 创建集群。已开通SLS服务，具体操作请...
技术支持的范围和方式
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
- 产品推荐
- 这些文档可能帮助您