迁移场景
开源软件：开源软件指开发者从开源社区下载未做源码修改的软件或者所使用操作系统生态中默认携带的软件。当前大部分开源软件在倚天ARM平台上已经提供较好的应用生态，您可以直接使用操作系统提供的开源生态软件来安装部署。更多信息，请...
前言
本文档基于OSS Java SDK 3...AppendObjectSample.java 追加上传 UploadSample.java 断点续传上传 MultipartUploadSample.java 分片上传 CallbackSample.java 上传回调 SimpleGetObjectSample.java 下载文件 DownloadSample.java 断点续传下载 ...
设置Java Tomcat参数
前提条件 在设置Java Tomcat的相关参数之前，请确保您已准备Java应用程序的WAR包文件。操作步骤 在创建应用过程中配置Tomcat 登录 SAE控制台。在左侧导航栏，选择 应用管理>应用列表，在顶部菜单栏选择地域，然后单击 创建应用。在 应用...
Spark作业配置
注意 JAR包保存在OSS中，引用这个JAR包的方式是 ossref:/emr/checklist/jars/emr-checklist_2.10-0.1.0.jar。您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统会自动补齐OSS上Spark脚本的路径。...
常见问题
1.8.0_151]at java.io.File.createTempFile(File.java:2024)~?1.8.0_151]at java.io.File.createTempFile(File.java:2070)~?1.8.0_151]at com.hadoop.compression.lzo.GPLNativeCodeLoader.unpackBinaries(GPLNativeCodeLoader.java:115)...
概述
JindoSDK：为EMR各种开源计算引擎提供统一的SDK，支持Java、C、C++和Python语言，提供多种访问和API接口，包括HCFS文件系统接口、POSIX接口和Table表格接口。工具集：提供相关的工具集，例如Jindo tool和迁移工具Jindo DistCp。各种...
Spark对接MySQL
spark-sql-jars/opt/apps/SPARK-EXTENSION/spark-extension-current/spark3-emrsdk/*,mysql-connector-java-8.0.30.jar 说明 mysql-connector-java-8.0.30.jar 包含了MySQL JDBC Driver，请根据实际地址填写MySQL Driver的版本以及路径。...
Trino概述
Trino（即原PrestoSQL）是一个开源的分布式SQL查询引擎，适用于交互式分析查询。EMR-3.44.0和EMR-5.10.0版本开始改用社区正式名称Trino，之前各版本控制台显示为Presto，内核其实是Trino，使用时请注意区分。基本特性 Trino使用Java语言...
查看节点健康状态
良好：u*1.5 存在隐患：u>=vCpu*1.5-host_network_transmission_check 检测过去3分钟内网络传输的丢包率（u）或错包率（u）。良好：u<1 异常：u>=1 百分比 host_disk_space_check 检测磁盘空间使用率（u）。良好：0存在隐患：90异常：95...
Java运行环境说明
本文介绍SAE应用在部署时的Java运行环境，您可以根据实际需求选择。运行环境 运行环境 更新时间 JDK版本 操作系统版本 是否开源 是否维护 说明 Dragonwell 17 2022-07-11 17.0.3.0.3+7 CentOS Linux release 7.9.2009 是 是 更多信息，请...
Quick BI导入资源包以后报”INTERNAL:java.sql....
问题描述 本文主要描述了Quick BI导入资源包以后报错”INTERNAL:java.sql.SQLException:java.sql.SQLException:Access denied for user ''@'*.*.*.*'(using password:NO)“的解决方法。问题原因 资源包导入后，数据源还没有正常连通。解决...
Spark
如下图示例，段落①使用%spark.conf 指定OSS上的JAR，这个JAR里写了一个Java UDF，段落②使用PySpark注册Java UDF，然后在SQL中使用Java UDF。spark.jars.packages spark.jars.packages 可以用Package的形式来指定依赖包，Spark会动态下载...
SDK FAQ
开源客户端是否可以直接访问云上服务？云消息队列 RabbitMQ 版 完全兼容开源RabbitMQ。开源RabbitMQ可以直接访问云上服务。您需要通过 云消息队列 RabbitMQ 版 控制台生成静态用户名密码之后，通过静态账户直接访问云上服务。如何创建静态...
SDK FAQ
开源客户端是否可以直接访问云上服务？云消息队列 RabbitMQ 版 完全兼容开源RabbitMQ。开源RabbitMQ可以直接访问云上服务。您需要通过 云消息队列 RabbitMQ 版 控制台生成静态用户名密码之后，通过静态账户直接访问云上服务。如何创建静态...
Delta Lake概述
下表列出了Delta Lake的基本特性，并对比EMR-Delta Lake与开源Delta Lake（0.6.1）。特性 EMR-Delta 开源Delta SQL ALTER CONVERT CREATE CTAS DELETE DESC HISTORY INSERT MERGE OPTIMIZE UPDATE VACUUM SAVEPOINT ROLLBACK CREATE 说明 ...
签名机制
您可以从 阿里云开发工具包（SDK）了解更多阿里云SDK的信息。步骤一：构造规范化请求字符串 排序参数。排序规则以首字母顺序排序，排序参数包括 公共参数 和接口自定义参数，不包括公共请求参数中的 Signature 参数。说明 当使用GET方法...
开源自建对比
基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE 内置K8s集群底座和微服务框架。运维成本 需要。需要。不需要。SAE 免运维。硬件成本 按峰值固定保有包年IaaS，...
EMR Serverless StarRocks商业化发布
EMR Serverless StarRocks介绍 EMR Serverless StarRocks是开源StarRocks在阿里云上的全托管服务，您可以通过EMR Serverless StarRocks灵活的创建和管理StarRocks实例以及数据。StarRocks作为一款兼容MySQL协议的OLAP分析引擎，提供了极致...
自定义Source
a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=org.example.MySource a1.sources.r1.dateFormat=HH:mm:ss.SSS a1.sources.r1.intervalMS=2000 a1.sinks.k1.type=logger a1.channels.c1.type=memory a1.channels.c1....
SPARK
spark-submit \-class org.apache.spark.examples.SparkPi \-deploy-mode cluster \-master yarn \-driver-cores 1 \-driver-memory 4g \-executor-memory 4g \-executor-cores 2 \-num-executors 3 \ oss:/path/to/examples.jar 上述示例...
通过JDBC方式访问Presto
创建了包含Presto服务的集群后，如果您需要进行复杂的数据查询、分析和处理操作，或者需要将查询结果集成到Java应用程序中，则可以使用Presto提供的JDBC Driver连接数据库。在Maven中引入JDBC Driver 您需要根据您的E-MapReduce集群版本，...
Nacos引擎版本说明
2.2.3.1 默认关闭开源控制台。详细信息，请参见 开启Nacos开源控制台。支持RAM-AK白名单功能。支持Eureka增量数据协议。优化引擎升级/重启时的校验逻辑，支持引擎无损变更，提升引擎升级/重启时的稳定性。优化获取来源IP的逻辑，提升获取...
Java UDF最佳实践
您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF {...
Java UDF最佳实践
背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package org.alidata.odps.udf...
生命周期策略
发行版本 组件 组件版本 GA EMR-5.11.1-ack Shuffle 0.2.1 2023-04-20 Spark 3.3.1 EMR-5.8.1-ack Data Science 1.6.1 2023-06-21 EMR-5.8.0-ack Shuffle 0.1.1 2022-08-24 Spark 3.2.1 EMR-5.7.1-ack Shuffle 0.1.1 2022-07-27 Spark 3.2....
快速使用EMR on ACK
examples.jar"arguments:"1000"driver:cores:1 coreLimit:1000m memory:4g executor:cores:1 coreLimit:1000m memory:8g memoryOverhead:1g instances:1 本文示例中的参数描述，请参见 spark-on-k8s-operator。说明 文件名您可以自定义，...
生命周期策略
本文为您介绍开源大数据开发平台E-MapReduce（简称EMR)的产品生命周期策略及产品终止策略（包含产品粒度与发行版本粒度），以便您知晓详细规则，提早做好相应准备。背景信息 产品的更新换代是基础技术软件领域的常态。在开源大数据社区蓬勃...
自定义Sink
a1.sources=r1 a1.sinks=k1 a1.channels=c1 a1.sources.r1.type=org.apache.flume.source.StressSource a1.sources.r1.maxEventsPerSecond=1 a1.sources.r1.batchSize=1 a1.sources.r1.maxTotalEvents=100 a1.sinks.k1.type=org.example....
新功能发布记录
2022年11月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.9.1 EMR-3.x系列：升级至EMR-3.43.1 2022-11-08 EMR-5.9.x版本说明 EMR-3.43.x版本说明 管理日志 支持在EMR控制台直接查询开源组件的日志。2022-11-29 ...
基础使用
Hudi版本 EMR版本 0.6.0 EMR 3.32.0~EMR 3.35.0 EMR 4.5.0~EMR 4.9.0 EMR 5.1.0 0.8.0 EMR 3.36.1~EMR 3.37.1 EMR 5.2.1~EMR 5.3.1 0.9.0 EMR 3.38.0~EMR 3.38.3 EMR 5.4.0~EMR 5.4.3 0.10.0 EMR 3.39.1~EMR 3.40.0 EMR 4.10.0 EMR 5.5.0~...
推送SDK在初始化时报错
详细报错信息如下：java.lang.UnsatisfiedLinkError:No implementation found for int org.android.spdy.SpdyAgent.configLogFileN(java.lang.String,int,int)(tried Java_org_android_spdy_SpdyAgent_configLogFileN and Java_org_android...
消息收发功能
终端SDK：MQTT的开源SDK，支持MQTT 3.1.1协议，适用于终端设备的开发。云端SDK：阿里云开发的SDK，适用于云上业务应用的开发。支持消息发送、消息订阅以及接收终端SDK上下线事件消息。终端和终端消息收发 该场景下消息的发送端和消费端都...
Celeborn
阿里云Spark已完成Celeborn适配，开源Spark 3.5版本已完成Celeborn适配。spark.celeborn.shuffle.writer Celeborn的wirter支持的模式：hash（默认值）：在Partition并发度过大的情况下会使用较多的内存。sort：使用固定大小内存，在...
Hive元数据说明
数据湖构建具有高可用、免运维和高性能等优点，兼容Hive Metastore，无缝对接EMR上开源计算引擎，并支持元数据多版本管理和Data Profile功能。另外，DLF还支持数据探索、湖管理和数据权限控制等功能，并与阿里云其他计算产品（例如...
Superset（仅对存量用户开放）
在使用Superset前，确保您的主机能够正常访问emr-header-1，详情请参见 通过SSH隧道方式访问开源组件Web UI。使用Superset访问Druid 登录Superset。您需要在SSH连接中创建隧道以查看开源组件的Web页面，详情请参见 通过SSH隧道方式访问开源...
安装Tomcat服务及Java环境
Tomcat作为一个开源且免费的Java Web服务器，常用来作为Web开发的工具。它可以托管由Servlet、JSP页面（动态内容）、HTML页面、JavaScript、样式表、图片（静态内容）组成的Java Web应用程序。您可根据实际需要，选择合适的方式进行部署。...
部署方式概述
Tomcat作为一个开源且免费的Java Web服务器，常用来作为Web开发的工具。它可以托管由Servlet、JSP页面（动态内容）、HTML页面、JavaScript、样式表、图片（静态内容）组成的Java Web应用程序。您可根据实际需要，选择合适的方式进行部署。...
Livy
Livy是一个通过REST接口或RPC client库与Spark服务...可以通过预编译的JAR包、代码片段、Java API和Scala API等多种方式提交作业。支持一定的安全机制。提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
EMR Studio概述
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
EMR-3.27.x版本说明
本文介绍EMR-3.27.x发行版本的发布日期和更新内容等信息。...Sqoop MySql JDBC JAR包升级至5.1.48版本。MySql direct导出模式支持通过-mysql-charset 设置自定义编码。icmsDocProps={'productMethod':'created','language':'zh-CN',};
- 产品推荐
- 这些文档可能帮助您