Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package...
编译过程中ut和app-monitor发生冲突
问题详述 编译时报下面的错误：Error:Execution failed for task':app:...解决方法 如发现有 monitor 和ut-5两个jar包，请删除monitor的jar包，或者发现monitor有重复，只留一个，如没能解决，请寻求钉钉群（35248489）中的技术支持解决。
动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
创建和部署应用概述（K8s）
Java应用 Spring Cloud、Dubbo或HSF应用开发完成后，可通过WAR包、JAR包或镜像的方式部署至K8s集群。部署方式 介绍 运行环境 监控及治理方案 示例文档 镜像部署 适用于在K8s集群中使用自定义的镜像部署应用。自定义 默认自动挂载Java Agent...
使用控制台升级应用（ECS集群）
文件上传方式 新版本应用部署包的上传方式，包含上传部署包（JAR包或WAR包）和部署包（JAR包或WAR包）地址。部署包类型同样由当前应用首次部署的方式决定。上传JAR包 或 上传WAR包：单击 选择文件，选择本地的新版本应用部署包。JAR包地址 ...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
使用控制台分批发布应用
文件上传方式 新版本应用部署包的上传方式，包含上传部署包（JAR包或WAR包）和部署包（JAR包或WAR包）地址。部署包类型同样由当前应用首次部署的方式决定。上传JAR包 或 上传WAR包：单击 选择文件，选择本地的新版本应用部署包。JAR包地址 ...
SAE支持安装字体吗？
支持，您可以通过以下任意一个方式来实现。通过挂载NAS盘共享字体文件。更多信息，请参见 设置NAS存储。在WAR包或JAR包中，将字体文件打包到Resource资源中加载。
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
常见问题
上传JAR包的过程就是在MaxCompute上创建资源的过程，JAR包是MaxCompute的一种资源。MapReduce：您编写MapReduce程序后，需要将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR包，获取您...
Elasticsearch
使用Java连接Elasticsearch 从Maven官方仓库下载Elasticsearch-spark-20_2.11对应版本的JAR包，本示例下载JAR包为Elasticsearch-spark-20_2.11-6.3.2.jar。将从官方仓库下载的JAR包上传到一个与Elasticsearch同地域的OSS中，如何上传请参见...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署包地址两种方式。上传JAR包/上传WAR包：选择下载好的JAR包/WAR包并上传。JAR包...
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
Datastream JAR迁移
附加依赖文件 上传已下载的 mysql-connector-java-8.0.27.jar 和 flink-connector-jdbc_2.11-1.13.0.jar 两个JAR包。在 高级配置 页签，配置JM和TM的资源量。单击 保存。在页面右上角，单击 上线，将作业提交至集群。在 作业运维 页面，...
EMR-3.23.x版本说明
本文介绍EMR-3.23.x发行版本的发布日期和更新内容等信息。...HDFS 优化SmartData OSS JAR包部署逻辑。更新SmartData OSS JAR包。Flume 升级fastjson。Tensorflow on Spark 新增服务。Has 升级fastjson。Livy 升级fastjson。
本地运行和调试包含连接器的作业
步骤二：配置运行所需要的ClassLoader JAR包 为了使Flink能够加载连接器的运行类，还需添加ClassLoader JAR包。首先下载 ververica-classloader-1.15-vvr-6.0-SNAPSHOT.jar 至本地。以Inteillij IDEA为例，对作业的本地运行配置进行修改。...
将HSF应用托管到SAE
应用程序编译为可运行的JAR包并部署即可。操作步骤 开发应用。方法一：下载Demo工程。microservice-doc-demo项目内包含了众多示例工程，本文以其中通过Ali-Tomcat方式开发的HSF应用为例。具体信息，请参见 hsf-ali-tomcat。方法二：本地...
开发后端逻辑流操作代码
此工程是一个多模块的项目，其中已经生成了 custom-action-core 模块，工程结构如下：libs目录：存放了core模块所依赖的jar包，默认有三个jar包。custom-action-api-1.0.0-SNAPSHOT-sources.jar：此jar包为 custom-action-api 模块的源码，...
函数
您在开发完成UDF代码后，需要将代码编译成Jar包，并将此Jar包以Jar资源的形式上传到MaxCompute，最后在MaxCompute中注册此UDF。说明 使用UDF时，只需在SQL中指明UDF的函数名及输入参数即可，使用方式与MaxCompute提供的内建函数相同。相关...
Hive连接方式
} } } 打包项目工程（即生成JAR包），并上传JAR包至运行环境。重要 JAR包的运行需要依赖 hadoop-common 和 hive-jdbc。如果运行环境的环境变量中未包含这两个依赖包，则您需要下载依赖包并配置环境变量，或者直接一起打包这两个依赖包。...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在pom.xml中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以1.0.2版本为例，在中加入如下内容：<dependency><groupId>...
模拟IDC Spark读写MaxCompute实践
scp-r[本服务器存放jar包路径]root@ecs实例私网IP:[接收的服务器存放jar包地址]运行代码。运行模式。Local模式。使用Local模式运行的命令语法如下。bin/spark-submit \-master local \-jars${project.dir}/spark-datasource-v3.1/target/...
环境说明
针对Java语言，函数计算 当前具有以下限制：不支持代码编译：仅支持上传已经开发完成、编译打包后的ZIP包或JAR包。函数计算 不提供Java的编译能力。不支持在线编辑：由于不支持上传代码，所以不支持在线编辑代码，仅支持通过 上传 JAR 包 ...
集成Android SDK
集成方式 集成Android上传SDK可分为远程依赖和本地JAR包依赖两种方式。两种方式只能选择一种使用。远程依赖方式集成 在项目的 app/build.gradle 文件中加入Android端上传SDK的依赖项。dependencies { implementation '...
自定义标量函数（UDSF）
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.11.0!...
环境说明
针对Java语言，函数计算 当前具有以下限制：不支持代码编译：仅支持上传已经开发完成、编译打包后的ZIP包或JAR包。函数计算 不提供Java的编译能力。不支持在线编辑：由于不支持上传代码，所以不支持在线编辑代码，仅能看到通过 上传 JAR 包...
使用EDAS部署时的构建配置
配置云效不对构建物进行压缩 云效默认会将 build.output 所指示的 war 包或者 jar 包再打成 tgz 包，而EDAS接受的是 war 包或者 jar 包。所以需要在<应用名称>.release 文件中进行如下配置，使得云效不再打包。配置示例如下：.#打包的产物...
EDAS升级公告（2022年8月18日）
相关文档，请参见 在容器服务K8s集群中使用JAR包或WAR包部署应用。K8s原生化体验增强：K8s应用支持本地临时存储（Ephemeral-storage）资源请求和上限配置。相关文档，请参见 在容器服务K8s集群中使用JAR包或WAR包部署应用。支持自定义DNS...
应用身份识别
B/S应用身份识别 您需要配置B/S应用身份识别规则，并将生成的JAR包上传到您的应用服务器中，才能使用B/S应用身份识别功能。使用限制 Web应用必须是Java语言开发的应用，不支持PHP或者.NET开发的应用。支持的数据连接源：DBCP、C3P0、Driud...
Python作业开发
本文为您介绍Flink Python ...在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件，详情请参见 使用Python依赖。实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
安装Java SDK
背景信息 阿里云开发者中心为您提供了Java SDK以及阿里云核心库的Maven项目依赖及JAR包，您可以编写代码调用相关阿里云SDK来实现对阿里云的产品和服务的访问。本文示例中，客户端为macOS 11.4操作系统，使用的Java开发工具为IntelliJ IDEA...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在 pom.xml 中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以0.6.75版本为例，在中加入如下内容：<dependency><groupId>...
设置启动命令
重要 以WAR包、JAR包方式部署应用的启动命令不同，请勿共用启动命令。本示例中的远程调试命令，适用于以上两种部署方式。args设置 配置标准输出和错误输出的重定向命令，例如 1>>/tmp/std.log>&1。options快捷设置 只有 Java环境 为 ...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
创建和使用EMR资源
说明 目前您的任务JAR包仅支持如下两种存放路径：JAR包存放在EMR集群的Master机器中。JAR包存放在对象存储服务（Object Storage Service，OSS）中。推荐您使用OSS进行存放。使用OSS存放JAR包，详情请参见 控制台使用流程。文件来源 目标...
- 产品推荐
- 这些文档可能帮助您