Java UDF最佳实践
您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF {...
Java UDF最佳实践
本教程中的JAR包的代码如下。package org.alidata.odps.udf.examples;import com.aliyun.odps.udf.UDF;public final class javaudf extends UDF { public String evaluate(String s){ if(s=null){ return null;} return s.toLowerCase();} ...
使用Python依赖
使用JAR包 如果您的Flink Python作业中使用了Java类，例如作业中使用了Connector或者Java自定义函数时，可以通过如下方式来指定Connector或者Java自定义函数的JAR包。登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。在左侧...
推送规则设置
在开源社区也有这样的例子，虽然我并没有使用你的代码，但我使用了你的创意，仍然以你作为作者，以示对原创的尊重。通常第一次生成的 Commit，Author 和 Committer 是同一个人。但是，如果另一个人用 git cherry-pick,git rebase,git ...
配置SSL证书并开启HTTPS安全访问
基于JAR包制作镜像 如需为使用JAR包制作的镜像来部署的应用绑定SSL，您需首先修改 application.properties 文件开启SSL配置，并将证书文件一同打包到用于制作镜像的JAR包，然后在Dockerfile中修改应用端口，以开启SSL配置。修改JAR包配置...
升级或降级运行时环境
使用JAR包部署的原生应用：Spring Cloud、Dubbo、普通Java Web或Spring MVC应用，未使用过Pandora或Pandora Boot，通过JAR包部署时，需要选择标准Java应用运行时环境。HSF应用：包括使用Pandora Boot开发的Spring Cloud应用和由Dubbo转换为...
安装第三方插件
给 FLUME_CLASSPATH 的参数值添加获取的JAR包，多个CLASSPATH使用英文冒号（:）隔开。保存配置。单击下方的 保存。在弹出的对话框中，输入 执行原因，单击 保存。说明 本文以EMR集群为例介绍，非EMR集群请您根据实际情况修改 flume-env.sh ...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
2021-01-11版本
通过VVP上传的JAR包大小限制提高至200 MB。说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay...
Livy
Livy是一个通过REST接口或RPC client库与Spark服务...可以通过预编译的JAR包、代码片段、Java API和Scala API等多种方式提交作业。支持一定的安全机制。提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
通过函数计算处理报警通知
在 通过ZIP、JAR包或WAR包上传代码 对话框，先上传代码包，然后单击 保存并部署。测试函数代码。在目标函数的 函数代码 页签，单击 测试函数 页签。在 测试函数 页签，先单击 配置测试事件，然后将以下云监控报警通知数据拷贝到 创建新测试...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
InputCodeLocation
可以使用两种方式提供代码包：直接将代码包的内容包含在请求中，此时 zipFile 必须设置。将代码包上传到 OSS，在请求中包含 OSS 文件的地址，此时 ossBucketName 和 ossObjectName 必须设置。checksum string 函数代码包的 CRC-64 值。如果...
将HSF应用托管到SAE
应用程序编译为可运行的JAR包并部署即可。操作步骤 开发应用。方法一：下载Demo工程。microservice-doc-demo项目内包含了众多示例工程，本文以其中通过Ali-Tomcat方式开发的HSF应用为例。具体信息，请参见 hsf-ali-tomcat。方法二：本地...
应用身份识别
B/S应用身份识别 您需要配置B/S应用身份识别规则，并将生成的JAR包上传到您的应用服务器中，才能使用B/S应用身份识别功能。使用限制 Web应用必须是Java语言开发的应用，不支持PHP或者.NET开发的应用。支持的数据连接源：DBCP、C3P0、Driud...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
测试方法
准备工作 下载Terasort测试相关的Jar包。在使用Spark进行Terasort基准测试时，需要准备测试数据和Terasort测试程序，DLA提供了一个Jar包，里面包含了可以生成Terasort测试数据的Spark应用和进行Terasort基准测试的Spark应用。将下载下来的...
量化使用
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
访问Kafka数据源
本文介绍如何使用 AnalyticDB MySQL 湖仓版（3.0）Spark...操作步骤 分别下载与Kafka和 AnalyticDB MySQL Spark实例版本对应的JAR包。下载链接，请参见 Kafka-clients 和 Spark-sql-kafka-0-10。在pom.xml文件的dependencies中添加依赖项。...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
自定义函数（UDF）
使用UDF 使用文件传输工具，上传生成的JAR包至集群root目录。本示例使用了文件传输工具（SSH Secure File Transfer Client）。上传JAR包至HDFS。通过SSH方式登录集群，详情请参见 登录集群。执行以下命令，上传JAR包到HDFS。hadoop fs-put ...
Flink Python参考
使用JAR包 如果您的Flink Python作业中使用了Java类，例如作业中使用了Connector或者Java自定义函数时，则需要指定Connector或者Java自定义函数所在的JAR包，详情请参见 JAR Dependencies。使用数据文件 如果您的Flink Python作业中需要...
Spark常见报错
报错原因：提交Spark作业时，上传的JAR包缺少类，常见于使用第三方JAR包的场景。解决方法：检查第三方JAR包是否完整，若不完整，需要重新打包，并确保JAR包中含目标类。Cannot broadcast the table that is larger than 报错出现日志：...
制作 SOFABoot 应用的 Docker 镜像
操作步骤 本教程介绍如何使用 Dockerfile 将一个 SOFABoot 示例应用的 JAR 包打包成镜像。编写 Dockerfile 文件 Docker 提供了 Dockerfile 格式的文件来构建应用镜像，创建一个 Spring Boot 应用的 Dockerfile:FROM openjdk:8-jdk-alpine ...
Apache Log4j2 远程代码执行漏洞（CNVD-2021-95914）...
2.12.1：[INFO]org.example:Demo1:jar:1.0-SNAPSHOT[INFO]\-org.apache.logging.log4j:log4j-core:jar:2.12.1:compile[INFO]\-org.apache.logging.log4j:log4j-api:jar:2.12.1:compile 查看服务器上的 Jar 包 您可以查看项目服务器的 ...
如何进行WebSocket协议的压测
步骤五：上传脚本、插件JAR包和其他文件至PTS进行压测 您需准备以下文件，上传到PTS：导出的JMeter脚本（.jmx文件）JMeter WebSocket Samplers的JAR包 脚本中使用的其他数据文件 关于在PTS中压测的操作步骤，请参见 创建JMeter场景。
如何进行WebSocket协议的压测
步骤五：上传脚本、插件JAR包和其他文件至PTS进行压测 您需准备以下文件，上传到PTS：导出的JMeter脚本（.jmx文件）JMeter WebSocket Samplers的JAR包 脚本中使用的其他数据文件 关于在PTS中压测的操作步骤，请参见 创建JMeter场景。
访问Elasticsearch数据源
使用Scala连接阿里云Elasticsearch 下载与阿里云Elasticsearch实例版本对应的JAR包，下载链接，请参见 Elasticsearch Spark。本文下载的示例JAR包为Elasticsearch-spark-30_2.12-7.17.9.jar。在pom.xml文件的dependencies中添加依赖项。...
Ark Plugin 介绍
将指定的 Jar 包 shade 至 Ark Plugin-><shades><shade>groupId:artifactId[:classifier]:version</shade></shades></configuration></execution></executions></plugin>配置项含义如下：outputDirectory：指定打包的${pluginName}.ark....
Command命令编写说明
then.~/.bashrc fi export JAVA_HOME=usr/share/jdk1.8.0_14 export PATH=$JAVA_HOME/bin:.Java Fatjar应用的Command命令 若将Linux 系统的/root/javademo 目录作为Java应用运行的基目录，则需将Java应用的jar包部署到/root/javademo 目录...
创建EMR Spark节点
EMR Spark任务编译完成后，您需获取编译后的JAR包，建议根据JAR包大小选择不同方式存储JAR包资源。上传JAR包资源，创建为DataWorks的EMR资源并提交，或直接存储在EMR的HDFS存储中。JAR包小于200MB时 创建EMR JAR资源。JAR包小于200MB时，可...
使用说明
classpath<local_file_list>：本地执行时的classpath，主要用于指定main函数所在的JAR包。通常，用户更习惯于将main函数与Graph作业编写在一个包中，例如 单源最短距离。因此，在执行示例程序时，-resources 及-classpath 的参数中都出现了...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop Streaming作业。前提条件 已在E-MapReduce控制台上创建Hadoop集群。创建集群详情，请参见 创建集群。操作步骤 通过SSH方式连接集群，详情请参见 使用SSH连接主节点。新建文件 mapper.py。执行以下...
pom.xml配置
打包部署说明 SOFABoot Web 工程在 Web 模块中配置 构建（build），使用 spring-boot-maven-plugin 作为构建工具并在工程根目录的 target 下生成一个 fat JAR（.jar）包。该 fat JAR 包是一个可部署单元，有本地和云端 2 种部署方式：本地...
Spark作业配置
emr/checklist/data/wc-counts 32 注意 JAR包保存在OSS中，引用这个JAR包的方式是 ossref:/emr/checklist/jars/emr-checklist_2.10-0.1.0.jar。您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
Spark Connector
说明 如果您编译时遇到网络等原因导致编译失败，可以单击 spark-odps-datasource-3.3.1-odps0.43.0.jar，下载已经编译成功的JAR包，然后将JAR包放在$SPARK_HOME/jars/目录下。下载Spark Connector：git clone ...
- 产品推荐
- 这些文档可能帮助您