使用控制台分批发布应用
文件上传方式 新版本应用部署包的上传方式，包含上传部署包（JAR包或WAR包）和部署包（JAR包或WAR包）地址。部署包类型同样由当前应用首次部署的方式决定。上传JAR包 或 上传WAR包：单击 选择文件，选择本地的新版本应用部署包。JAR包地址 ...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
模拟IDC Spark读写MaxCompute实践
scp-r[本服务器存放jar包路径]root@ecs实例私网IP:[接收的服务器存放jar包地址]运行代码。运行模式。Local模式。使用Local模式运行的命令语法如下。bin/spark-submit \-master local \-jars${project.dir}/spark-datasource-v3.1/target/...
SQL WorkBench/J
说明 首次使用SQL WorkBench/J时，需要添加JDBC驱动和Jar包，后续使用SQL WorkBench/J时可直接从步骤三开始。在 Manage drivers 页面，选择驱动为 MySQL，添加驱动Jar包，单击 OK。单击 File>Connect window，在 Select Connection Profile...
Hive连接方式
} } } 打包项目工程（即生成JAR包），并上传JAR包至运行环境。重要 JAR包的运行需要依赖 hadoop-common 和 hive-jdbc。如果运行环境的环境变量中未包含这两个依赖包，则您需要下载依赖包并配置环境变量，或者直接一起打包这两个依赖包。...
开发后端逻辑流操作代码
此工程是一个多模块的项目，其中已经生成了 custom-action-core 模块，工程结构如下：libs目录：存放了core模块所依赖的jar包，默认有三个jar包。custom-action-api-1.0.0-SNAPSHOT-sources.jar：此jar包为 custom-action-api 模块的源码，...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在pom.xml中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以1.0.2版本为例，在中加入如下内容：<dependency><groupId>...
自定义标量函数（UDSF）
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.11.0!...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。...EDAS工程所依赖的JAR包下载地址，请参见 Maven仓库官网。
Dataphin中上传资源jar包存放位置
概述 Dataphin中上传的资源JAR包是直接上传到HDFS，还是先上传到Dataphin的机器上再同步到HDFS？详细信息 如果用户在上传资源的时候选择计算源，就会上传到HDFS上。如果用户没有选，就不会。默认是上传到OSS/Ceph集群，如果用户选择了计算...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
通过spark-submit命令行工具开发Spark应用
当JAR包存储在本地路径中，需要上传JAR包时，可配置OSS参数将本地的JAR包自动上传到OSS路径中。否 ossSecretId 创建OSS Bucket使用的阿里云账号或RAM用户的AccessKeySecret。否 ossEndpoint OSS内网Endpoint。OSS地域与Endpoint的对应关系...
创建和使用EMR资源
说明 目前您的任务JAR包仅支持如下两种存放路径：JAR包存放在EMR集群的Master机器中。JAR包存放在对象存储服务（Object Storage Service，OSS）中。推荐您使用OSS进行存放。使用OSS存放JAR包，详情请参见 控制台使用流程。文件来源 目标...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在 pom.xml 中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以0.6.75版本为例，在中加入如下内容：<dependency><groupId>...
制品管理
制品管理 仓库 云效 Packages 为您自动创建了两个 Maven 仓库，一个 release 库和一个 snapshot 库。图1.Maven 仓库列表 进入仓库后，可以通过仓库指南完成 仓库凭证设置、制品文件的上传和下载、私有库迁移。图2.Maven 仓库指南 点击查看...
开发和调试
内置Jar包 以下Jar包会默认加载到运行Graph程序的JVM中，您不必上传这些资源，也不必在命令行的-libjars 带上这些Jar包。commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
部署配置：通过EDAS部署
云效对EDAS进行了集成，可以把在云效上打出来的 war 包或者 jar 包部署到EDAS中。为了在云效上集成EDAS，需要保证您的应用可以在云效上打出 war 包或者 jar 包。详见 使用EDAS部署时的构建配置。云效支持 多种研发模式，及部署回滚等功能。...
Flink
flink.execution.jars 如果您的Zeppelin机器不能访问外网或者您的依赖没有发布在Maven Repository里，则您可以将依赖的JAR包放到Zeppelin机器上，然后通过 flink.execution.jars 来指定这些JAR包，多个JAR包时用逗号（,）分隔。例如，添加...
测试方法
在后续测试过程中，DLA Spark需要使用这个Jar包来生成Terasort测试数据以及进行Terasort基准测试，因此需要把该Jar包上传到您的OSS上。操作步骤 场景一：1 TB测试数据下DLA Spark+OSS与自建Hadoop+Spark集群性能对比 准备测试数据 在OSS上...
分布式部署
tar-zxvf ossimport-2.3.7.tar.gz-C$HOME/ossimport 解压后的文件结构如下：ossimport├─bin│├─console.jar#Console模块jar包│├─master.jar#Master模块jar包│├─tracker.jar#Tracker模块jar包│└─worker.jar#Worker模块jar包├...
在SAE控制台使用JAR文件部署微服务应用
文件上传方式 选择 上传JAR包 或 JAR包地址。上传JAR包：单击 选择文件，选择待部署的JAR文件。JAR包地址：输入JAR文件的存放地址。示例提供者JAR文件的地址如下：...
Dataphin中代码任务运行jar包报错“Java heap space”
问题描述 代码任务中运行JAR包报错“Java heap space”，本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer.<init>(CharArrayBuffer.java:56)at org.apache....
镜像辅助打包
Linux镜像打包 Linux镜像打包支持两种应用类型的打包：JAR包、WAR包。JAR应用 对于JAR应用，您可以上传JAR包，选择对应的JRE版本，设置好启动参数之后，点击确定构建镜像。当前支持j dk7、jdk8、jdk9、jdk10 的JRE版本。值得注意的是...
量化使用
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
使用Python依赖
您可以在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件等，本文为您介绍如何在Python作业中使用这些依赖。背景信息 本文通过以下场景为您介绍如何使用Python依赖：使用自定义的Python虚拟环境 使用第三...
管理自定义连接器
为了避免JAR包依赖冲突，您还需要注意以下几点：Flink镜像和Pom依赖的Flink版本请保持一致。请不要上传Runtime层的JAR包，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式打包，Shade打包详情参见 Apache Maven Shade ...
安装
no more than 2.3.3-><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.3</version></dependency>在Eclipse项目中导入JAR包 以3.15.1版本为例，步骤如下：下载 Java SDK 开发包。...
制作 SOFABoot 应用的 Docker 镜像
编写 Dockerfile 文件 Docker 提供了 Dockerfile 格式的文件来构建应用镜像，创建一个 Spring Boot 应用的 Dockerfile:FROM openjdk:8-jdk-alpine VOLUME/tmp/应用 JAR 包的名称必须遵循 artifactId-version 的格式 COPY sofaboot-docker-...
使用API在K8s集群中创建Java应用（JAR包或WAR包）
本文介绍如何使用EDAS提供的Java SDK调用API在K8s集群中创建Java应用（JAR包或WAR包）。前提条件 调用API创建应用前，您必须提前完成以下准备工作：安装EDAS的Java SDK。更多信息，请参见 Java SDK接入指南。确定应用部署地域。创建微服务...
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
使用自建Nacos服务注册中心
步骤二：应用托管至SAE 将本地服务Provider和Consumer应用程序编译为WAR包、JAR包或者镜像，部署到 SAE 并按需选择以下方式连接Nacos。具体操作，请参见以下文档：在SAE控制台使用WAR包部署Java Web应用 在SAE控制台使用JAR文件部署微服务...
Hadoop MapReduce作业配置
填写的命令行参数需要从 hadoop jar 命令后的第一个参数开始填写，即在输入框中首先填写运行该作业所需JAR包的所在路径，再填写[MainClass]和其它您想要设置的命令行参数。例如，您想要提交一个Hadoop的sleep作业，该作业不读写任何数据，...
MapReduce作业提交
classpath<local_file_list>：本地执行时的classpath，主要用于指定main函数所在的Jar包的本地路径（包含相对路径和绝对路径）。包名之间使用系统默认的文件分割符作分割。通常情况下，Windows系统中使用分号;Linux系统中使用逗号（,）。...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
- 产品推荐
- 这些文档可能帮助您