快速入门视频
构建.jar包命令：mvn install-Dmaven.test.skip=true Dockerfile文件内容：FROM maven:3.5-jdk-8 COPY target/iot-demo-0.0.1-SNAPSHOT.jar/iot-demo.jar EXPOSE 8080 ENTRYPOINT["/bin/bash","-c","java-jar/iot-demo.jar-server.port=...
设置启动命令
应用托管概述 设置镜像部署应用的启动命令 设置JAR包部署应用的启动命令 设置WAR包部署应用的启动命令 设置ZIP包部署应用的启动命令 设置镜像部署应用的启动命令 以创建Java应用为例，在 应用部署配置 配置向导页面选择 应用部署方式 为 ...
模拟IDC Spark读写MaxCompute实践
在本地使用 scp 命令上传已经打包好的jar包和依赖的jar包至服务器，命令语法如下。scp<本地jar包路径>root@实例公网IP>:<服务器存放jar包路径>示例如下。scp D:\Project\emr_mc_1\spark-datasource-v3.1\target\spark-datasource-1.0-...
开发和调试
内置Jar包 以下Jar包会默认加载到运行Graph程序的JVM中，您不必上传这些资源，也不必在命令行的-libjars 带上这些Jar包。commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api...
Table/SQL JAR迁移至JAR
使用 mvn clean package 命令构建JAR包。构建成功后可以在target目录下找到相应的JAR包。在Flink全托管开发控制台上，新建Flink SQL作业。登录实时计算Flink开发控制台。在左侧导航栏，单击 作业开发。单击 新建。在 新建文件 对话框，填写...
通过UDF访问VPC网络资源
上传上述步骤下载的JAR包，命令示例如下。add jar udf-3.jar;注册函数，命令示例如下。create FUNCTION t_telnet as 'com.ali.odps.udf.Telnet' USING 'udf-3.jar';执行SQL命令调用UDF。set odps.sql.type.system.odps2=true;设置网络连接...
Table/SQL JAR迁移至SQL
使用以下命令拷贝构建的新JAR包到EMR-Flink集群。scp {jar包路径} root@{自建flink master ip}:/上个步骤获取的publp即为自建flink master ip。连接EMR-Flink集群后，执行以下命令运行Flink作业。连接方式详情请参见 连接方式概述 ECS远程...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
DataHub
本文档假设您下载以下模拟测试代码到本地，并执行以下命令运行jar包来发送数据到 spark_test 下的 topic01。下载模拟测试代码到本地。wget ...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
SparkSQL UDF基础操作
执行以下命令，上传JAR包到HDFS。hadoop fs-put/test/hiveudf-1.0-SNAPSHOT.jar/user/hive/warehouse/您可以通过 hadoop fs-ls/user/hive/warehouse/命令，查看是否上传成功。待返回信息如下所示表示上传成功。Found 1 items-rw-r-r-1 xx ...
自定义函数（UDF）
} } 将自定义的代码打成JAR包。在 pom.xml 所在目录，执行如下命令制作JAR包。mvn clean package-DskipTests target 目录下会出现 hiveudf-1.0-SNAPSHOT.jar 的JAR包，即代表完成了UDF开发工作。使用UDF 使用文件传输工具，上传生成的JAR包...
MapReduce开发手册
X.X.X：JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。hadoop-common-X.X.X.jar，您可以在<HADOOP_HOME>/share/hadoop/common/目录下查看。hadoop-mapreduce-client-core-X.X.X.jar，您可以在<HADOOP_HOME>/share/hadoop/...
镜像辅助打包
Linux镜像打包 Linux镜像打包支持两种应用类型的打包：JAR包、WAR包。JAR应用 对于JAR应用，您可以上传JAR包，选择对应的JRE版本，设置好启动参数之后，点击确定构建镜像。当前支持j dk7、jdk8、jdk9、jdk10 的JRE版本。值得注意的是...
在Serverless K8s集群中使用JAR包或WAR包部署应用
本教程介绍如何在Serverless K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在Serverless K8s集群中部署应用，您需在容器服务Kubernetes版控制台中创建Serverless K8s集群，并将该集群导入到EDAS控制台，然后在导入的...
在容器服务K8s集群中使用JAR包或WAR包部署应用
本教程介绍如何在容器服务K8s集群中使用官方demo的JAR包或WAR包来部署应用。背景信息 在容器服务K8s集群中部署应用，您需在容器服务Kubernetes版控制台中创建容器服务Kubernetes版集群，并将该集群导入到EDAS控制台，然后在导入的容器服务K...
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
Datastream JAR迁移
使用 mvn clean package 命令构建新JAR包。构建成功后可以在target目录下找到相应的JAR包。在Flink全托管开发控制台上，新建Flink JAR流作业。登录实时计算Flink开发控制台。登录方式，请参见 搭建基础环境。在左侧导航栏，单击 作业开发。...
通过spark-submit命令行工具开发Spark应用
当JAR包存储在本地路径中，需要上传JAR包时，可配置OSS参数将本地的JAR包自动上传到OSS路径中。否 ossSecretId 创建OSS Bucket使用的阿里云账号或RAM用户的AccessKeySecret。否 ossEndpoint OSS内网Endpoint。OSS地域与Endpoint的对应关系...
Spark SQL开发介绍
ADD JAR命令 用于加载Spark SQL运行时依赖的JAR包，例如UDF的JAR包，各类数据源连接器的JAR包等。目前支持JAR包路径为OSS路径，一般置于SQL语句的前面。每条 ADD JAR 命令指定一个OSS JAR包路径，JAR包路径的字符串不添加单引号和双引号，...
常见问题
安装V0.10.2.20的Jar包执行命令如下。mvn install:install-file-Dfile=mychainx-sdk-java-all-0.10.2.20.jar-DgroupId=com.alipay.mychainx -DartifactId=mychainx-sdk-java-all -Dversion=0.10.2.20 -Dpackaging=jar 安装V0.10.2.12的Jar...
JAR作业开发
您可以使用以下任意一种方式来使用连接器：（推荐）上传连接器Uber JAR包到Flink开发控制台，DataStream作业通过provided引用 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。...
Hadoop使用JindoSDK访问OSS-HDFS服务
tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。配置环境变量。编辑配置文件。vim/etc/profile 配置环境变量。export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux 配置HADOOP_CLASSPATH。export HADOOP_...
Java SDK 快速开始
3 个 jar 包，打成一个 tar.gz 压缩包，命令如下：>cd target#进入 target 目录>tar-czf worker.tar.gz*SNAPSHOT-*.jar#打包 运行以下命令，查看包的内容是否正确：>tar-tvf worker.tar.gz batchcompute-job-log-count-1.0-SNAPSHOT-Split....
变更流程错误码说明
EDAS-10028 报错信息 EDAS-10028 PULL_WAR_TIMEOUT 可能的原因 采用自定义WAR/JAR URL地址部署时，如果拉取WAR/JAR包超时，则会出现这个错误。通常超时时间为5分钟。处理办法 确认URL地址正确无误，登录ECS执行 wget 命令手动下载URL检查...
JDBC数据源
例如 mysql-connector-java-8.0.25.jar，SelectDB会自动在本地 jdbc_drivers/目录下查找相应jar包，其中默认包含了 mysql-connector-java-8.0.25.jar、postgresql-42.5.1.jar、mssql-jdbc-11.2.3.jre8.jar、ojdbc8.jar 这4个常用的Driver包...
配置镜像目标架构
随着ARM64架构服务端的流行，为了让您选择更加多元化，EDAS在K8s集群中使用WAR、JAR包部署应用时，支持选择多平台架构。本文介绍如何在EDAS控制台配置镜像目标架构。使用限制 仅支持Kubernetes ACK集群。仅支持使用WAR、JAR包部署应用的...
PyODPS使用第三方包
col.map(my_psi).execute(libraries=['scipy.zip'])对于只提供源码的二进制包，可以在Linux Shell中打包成Wheel再上传，Mac和Windows中生成的Wheel包无法在MaxCompute中使用，Linux Shell中打包命令如下：python setup.py bdist_wheel
Spark常见问题
您可以直接运行已有JAR包，详情请参见 搭建Linux开发环境。对于Spark或Hadoop的依赖必须设置为 provided。作业需要访问MaxCompute表。配置相关依赖后重新打包即可，详情请参见 搭建Linux开发环境。访问OSS所需要的包，打通网络请参见 Spark...
Dataphin中Shell运行JAR文件报错“bash:java:command ...
代码打成Jar包的时候，需要Jar包名称和main方法所在类名称保持一致；上传资源文件的时候，名称需要和Jar文件名称保持一致：2.需要注意java-jar命令是在Shell脚本中运行，而不是Spark任务。解决方案 Jar包名称、上传资源的时候名称和类名称...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
元数据导入
unzip-o kafka-migration-assessment.jar.zip 运行以下命令，赋予JAR包可执行权限。chmod 777 kafka-migration-assessment.jar 运行以下命令，导出元数据。java-jar kafka-migration-assessment.jar MigrationFromZk-sourceZkConnect...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS...
概述 本文主要介绍Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么。详细信息 Dataphin在Hadoop环境上传的资源JAR包，存放的HDFS路径是什么？介绍如下：所有用户上传的资源JAR包，以及安全包的资源，都是默认放在/tmp/dataphin...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
PySpark
执行主程序文件 和Scala、Java程序开发的JAR包一样，您需要将 example.py 文件上传到OSS中，并在Spark的启动配置中使用 file 来指定这个文件为启动文件。在DLA控制台的 Serverless->作业管理 页面，使用如下示例代码配置作业。{"name":...
部署配置：通过EDAS部署
云效对EDAS进行了集成，可以把在云效上打出来的 war 包或者 jar 包部署到EDAS中。为了在云效上集成EDAS，需要保证您的应用可以在云效上打出 war 包或者 jar 包。详见 使用EDAS部署时的构建配置。云效支持 多种研发模式，及部署回滚等功能。...
Spark SQL
ADD JAR命令 用于增加Spark SQL运行时，依赖的jar包，比如UDF的jar包，各类数据源连接器的Jar包等。Jar包目前支持OSS格式路径，一般置于整个SQL语句的最前面。每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条...
运行模式
path/to/MaxCompute-Spark为编译后的Application JAR包路径。cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class ...
- 产品推荐
- 这些文档可能帮助您