EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
应用身份识别
可分为以下两种：名称 生效原理 应用场景 B/S（Browser/Server，浏览器/服务器模式）应用身份识别 管理员添加应用身份识别后，系统会自动生成JAR包，之后下载该JAR包并安装到应用服务器。当有用户对应用的数据库进行操作时，系统会审计到...
Python作业开发
Flink运行环境使用的是JDK1.8，如果Python作业中依赖第三方JAR包，请确保JAR包兼容JDK1.8。VVR 4.x仅支持开源Scala V2.11版本，VVR 6.x及以上版本仅支持开源Scala V2.12版本。如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的...
Android 热修复使用教程
热修复 Bug 演示 热修复 Bug 的示例流程如下：备份 Bug 版本构建生成的.jar 包 修改 Bug 代码，生成热修复包 在控制台添加并发布热修复包 客户端调用触发热修复的接口，进而获取热修复包 应用重启后，触发热修复，Bug 被修复 备份 Bug 版本...
创建和使用EMR资源
说明 目前您的任务JAR包仅支持如下两种存放路径：JAR包存放在EMR集群的Master机器中。JAR包存放在对象存储服务（Object Storage Service，OSS）中。推荐您使用OSS进行存放。使用OSS存放JAR包，详情请参见 控制台使用流程。文件来源 目标...
部署配置：通过EDAS部署
云效对EDAS进行了集成，可以把在云效上打出来的 war 包或者 jar 包部署到EDAS中。为了在云效上集成EDAS，需要保证您的应用可以在云效上打出 war 包或者 jar 包。详见 使用EDAS部署时的构建配置。云效支持 多种研发模式，及部署回滚等功能。...
设置启动命令
应用托管概述 设置镜像部署应用的启动命令 设置JAR包部署应用的启动命令 设置WAR包部署应用的启动命令 设置ZIP包部署应用的启动命令 设置镜像部署应用的启动命令 以创建Java应用为例，在 应用部署配置 配置向导页面选择 应用部署方式 为 ...
Flink
flink.execution.jars 如果您的Zeppelin机器不能访问外网或者您的依赖没有发布在Maven Repository里，则您可以将依赖的JAR包放到Zeppelin机器上，然后通过 flink.execution.jars 来指定这些JAR包，多个JAR包时用逗号（,）分隔。例如，添加...
Table/SQL JAR迁移至JAR
附加依赖文件 上传已下载的 mysql-connector-java-8.0.27.jar 和 flink-connector-jdbc_2.11-1.13.0.jar 两个JAR包。在 高级配置 页签，配置JM和TM的资源量。单击 保存。在页面右上角，单击 上线，将作业提交至集群。在 作业运维 页面，...
镜像辅助打包
Linux镜像打包 Linux镜像打包支持两种应用类型的打包：JAR包、WAR包。JAR应用 对于JAR应用，您可以上传JAR包，选择对应的JRE版本，设置好启动参数之后，点击确定构建镜像。当前支持j dk7、jdk8、jdk9、jdk10 的JRE版本。值得注意的是...
在SAE控制台使用JAR文件部署微服务应用
文件上传方式 选择 上传JAR包 或 JAR包地址。上传JAR包：单击 选择文件，选择待部署的JAR文件。JAR包地址：输入JAR文件的存放地址。示例提供者JAR文件的地址如下：...
HBase
弹性网卡ENI（Elastic Network ...说明 如果用户需要上传自定义的HBase Connector JAR包，则无需设置 spark.dla.connectors 为HBase，直接在 ConfigJson 中使用 jars:["<oss://path/to/your/hbase/connector/jar>"]上传HBase依赖JAR包即可。
自定义表值函数（UDTF）
依赖其他JAR包：在 pom.xml 文件中添加您所需依赖的JAR包信息。Flink 1.11版依赖的主要JAR包如下。dependency><groupId>org.apache.flink</groupId><artifactId>flink-streaming-java_2.12</artifactId><version>1.11.0!...
DataGrip连接MaxCompute
在 Data Sources and Drivers 对话框的 Drivers 页签，添加MaxCompute JDBC驱动JAR包，并填写 Name 及 Class，单击 Apply。在 Driver Files 区域，单击 图标后，选择 Custom JARs.从本地上传下载的MaxCompute JDBC驱动JAR包，例如 odps-...
预案原子操作
编辑克隆的原子操作，为原子操作添加参数配置、上传 JAR 包。详细操作请见 新建原子操作。在 自定义原子操作 页签，单击目标原子操作 操作 列下的>自测完成。在 自定义原子操作 页签，单击目标原子操作 操作 列下的>提交审批。审批通过后，...
访问MongoDB数据源
操作步骤 下载 AnalyticDB MySQL版 Spark访问云数据库MongoDB依赖的Jar包。下载链接 mongo-spark-connector_2.12-10.1.1.jar、mongodb-driver-sync-4.8.2.jar、bson-4.8.2.jar、bson-record-codec-4.8.2.jar 和 mongodb-driver-core-4.8.2....
在文件存储 HDFS 版上使用Presto
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
MaxCompute UDF（Java）常见问题
解决措施：原因一的解决措施：检查JAR包的正确性，并确认JAR包中已经包含需要的类，重新打包并上传至MaxCompute项目。更多打包上传操作，请参见 打包、上传及注册。原因二的解决措施：将MaxCompute UDF依赖的第三方包作为资源上传至...
访问Tablestore数据源
df.write.format("tablestore").options(options).save()TableStore.shutdown()spark.stop()} } 将步骤1和步骤3中的Jar包上传至OSS。具体操作，请参见 简单上传。登录 云原生数据仓库AnalyticDB MySQL控制台，在页面左上角，选择集群所在...
作业开发问题
为什么相同JAR包在经过多次修改后上传失败？报错：Could not parse type at position 50:expected but was.Input type string:ROW 使用Entrypoint Main Args配置参数时，传入参数包含空格，作业无法运行起来，应该如何处理？问题详细 问题...
管理自定义连接器
请不要上传Runtime层的JAR包，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式打包，Shade打包详情参见 Apache Maven Shade Plugin。上传与使用自定义连接器 进入自定义连接器注册入口。登录 实时计算控制台。单击目标工作...
访问Kafka数据源
jars Spark作业依赖的JAR包，多个JAR包之间以英文逗号（,）分隔。name Spark作业名称。className Java或者Scala程序入口类。Python不需要指定入口类。spark.adb.eni.enabled 是否开启ENI访问。使用 湖仓版（3.0）Spark访问kafka数据源时，...
Spark常见报错
解决方法：检查作业配置的JAR包，需确保JAR包中有合适的JDBC驱动程序。同时访问多种JDBC数据源时，JAR包中需有所有数据源相关的JDBC驱动程序。例如：同时访问Hive和RDS MySQL数据源，JAR包中应包含Hive数据源和RDS MySQL数据源的JDBC驱动。...
操作指导
scala_2.11</artifactId><version>${flink.version}</version><scope>provided</scope></dependency>添加作业需要的Connector对应的依赖，并将scope全部设置为compile（默认的scope是compile），即打入作业JAR包中，以Kafka Connector为例...
安装
no more than 2.3.3-><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.3</version></dependency>在Eclipse项目中导入JAR包 以3.15.1版本为例，步骤如下：下载 Java SDK 开发包。...
Spark SQL
ADD JAR命令 用于增加Spark SQL运行时，依赖的jar包，比如UDF的jar包，各类数据源连接器的Jar包等。Jar包目前支持OSS格式路径，一般置于整个SQL语句的最前面。每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条...
SDK概述
emr-tablestore：支持Hadoop、Hive、Spark与TableStore数据源的交互，使用时需要打进作业JAR包。emr-mns_2.11：支持Spark读MNS数据源，使用时需要打进作业JAR包。emr-ons_2.11：支持Spark读ONS数据源，使用时需要打进作业JAR包。emr-...
制作 SOFABoot 应用的 Docker 镜像
编写 Dockerfile 文件 Docker 提供了 Dockerfile 格式的文件来构建应用镜像，创建一个 Spring Boot 应用的 Dockerfile:FROM openjdk:8-jdk-alpine VOLUME/tmp/应用 JAR 包的名称必须遵循 artifactId-version 的格式 COPY sofaboot-docker-...
快速使用EMR on ACK
注意事项 在本文的示例中，JAR包已经直接打包在了镜像中。如果您使用的是自己的JAR包，您可以将其上传到阿里云OSS。上传操作请参见 简单上传。此时，需要您修改命令中的 local:/opt/spark/examples/spark-examples.jar 为您OSS上存放JAR包...
使用自建Nacos服务注册中心
步骤二：应用托管至SAE 将本地服务Provider和Consumer应用程序编译为WAR包、JAR包或者镜像，部署到 SAE 并按需选择以下方式连接Nacos。具体操作，请参见以下文档：在SAE控制台使用WAR包部署Java Web应用 在SAE控制台使用JAR文件部署微服务...
可视化管理资源
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。本文为您介绍如何通过Project Explorer可视...
如何在Custom Runtime中引用层中的依赖
例如，java-classpath${CLASSPATH}-jar yourJarExe.jar 示例中，使用-jar 参数时，Java JVM会使用JAR包内的MANIFEST.MF，所有环境变量和命令行指定的搜索路径都会被忽略，因此指定的 CLASSPATH 不会生效。在Custom Runtime-PHP语言中引用层...
通过Java Agent接入
说明 Agent接入配置URL收敛：通过启动参数-Dcsp.sentinel.url.clean.config.path 配置文件路径，默认路径为jar包路径下的 ahas-sentinel-url-clean.properties 文件。支持classpath形式，如-Dcsp.sentinel.url.clean.config.path=classpath...
如何在Custom Runtime中引用层中的依赖
例如，java-classpath${CLASSPATH}-jar yourJarExe.jar 示例中，使用-jar 参数时，Java JVM会使用JAR包内的MANIFEST.MF，所有环境变量和命令行指定的搜索路径都会被忽略，因此指定的 CLASSPATH 不会生效。在Custom Runtime-PHP语言中引用层...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop...说明 hadoop-streaming-X.X.X.jar 中的 X.X.X 表示JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。您可以在/usr/lib/hadoop-current/share/hadoop/tools/lib/目录下查看JAR包具体版本号。
Hive访问TableStore数据
JAR包名称 获取方法 参考下载链接 emr-tablestore-X.X.X.jar Maven库中下载：emr-tablestore。emr-tablestore-2.2.0.jar tablestore-Y.Y.Y-jar-with-dependencies.jar Maven库中下载：tablestore。重要 需要下载jar-with-dependencies。...
Table/SQL JAR迁移至SQL
在 高级配置 页签的 附加依赖文件 选项中，上传已下载的 mysql-connector-java-8.0.27.jar 和 flink-connector-jdbc_2.11-1.13.0.jar 两个JAR包。在 资源配置 页签，配置作业的并发度。本示例参考自建Flink集群作业运行命令，设置作业并发...
访问Redis数据源
StructField("salary",DoubleType)))).load()loadedDf.show(10)sparkSession.stop()} } case class Person(name:String,age:Int,address:String,salary:Double)将步骤1下载的Jar包和示例程序 redis_test.jar 上传至OSS。具体操作，请参见 ...
任务模板管理
引用其他任务模板JAR包：在 引用任务模板 下拉列表选择目标JAR包。版本 设置任务版本号，可以选择输入版本号或者单击 使用时间戳为版本号 将时间戳作为版本号。时区设置 选择当前任务所在时区，例如 UTC+8。可选：配置任务高级配置。任务的...
访问Elasticsearch数据源
使用Scala连接阿里云Elasticsearch 下载与阿里云Elasticsearch实例版本对应的JAR包，下载链接，请参见 Elasticsearch Spark。本文下载的示例JAR包为Elasticsearch-spark-30_2.12-7.17.9.jar。在pom.xml文件的dependencies中添加依赖项。...
- 产品推荐
- 这些文档可能帮助您