Java如何连接RDS SQL Server
需要JDK1.7及以上版本，参见 微软官方网站 的要求并下载JAR包。sqljdbc42.jar文件导入到项目工程的代码片段如下所示。String userName="XXX;String userPwd="XXX;String url="jdbc:sqlserver:/rds.sqlserver.rds.aliyuncs.com:3433;...
UDF（地理空间）
cp hive/target/spatial-sdk-hive-2.1.1-SNAPSHOT.jar./spatial-sdk-hive.jar 下载项目所依赖的JAR包。命令示例如下。wget '...
LIST FUNCTIONS
查看MaxCompute项目中所有自定义函数的信息。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
JAR任务快速入门
您可以自行编写并构建包含业务逻辑的JAR包，上传此业务JAR包后，即可便捷地创建Spark JAR任务。本文通过一个示例，为您演示如何进行JAR任务的开发与部署。前提条件 已创建工作空间，详情请参见 管理工作空间。已提前完成业务应用程序开发，...
Flink JAR作业快速入门
本文带您快速体验Flink JAR流作业和批作业的创建、部署和启动，以了解实时计算Flink版JAR作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问，需要确认已具有Flink控制台相关权限，详情请参见 权限管理。已创建Flink工作空间...
Table/SQL JAR迁移至JAR
本文为您介绍如何将自建Flink集群上的Table/SQL JAR作业，迁移至实时计算Flink全托管的JAR作业。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行作业迁移，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置...
如何手动升级 SOFABoot 管理的第三方 JAR
在使用商业版 SOFABoot 时，可能会因为安全、性能、功能增强等原因而期望升级第三方 JAR。如果在临近的高版本 SOFABoot 中有满足需求的第三方 JAR，可以考虑升级 SOFABoot 来解决问题。但如果暂时没有满足需求的 SOFABoot 版本，或需要升级...
JAR包如何添加参数？
本文介绍使用SAE时，如何为JAR包添加参数。如果您遇到如下问题，均可参考本文指引。添加参数 连接内置Nacos JAR包部署、JAR参数、JAR启动参数 JAR包部署如何添加参数，请参见 启动命令和参数。如果您的程序是Java微服务应用，需要在SAE侧...
ADD JAR
添加JAR类型的资源至MaxCompute项目中。使用限制 MaxCompute不支持添加外部表为资源。每个资源文件的大小不能超过2048 MB。单个SQL、MapReduce作业所引用的资源总大小不能超过2048 MB。本命令为CMD命令，仅支持在客户端（odpscmd）工具中...
配置扩展文件
5.1.47.jar mysql-connector-java-5.1.48.jar mysql-connector-java-5.1.9.jar mysql-connector-java-6.0.2.jar mysql-connector-java-6.0.6.jar mysql-connector-java-8.0.11.jar mysql-connector-java-8.0.17.jar mysql-connector-java-8...
函数操作
Name my_lower Owner ALIYUN$Created Time 2020-06-18 15:50:19 Class org.alidata.odps.udf.examples.Lower Resources project_name/my_lower.jar 查看自定义函数列表 查看MaxCompute项目中所有自定义函数。命令格式。以下两种命令格式...
EMR Gateway升级EMRHOOK组件
hook-hive23.jar hive-hook-1.1.4-hive23.jar mv hive-hook-hive31.jar hive-hook-1.1.4-hive31.jar mv spark-hook-spark24.jar spark-hook-1.1.4-spark24.jar mv spark-hook-spark30.jar spark-hook-1.1.4-spark30.jar iii).修改完成后...
实例运行健康自检指南
PLAIN机制 java-jar KafkaChecker.jar pull-sm PLAIN-ss true-u username-psw password-s 接入点域名:9093-topic Topic名称-group Group名称-partition 0-offset 0-count 10 示例：java-jar KafkaChecker.jar pull-sm PLAIN-ss true-u test...
MapReduce作业提交
本文向您介绍如何使用Jar命令在MaxCompute客户端运行和提交MapReduce作业。MaxCompute客户端提供Jar命令用于运行MapReduce作业，举例如下。jar-conf \home\admin\myconf-resources a.txt,example.jar-classpath.\lib\example.jar:.\other_...
应用大盘
java-Dproject.name=karl-8084-Dserver.port=8084-Drequest.port=none-Drequest.interface=hello-Dahas.license=6523c21873cc41d5bexxxxxxxxxxde6-Dahas.regionId=cn-shenzhen -javaagent:ahas-java-agent.jar-jar karl-demo.jar&java-...
Datastream JAR迁移
本文为您介绍如何将自建Flink集群上的Datastream JAR作业，迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包，包括 ...
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
通过CDH5 Hadoop读取和写入OSS数据
4.5.2.jar httpclient-4.5.2.jar[root@cdh-master lib]#ln-s./././jars/httpcore-4.4.4.jar httpcore-4.4.4.jar[root@cdh-master lib]#ln-s./././jars/hadoop-aliyun-2.6.0-cdh5.14.4.jar hadoop-aliyun.jar[root@cdh-master lib]#ln-s././...
Ark Biz 介绍
├─spring-boot-devtools-1.4.2.RELEASE.jar│├─spring-boot-starter-1.4.2.RELEASE.jar│├─spring-boot-starter-logging-1.4.2.RELEASE.jar│├─spring-boot-starter-tomcat-1.4.2.RELEASE.jar│├─spring-boot-starter-web-1.4.2....
模拟IDC Spark读写MaxCompute实践
mvn clean package jar:test-jar 查看 target 目录下是否有 dependencies.jar 和 tests.jar。上传jar包至服务器。在本地使用 scp 命令上传已经打包好的jar包和依赖的jar包至服务器，命令语法如下。scp<本地jar包路径>root@实例公网IP>:...
快速入门视频
构建.jar包命令：mvn install-Dmaven.test.skip=true Dockerfile文件内容：FROM maven:3.5-jdk-8 COPY target/iot-demo-0.0.1-SNAPSHOT.jar/iot-demo.jar EXPOSE 8080 ENTRYPOINT["/bin/bash","-c","java-jar/iot-demo.jar-server.port=...
质量校验函数jar包源代码
在创建质量校验函数时，请先使用Java工具将文中示例代码打包成jar包。本文提供质量校验函数jar包源代码示例内容。示例代码 运行Java开发工具，生成一个文件名称为“PhoneNumberChecker”jar包。package com.aliyun.odps.udf.examples;...
新建SPARK_JAR_ON_HIVE任务
背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_HIVE任务中引用。具体操作，请参见 上传资源及引用。前提条件 计算引擎中已开启Spark任务，如何开启...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
版本说明
说明 如果需要使用Sping Cloud，还需要下载 txc-client-springcloud-2.8.94.jar。2.8.87 2023-01-16 支持使用半角分号;分隔的批量DML语法。支持insert语法指定多values，例：insert into.values(.),(.)。修复getUpdateCount返回值异常。...
版本说明
hitsdb-client-0.3.7.jar 0.3.6 增加 Config#lastResultReverseEnable()接口提供逆序查询时数据按时间戳逆序返回的能力。修复因错误依赖 javafx.util.Pair 而导致的运行时错误并添加API黑名单机制。修改合法的timestamp下限。修复...
动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
Telnet 指令
lib/log4j-api-2.11.1.jar!file:/Users/qilong.zql/.m2/repository/com/alipay/sofa/runtime-sofa-boot-plugin/3.1.3/runtime-sofa-boot-plugin-3.1.3.jar!lib/aopalliance-1.0.jar!file:/Users/qilong.zql/.m2/repository/...
JarArtifact
名称 类型 描述 示例值 object 本数据结构代表 JAR 类型作业必填的信息。jarUri string JAR 作业 URL 全路径。https://oss/bucket/test.jar entryClass string 启动类，需要填写类的全称。org.apapche.flink.test mainArgs string 启动类所...
JAR作业开发实践
本文介绍Lindorm计算引擎JAR作业开发的详细步骤。前提条件 已创建并开通Lindorm实例的宽表引擎，具体操作请参见 创建实例。已开通Lindorm实例的计算引擎服务，具体操作请参见 开通与变配。已安装Java环境，要求使用JDK 1.8及以上版本。步骤...
概述
本文将分别从Table/SQL JAR迁移至SQL、Datastream JAR迁移和Table/SQL JAR迁移至JAR三方面，为您介绍如何进行自建Flink作业迁移。背景信息 本文以统计每5分钟窗口内订单的订单总量和订单总金额的计算逻辑为例，为您介绍如何进行自建Flink...
开发和调试
commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api-1.0.4.jar guava-14.0.jar json.jar log4j-1.2.15.jar slf4j-api-1.4.3.jar slf4j-log4j12-1.4.3.jar xmlenc-0.52.jar ...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
创建EMR Spark节点
resource_reference{"spark-examples_2.11-2.4.0.jar"} spark-submit-class org.apache.spark.examples.SparkPi-master yarn spark-examples_2.11-2.4.0.jar 100 其中：org.apache.spark.examples.SparkPi：为您实际编译的JAR包中的任务主...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
Spark SQL开发介绍
AnalyticDB MySQL版 Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍 AnalyticDB MySQL版 Spark SQL应用的示例代码及命令类型。开发工具 您可以通过SQL开发编辑器创建...
自定义函数（UDF）
Added[/private/var/folders/2s/wzzsgpn13rn8rl_0fc4xxkc00000gp/T/40608d4a-a0e1-4bf5-92e8-b875fa6a1e53_resources/hiveudf-1.0-SNAPSHOT.jar]to class path Added resources:[hdfs:/user/hive/warehouse/myfunc/hiveudf-1.0-SNAPSHOT....
管理自定义函数（UDF）
为了避免JAR包依赖冲突，在开发自定义函数时您需要注意以下几点：作业开发页面选择的Flink版本，请和Pom依赖中的Flink版本保持一致。Flink相关依赖，scope请使用provided，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式...
资源
上传JAR包的过程就是在MaxCompute上创建资源的过程，这个JAR包是MaxCompute资源的一种。MapReduce：您编写MapReduce程序后，将编译好的JAR包作为一种资源上传到MaxCompute。运行MapReduce作业时，MapReduce框架会自动下载这个JAR资源，获取...
安全设置
安全设置是您可以对数据安全及访问进行精细化控制、对Spark Jar任务的开关及鉴权模式的设置，来保障数据的安全性。本文为您介绍如何设置严格权限模式和Spark Jar任务。严格权限模式 背景信息 Dataphin管理中心支持项目安全模式设置功能，在...
- 产品推荐
- 这些文档可能帮助您