初始化
背景信息 OpenAPI开发者门户 提供在线调试API和动态生成SDK示例代码的功能，能显著降低API的使用难度，推荐您使用。环境准备 在Eclipse项目中使用阿里云E-MapReduce OpenAPI Java SDK。请确保代码运行环境设置了环境变量ALIBABA_CLOUD_...
Java SDK 说明
SDK 提供以同步或异步方式发送交易、查询交易、订阅事件等的接口。无论以同步或异步的方式发送交易，SDK 封装了发送交易后查询收据的逻辑，以便您查看交易的执行结果。Java SDK 的 Jar 包依赖 Netty，不同的运行系统需要选择不同的 Netty ...
使用教程
路径为addFileToClassPath()指定hadoop-connector.jar的本地路径。代码中假定hadoop-connector.jar在当前路径。访问表格存储需要指定入口和身份。通过TableStoreInputFormat.setEndpoint()和TableStoreInputFormat.setCredential()设置访问...
MapReduce开发手册
javac-classpath<HADOOP_HOME>/share/hadoop/common/hadoop-common-X.X.X.jar:<HADOOP_HOME>/share/hadoop/mapreduce/hadoop-mapreduce-client-core-X.X.X.jar:<HADOOP_HOME>/share/hadoop/common/lib/commons-cli-1.2.jar-d wordcount_...
创建EMR MR节点
示例将本文《准备初始数据及JAR资源包》中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。首次使用需要进行 一键授权，然后单击 点击上传 按钮，上传JAR资源。引用EMR JAR资源。打开创建的 EMR MR 节点，停留在代码编辑页面。在 EMR>...
Table/SQL JAR迁移至SQL
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL，因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
Python作业开发
本文为您介绍Flink Python API作业开发的背景信息、使用限制、开发方法、调试方法和连接器使用等。背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的...
解决DataWorks 10 MB文件限制问题最佳实践
本文为您介绍如何解决在DataWorks上执行MapReduce作业时，大于10 MB的JAR和资源文件不能上传至DataWorks的问题，方便您使用调度功能定期执行MapReduce作业。前提条件 请下载并安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端...
创建EMR Shell节点
示例将本文《准备初始数据及JAR资源包》中生成的JAR包存储在JAR资源的存放目录 emr/jars 下。首次使用需要进行 一键授权，然后单击 点击上传 按钮，上传JAR资源。引用EMR JAR资源。打开创建的 EMR Shell 节点，停留在代码编辑页面。在 EMR>...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
Flink
flink.execution.jars 如果您的Zeppelin机器不能访问外网或者您的依赖没有发布在Maven Repository里，则您可以将依赖的JAR包放到Zeppelin机器上，然后通过 flink.execution.jars 来指定这些JAR包，多个JAR包时用逗号（,）分隔。例如，添加...
访问Elasticsearch数据源
必须配置为false.option("es.nodes.discovery","false")/Spark读取的阿里云Elasticsearch实例的数据类型，格式为<index>/<type>.load("spark/_doc").show } } 将步骤1中下载的JAR包和示例程序 spark-example.jar 上传至OSS。具体操作，请...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
Elasticsearch
import org.elasticsearch.spark.rdd.api.java.JavaEsSpark;import java.util.Map;public class ReadES { public static void main(String[]args){ SparkConf conf=new SparkConf().setAppName("readEs").setMaster("local[*]").set("es....
DataStream连接器设置方法
您可以通过以下任何一种方式来使用连接器：（推荐）上传连接器JAR包到实时计算控制台后，填写配置信息 直接将连接器作为项目依赖打进作业JAR包 重要 请使用我们在 支持的连接器 中指明提供DataStream API的连接器。如果某个连接器未注明...
访问RDS MySQL数据源
通过ENI访问RDS MySQL数据 上传驱动程序及Spark作业依赖的Jar包 编写访问RDS MySQL表的示例程序（即Spark作业依赖的Jar包），并进行编译打包。本文生成的Jar包名称为 rds_test.jar。示例代码如下：package ...
开源Flink 1.10实时导入数据至Hologres
mvn install:install-file-Dfile=hologres-flink-connector-1.10-jar-with-dependencies.jar-DgroupId=org.apache.flink-DartifactId=hologres-flink-connector-Dversion=1.10-Dpackaging=jar-DgeneratePom=true 进入Hologres的 Git官方...
社区版CDC
JAR作业 如需在JAR作业中使用对应的连接器，需在 pom.xml 文件中声明如下依赖。groupId>com.ververica</groupId> <artifactId>flink-connector-${需要使用的连接器名称}-cdc</artifactId><version>${对应的社区连接器版本}...
Java SDK使用示例
安装 Java 和 Maven 示例程序依赖 Java 1.8 运行时环境以及 Maven，可以通过如下命令确认是否已经安装。mvn-version Apache Maven 3.5.3(3383c37e1f9e9b3bc3df5050c29c8aff9f295297;2018-02-25T03:49:05+08:00).Java version:1.8.0_161,...
pom.xml配置
facade 模块用于定义服务的接口，同时在使用 RPC 中间件时方便将这个模块打包的 JAR 分发给服务的调用方。service 模块 service 模块包含的配置信息包括 全局配置、应用的日志配置文件 以及 技术栈相关的配置信息。service 模块引入 facade...
使用说明
运行作业 MaxCompute客户端提供一个JAR命令用于运行MaxCompute Graph作业，其使用方式与 MapReduce 中的 JAR命令 相同。使用语法如下。Usage:jar[][ARGS]-conf<configuration_file>Specify an application configuration file-classpath...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在pom.xml中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以1.0.2版本为例，在中加入如下内容：<dependency><groupId>...
访问Kafka数据源
oss:/<bucket_name>/spark-example.jar","jars":"oss:/<bucket_name>/kafka-clients-2.8.1.jar,oss:/<bucket_name>/spark-sql-kafka-0-10_2.12-3.2.0.jar","name":"Kafka Example","className":"com.aliyun.spark.streaming.SparkKafka",...
应用身份识别
数据库审计服务提供的审计功能，只能审计访问源的IP信息，无法溯源访问应用的具体访问源信息（例如：用户名）。如果您需要在审计日志中查看具体访问源的信息，您可以使用应用身份识别功能。本文介绍如何使用应用身份识别功能。前提条件 已...
Notebook
jar包必须放在OSS上，多个jar包之间通过逗号分隔。通过设置spark.jars.packages 来设置依赖的package，格式：groupId:artifactId:version,多个package逗号分隔。Python package 需要通过Databricks数据洞察控制页面选择相应的python包。Q：...
版本说明
说明 如果需要使用Sping Cloud，还需要下载 txc-client-springcloud-2.8.94.jar。2.8.87 2023-01-16 支持使用半角分号;分隔的批量DML语法。支持insert语法指定多values，例：insert into.values(.),(.)。修复getUpdateCount返回值异常。...
2021-01-11版本
说明 如果JAR包超过200 MB，建议对JAR包进行拆分或者通过OSS上传。VVP主要缺陷修复 修复语法检查较慢的问题。VVR 2.1.3版本重大功能变更 VVR支持使用Session模式提交JAR包。自动调优 Source-Delay-Based 策略支持Kafka。增加Connector ...
集群吞吐性能测试
TestDFSIO的jar包位于开源Hadoop版本的${HADOOP_HOME}/share/hadoop/mapreduce目录下，其中${HADOOP_HOME}为测试机器中的Hadoop安装目录，jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，您可通过执行以下命令，查看...
Spark SQL
ADD JAR命令 用于增加Spark SQL运行时，依赖的jar包，比如UDF的jar包，各类数据源连接器的Jar包等。Jar包目前支持OSS格式路径，一般置于整个SQL语句的最前面。每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条...
通过SkyWalking上报Java应用数据
export CATALINA_OPTS Windows Tomcat 7/Tomcat 8 在 tomcat/bin/catalina.bat 第一行添加以下内容：set"CATALINA_OPTS=-javaagent:<skywalking-agent-path>"JAR File或Spring Boot 在应用程序的启动命令行中添加-javaagent 参数。...
通过SkyWalking上报Java应用数据
export CATALINA_OPTS Windows Tomcat 7/Tomcat 8 在 tomcat/bin/catalina.bat 第一行添加以下内容：set"CATALINA_OPTS=-javaagent:<skywalking-agent-path>"JAR File或Spring Boot 在应用程序的启动命令行中添加-javaagent 参数。...
Hive
连接>",#Hive RDS 的jdbc链接"spark.dla.job.log.oss.uri":"<日志目录路径>"},"file":"主资源Jar包路径>"} 说明 jars中指定的Jar包是MySQL的jdbc连接器，可从 官方Maven仓库，并上传到oss。获取需要在DLA Spark配置的Hive相关参数。说明 ...
使用控制台金丝雀发布应用（K8s）
对于部署在K8s集群中的Spring Cloud或Dubbo微服务应用，为确保升级操作的安全性，可使用金丝雀发布（即灰度发布）进行小规模验证，验证通过后再全量升级。本文介绍如何使用EDAS控制台金丝雀发布K8s应用。使用限制 HSF应用：不支持金丝雀...
访问Redis数据源
StructField("salary",DoubleType)))).load()loadedDf.show(10)sparkSession.stop()} } case class Person(name:String,age:Int,address:String,salary:Double)将步骤1下载的Jar包和示例程序 redis_test.jar 上传至OSS。具体操作，请参见 ...
使用资源示例
测试准备 准备好测试程序的Jar包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。在MaxCompute客户端中执行如下操作，准备好测试表和资源。创建测试表。create table mr_upload_src(key bigint,value string);添加...
JDBC数据源
例如 mysql-connector-java-8.0.25.jar，SelectDB会自动在本地 jdbc_drivers/目录下查找相应jar包，其中默认包含了 mysql-connector-java-8.0.25.jar、postgresql-42.5.1.jar、mssql-jdbc-11.2.3.jre8.jar、ojdbc8.jar 这4个常用的Driver包...
提交Spark作业
此时，需要您修改命令中的 local:/opt/spark/examples/spark-examples.jar 为您OSS上存放JAR包的真实路径，路径格式为 oss:/<yourBucketName>/<path>.jar。提交作业 方式一：使用CRD方式提交作业 通过kubectl连接Kubernetes集群，详情请...
关于 Portal 和 Bundle 工程
在编译打包 Bundle 的时候，每个子 module 都会分别生成一个格式为.jar 接口包，其中 api 接口包可以被其他 Bundle 使用。在打包的同时，也会生成一个 Bundle 工程包，这个工程包包含所有的子 module，工程包可以被 Portal 工程使用，工程...
Sort示例
测试准备 准备好测试程序的JAR包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好Sort的测试表和资源。创建测试表。create table ss_in(key bigint,value bigint);create table ss_out(key bigint,value ...
快速使用EMR on ACK
此时，需要您修改命令中的 local:/opt/spark/examples/spark-examples.jar 为您OSS上存放JAR包的真实路径，路径格式为 oss:/<yourBucketName>/<path>.jar。准备工作 创建EMR on ACK集群前，需要在 容器服务管理控制台，进行以下操作：创建...
- 产品推荐
- 这些文档可能帮助您