Spark SQL开发介绍
每条 ADD JAR 命令指定一个OSS JAR包路径，JAR包路径的字符串不添加单引号和双引号，每条 ADD JAR 命令用英文分号;隔开。SQL语句 Spark SQL所支持的DDL、DML或DQL语句。详情请参见 Spark SQL创建C-Store表。例如查询语句SELECT、插入语句...
Java UDF最佳实践
} } 其中：JAR包路径为 org.alidata.odps.udf.examples。class文件名为 javaudf。步骤一：上传JAR包 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入 资源管理 页面。在Dataphin首页，单击 研发...
Java UDF最佳实践
} } 其中，JAR包路径为 org.alidata.odps.udf.examples。class文件名为 javaudf。步骤一：上传JAR包 登录 Dataphin控制台。在Dataphin控制台页面，选择工作区地域后，单击 进入Dataphin>>。进入 资源管理 页面。在Dataphin首页，单击 研发...
Datastream JAR迁移
scp {jar包路径} root@{自建flink master ip}:/上个步骤获取的publp即为自建flink master ip。连接EMR-Flink集群后，执行以下命令运行Flink作业。连接方式详情请参见 连接方式概述 ECS远程连接操作指南。cd/flink run-d-t yarn-per-job-p 2...
Android 热修复使用教程
jar 包路径：若构建 debug 包，则为 Bundle 主 module 下的 build/intermediates/bundle/xxxx-raw.jar。若构建 release 包，则.jar 包名称没有-raw 后缀。示例：修改 Bug 代码 修改 Bug 代码，并重新构建工程。对应上文示例，可将除数改成 ...
Spark SQL
每条add jar命令指定一个oss jar包路径，路径字符串不要加单引号和双引号，每条ADD JAR命令用分号隔开。Spark SQL语法所支持的DDL或DML语句 例如查询语句 select。例如插入语句 insert。例如查看数据库 SHOW DATABASE。说明 SparkSQL语句的...
操作指导
问题原因 作业JAR包中包含了不必要的依赖（例如基本配置、Flink、Hadoop和log4j依赖），造成依赖冲突从而引发各种问题。作业需要的Connector对应的依赖未被打入JAR包中。排查方法 查看作业 pom.xml 文件，判断是否存在不必要的依赖。通过 ...
Table/SQL JAR迁移至SQL
scp {jar包路径} root@{自建flink master ip}:/上个步骤获取的publp即为自建flink master ip。连接EMR-Flink集群后，执行以下命令运行Flink作业。连接方式详情请参见 连接方式概述 ECS远程连接操作指南。cd/flink run-d-t yarn-per-job-p 2...
作业配置指南
Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持...
管理自定义Catalog
查看：鼠标悬浮在自定义Catalog类型名称上面，查看自定义Catalog类型JAR包路径、Catalog类型、创建时间和创建人等信息。删除：单击目标自定义Catalog类型名称右侧的 图标，单击 确定。相关文档 Flink内置了多种Catalog类型，详情请参见 ...
Hive
连接>",#Hive RDS 的jdbc链接"spark.dla.job.log.oss.uri":"<日志目录路径>"},"file":"主资源Jar包路径>"} 说明 jars中指定的Jar包是MySQL的jdbc连接器，可从 官方Maven仓库，并上传到oss。获取需要在DLA Spark配置的Hive相关参数。说明 ...
使用说明
classpath 引用的是main函数，运行于本地，指定的JAR包路径也是本地文件路径。包名之间使用系统默认的文件分割符进行分割（通常，Windows系统是分号，Linux系统是冒号）。D<prop_name>=<prop_value>：本地执行时，的Java属性可以定义多个。...
DescribeCloudbenchTaskConfig-查询压测任务配置
调用DescribeCloudbenchTaskConfig接口，查询压测任务配置信息。接口说明 数据库自治服务 DAS 提供智能压测功能，帮助您验证...tmp/das/cloudbench/2777bba9-a836-49e6-9f70-1c3822fc*.archiveSql JarOnOss string 压测 Jar 包在 OSS 的路径。...
JDBC
类路径选择JDBC jar包所在路径。常见问题 如何选择JDBC驱动，是否可以使用开源社区驱动？PolarDB PostgreSQL版（兼容Oracle）兼容版在开源PostgreSQL的基础上实现了众多兼容性相关的特性，有些特性需要驱动层配合实现，因此，推荐使用...
运行模式
path/to/MaxCompute-Spark为编译后的Application JAR包路径。cd$SPARK_HOME bin/spark-submit-master yarn-cluster-class ...
Maven开发常见问题
本文介绍如何解决无法下载JAR包的问题。无法下载JAR包 如果出现本地开发环境无法找到需要依赖的JAR包，请按以下步骤排查解决。确认 pom.xml 文件中是否已经添加了Maven依赖。例如：<dependency><groupId>...
Flink JAR作业快速入门
步骤一：开发JAR包 Flink控制台不提供JAR包的开发平台，因此您需要在线下完成JAR包的开发。DataStream API的开发方法、调试及连接器的使用详情请参见 JAR作业开发。本快速入门为了带您快速熟悉Flink流作业和批作业的操作，已为您提供了测试...
测试方法
true"],"file":"<Jar包的OSS路径>",#上文中您Jar包上传的OSS路径，例如oss:/test/performance/dla-spark-perf.jar。name":"TeraGen-1T","className":"com.aliyun.dla.perf.terasort.TeraGen","conf":{"spark.dla.connectors":"oss",...
Spark应用开发介绍
需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath里面。重要 Spark应用所依赖的所有JAR包须存储在OSS中。OSS Bucket与 AnalyticDB MySQL 集群需要在同一地域。Scala应用参数 参数名称 是否必填 示例值 ...
配置Tomcat
在容器服务K8s集群或Serverless K8s集群中以WAR包或JAR包方式创建或部署应用时，您可以配置应用端口、应用访问路径以及最大线程数等参数信息。在创建应用时配置Tomcat 登录 EDAS控制台，在左侧导航栏，单击 应用管理>应用列表，在顶部菜单...
MaxCompute UDF（Java）常见问题
解决措施：原因一的解决措施：使用 maven-shade-plugin 解决版本不一致问题并修改Import路径，重新打包为JAR包并上传至MaxCompute项目。更多打包上传操作，请参见 打包、上传及注册。原因二的解决措施：请参见 Java沙箱限制问题。Java沙箱...
接入Web应用
说明 启动参数中的默认路径为JAR包所在的ahas-sentinel-url-clean.properties文件。启动参数支持classpath形式，例如：Dcsp.sentinel.url.clean.config.path=classpath:ahas-sentinel-url-clean.properties。结果验证 登录 AHAS控制台，在...
Pig开发手册
编写脚本 根据准备工作中所上传的OSS路径，修改脚本中的JAR包文件路径和输入输出路径。Licensed to the Apache Software Foundation(ASF)under one*or more contributor license agreements.See the NOTICE file*distributed with this ...
Airflow调度Spark
需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath里面。重要 Spark应用所依赖的所有JAR包必须存储在OSS中。OSS Bucket与AnalyticDB MySQL集群需要在同一地域。py_files 否 PySpark依赖的Python文件，...
快速入门视频
本文通过视频演示介绍从应用打包到应用发布的整个流程。同时提供演示视频中使用的...iot-demo.jar：构建到镜像中的jar包的存储路径和名称。EXPOSE 8080：用于指定Web应用对外的访问端口为8080。镜像构建命令：docker build-t demo/helloiot.
通过DMS管理作业
spark.hadoop.fs.oss.impl":"org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem","spark.sql.shuffle.partitions":"20"} } 参数 参数类型 是否必填 说明 示例值 mainResource String 是 JAR包存储在HDFS或OSS的路径。JAR包存储至...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
将表格存储的增量数据转换为全量数据格式
通过DataWorks控制台，您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute，且已配置同步 表格存储 增量数据到MaxCompute。具体操作，请分别参见 全量导出...
快速入门
classpath mapreduce-1.0-SNAPSHOT.jar：classpath 指定MainClass所在JAR包的本地路径。com.aliyun.odps.mapred.open.example.WordCount ：MapReduce程序中定义的MainClass。wc_in wc_out：输入表和输出表。更多 jar 命令信息，请参见 语法...
创建EMR Spark节点
JAR包大于等于200MB时，无法通过本地上传的方式直接上传为DataWorks的资源，建议直接将JAR包存储在EMR的HDFS中，并记录下JAR包的存储路径。便于后续在DataWorks调度Spark任务时引用该路径。引用EMR JAR资源。JAR包存储在HDFS时，您可以直接...
MapReduce作业提交
classpath<local_file_list>：本地执行时的classpath，主要用于指定main函数所在的Jar包的本地路径（包含相对路径和绝对路径）。包名之间使用系统默认的文件分割符作分割。通常情况下，Windows系统中使用分号;Linux系统中使用逗号（,）。...
设置启动命令
在编译过程中，SAE 会内置启动命令和参数，并指定JAR包的存放路径。您可以登录 SAE控制台 修改JAR包默认的启动命令及命令参数。重要 如果您对原有Dockerfile镜像的 ENTRYPOINT 和 CMD 配置内容不熟悉，请勿自定义或者修改启动命令和启动...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
启停ThriftServer
spark.dynamicAllocation.maxExecutors JARS 否 执行环境需要第三方JAR包的OSS路径。如果执行SQL时，需要依赖JAR包，请先将JAR包上传至OSS的存储空间。如何上传文件，请参见 控制台上传文件。spark.jars 最大连接数 否 Spark维护的最大的...
Spark
解决方法：您可以通过Spark的conf配置参数添加以下配置，在日志中打印类加载过程中涉及的JAR包，从而排查哪些JAR包与Spark冲突。然后通过Maven常见的冲突解决方式Provided和Relocation解决该报错。详情请参见 Conf配置参数。spark....
Hadoop MapReduce作业配置
填写的命令行参数需要从 hadoop jar 命令后的第一个参数开始填写，即在输入框中首先填写运行该作业所需JAR包的所在路径，再填写[MainClass]和其它您想要设置的命令行参数。例如，您想要提交一个Hadoop的sleep作业，该作业不读写任何数据，...
客户端使用说明
通过如下命令将 EncJDBC 依赖包安装至您的本地仓库：mvn install:install-file-DgroupId=com.alibaba.encdb -DartifactId=<安装的Jar包名>-Dversion=<安装的Jar版本>-Dpackaging=jar-Dfile=<安装的Jar包文件名>示例：mvn install:install-...
客户端使用说明
通过如下命令将 EncJDBC 依赖包安装至您的本地仓库：mvn install:install-file-DgroupId=com.alibaba.encdb -DartifactId=<安装的Jar包名>-Dversion=<安装的Jar版本>-Dpackaging=jar-Dfile=<安装的Jar包文件名>示例：mvn install:install-...
客户端使用说明
通过如下命令将 EncJDBC 依赖包安装至您的本地仓库：mvn install:install-file-DgroupId=com.alibaba.encdb -DartifactId=<安装的Jar包名>-Dversion=<安装的Jar版本>-Dpackaging=jar-Dfile=<安装的Jar包文件名>示例：mvn install:install-...
- 产品推荐
- 这些文档可能帮助您