使用说明
set odps.sql.type.system.odps2=true JDBC下载 您可以通过 OSS、GitHub 或 Maven库 获取MaxCompute各版本的JAR包。推荐您下载包含完整依赖 jar-with-dependencies 的JAR包。通过Maven方式使用MaxCompute JDBC的项目对象模型POM（Project ...
通过Flink导入数据
flink-doris-connector-><dependency><groupId>org.apache.doris</groupId><artifactId>flink-doris-connector-1.16</artifactId><version>1.5.2</version></dependency>下载对应版本的 JAR包，并放置在FLINK_HOME/lib目录下。重要 使用...
CreateApplication
应用默认启动命令：$JAVA_HOME/bin/java$JarStartOptions-jar$CATALINA_OPTS"$package_path"$JarStartArgs JarStartArgs String Query 否 custom-args JAR包启动应用参数。应用默认启动命令：$JAVA_HOME/bin/java$JarStartOptions-jar$...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop...说明 hadoop-streaming-X.X.X.jar 中的 X.X.X 表示JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。您可以在/usr/lib/hadoop-current/share/hadoop/tools/lib/目录下查看JAR包具体版本号。
安全设置
不同的计算引擎支持不同版本的Spark Jar任务（MaxCompute引擎中的Spark Jar任务默认使用Spark v2.4.5。Hadoop引擎中的Spark Jar任务使用的版本为TBD）。MaxCompute引擎下可开启Spark Jar任务鉴权模式。Hadoop引擎下（除Inceptor外）不可...
安全设置
不同的计算引擎支持不同版本的Spark Jar任务（MaxCompute引擎中的Spark Jar任务默认使用Spark v2.4.5。Hadoop引擎中的Spark Jar任务使用的版本为TBD）。MaxCompute引擎下可开启Spark Jar任务鉴权模式。Hadoop引擎下（除Inceptor外）不可...
Python作业开发
如果Python作业中依赖第三方JAR包，请确保使用Scala版本对应的JAR包依赖。作业开发 开发参考 您可以参见以下文档在本地完成Flink业务代码开发，开发完成后您需要将其上传到Flink开发控制台，并部署上线作业。Apache Flink V1.17业务代码...
任务模板管理
版本 设置任务版本号，可以选择输入版本号或者单击 使用时间戳为版本号 将时间戳作为版本号。时区设置 选择当前任务所在时区，例如 UTC+8。可选：配置任务高级配置。任务的高级配置功能与应用相同。更多信息，请参见 高级配置。在 任务设置...
迁移服务（MMA）
操作步骤 根据Hive版本下载对应版本的MMA jar包。本文以 mms-agent-hive2.jar 为例。mms-agent-hive1.jar mms-agent-hive2.jar mms-agent-hive3.jar 在jar包相同目录下，新增并配置 config.ini 文件。config.ini 文件示例内容如下。[mms]...
CDN和视频点播中使用脚本刷新预热M3U8资源
准备工作 以下是准备工作：脚本程序由Java实现，建议使用JDK 1.7及以上的版本。下载 jar脚本，下载后可直接使用。jar所在目录需要有log文件存放运行日志。下载并解压 源码Maven 项目工程。命令详解 基本概念 使用jar脚本的格式如下所示，...
配置Hue访问Presto服务
例如，本文示例创建的是EMR-3.32.0版本的集群，因为Presto版本是338，所以您可以下载338版本的JDBC JAR包。下载下图中的JAR包。上传JAR包至/opt/apps/presto-jdbc/目录。执行以下命令，修改文件权限。chmod 644/opt/apps/presto-jdbc/*执行...
通过命令行离线部署和升级插件
已安装 mosn-intellij-1.0.4-all.jar 及以上版本。开发环境 JDK 已升级至 JDK 11 及以上版本。下载地址请参见 JDK 11。已配置 mosn-intellij 命令行。zshrc 或者~/.bashrc 配置#指定 JDK 11 的本地配置 export JAVA_11_HOME="/Library/Java...
访问Elasticsearch数据源
使用Scala连接阿里云Elasticsearch 下载与阿里云Elasticsearch实例版本对应的JAR包，下载链接，请参见 Elasticsearch Spark。本文下载的示例JAR包为Elasticsearch-spark-30_2.12-7.17.9.jar。在pom.xml文件的dependencies中添加依赖项。...
函数操作
Name my_lower Owner ALIYUN$Created Time 2020-06-18 15:50:19 Class org.alidata.odps.udf.examples.Lower Resources project_name/my_lower.jar 查看自定义函数列表 查看MaxCompute项目中所有自定义函数。命令格式。以下两种命令格式...
通过实时计算Flink版写入数据到云原生数据仓库...
JAR包的版本需要与实时计算平台的Flink引擎版本一致。上传完成后，单击 下一步。系统会对您上传的自定义连接器内容进行解析。如果解析成功，您可以继续下一步。如果解析失败，请确认您上传的自定义连接器代码是否符合Flink社区标准。单击 ...
创建EMR Spark节点
在 提交新版本 对话框中，输入 变更描述。单击 确定。如果您使用的是标准模式的工作空间，任务提交成功后，需要将任务发布至生产环境进行发布。请单击顶部菜单栏左侧的 任务发布。具体操作请参见 发布任务。查看周期调度任务。单击编辑界面...
访问Kafka数据源
本文介绍如何使用 AnalyticDB MySQL 湖仓版（3.0）Spark...操作步骤 分别下载与Kafka和 AnalyticDB MySQL Spark实例版本对应的JAR包。下载链接，请参见 Kafka-clients 和 Spark-sql-kafka-0-10。在pom.xml文件的dependencies中添加依赖项。...
常见问题
308)at java.lang.ClassLoader.loadClass(ClassLoader.java:358).11 more OSS Java SDK依赖下列包：aliyun-sdk-oss-2.2.1.jar hamcrest-core-1.1.jar jdom-1.1.jar commons-codec-1.9.jar httpclient-4.4.1.jar commons-logging-1.2.jar ...
版本说明
修改方式，请参见 如何手动升级 SOFABoot 管理的第三方 JAR。3.6.6（2023-09-19）说明 此版本相比于 3.6.5 进行了安全加固和缺陷修复。新增 RPC 支持配置反序列化类的黑名单，格式为字符串，以英文逗号（,）或英文分号;分割多个类名。配置...
Spark批式读写Iceberg
说明 此文档仅适用于EMR-3.38.0及后续版本与EMR-5.4.0及后续版本的Hadoop集群。操作步骤 新建Maven项目，引入Pom依赖。引入Spark及Iceberg的依赖，以下代码示例指定了Spark 3.1.1与Iceberg 0.12.0版本，使用provided引包编译，运行时使用...
Spark-2.x示例
cd$SPARK_HOME bin/spark-submit-master yarn-cluster-jars/path/to/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar \/path/to/MaxCompute-Spark/spark-2.x/src/main/python/spark_oss.py#spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar...
Jindo DistCp使用说明
rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz Jindo DistCp当前版本支持编解码器gzip...
Jindo DistCp使用说明
rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz Jindo DistCp当前版本支持编解码器gzip...
Jindo DistCp使用说明
rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz Jindo DistCp当前版本支持编解码器gzip...
Jindo DistCp使用说明
rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp01.txt.gz-rw-rw-rw-1 506 2020-04-17 20:58 oss:/<yourBucketName>/hourly_table/2017-02-01/03/emp06.txt.gz Jindo DistCp当前版本支持编解码器gzip...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
Spark访问云HBase或Lindorm
alihbase-client-2.1.0.jar,hbase-spark-1.0.1-SNAPSHOT.jar,/hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar 说明 alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar 中包含了版本信息，...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
常见问题
代码示例中的为输入文件的路径，为输出文件的目录，x.x.x 为JAR包的具体版本号。share/hadoop/mapreduce/hadoop-mapreduce-examples-x.x.x.jar 和<PATH_TO_ALLUXIO>/client/alluxio-x.x.x.-client.jar 均为示例。
ListHistoryDeployVersion-应用发布历史版本列表
调用ListHistoryDeployVersion接口，获取应用部署的历史版本列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息...
在 Android Studio 创建应用
根据需要选择 Build Variants，随后勾选 V1（Jar Signature）加密版本。V1（Jar Signature）为必选项，V2（Full APK Signature）可按需选择。点击 Finish。打包完成后在工程文件夹下的 debug 文件夹（~\MyHApplication\app\debug）中，即可...
Application任务开发
JAR 参数 说明 引擎版本 Spark的版本，详情请参见 引擎版本介绍。文件路径 提交任务时所需的文件。这些文件需提前在 资源上传 页面上传。Entrypoint 提交Spark任务时所指定的主类。运行参数 任务运行过程中所需的配置项或传递给主类的...
在 Android Studio 创建应用
随后勾选 V1（Jar Signature）加密版本。V1（Jar Signature）为必选项，V2（Full APK Signature）可按需选择。点击 Finish。打包完成后在工程文件夹下的 debug 文件夹（~\MyHApplication\app\debug）中，即可获得该应用签名后的 APK 安装包...
在 Android Studio 中创建原生工程
随后勾选 V1（Jar Signature）加密版本。V1（Jar Signature）为必选项，V2（Full APK Signature）可按需选择。点击 Finish。片刻后，在工程文件夹下的 debug 文件夹（~\mPaaSminiprogram\app\debug）中，即可获得该应用签名后的 APK 安装包...
安装
版本及各版本的变更信息，请参见 视频点播SDK历史版本，切换到对应的SDK版本，再选择目标语言，单击各版本的 查看发布报告，可以查看详细变更信息。aliyun-java-sdk-kms 为密钥管理服务（KMS）的所需依赖，如需使用视频点播的HLS标准加密...
Flink数据导入
您可以根据Flink版本下载对应的驱动：Flink 1.11版本：flink-connector-jdbc_2.11-1.11.0.jar Flink 1.12版本：flink-connector-jdbc_2.11-1.12.0.jar Flink 1.13版本：flink-connector-jdbc_2.11-1.13.0.jar 如需其他版本的驱动，请前往 ...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 Java环境 根据需求在下拉列表选择对应的JDK版本。适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 Java环境 根据需求在下拉列表选择对应的JDK版本。适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署...
使用控制台金丝雀发布应用（K8s）
适用于JAR包和WAR包部署的应用 Java环境 根据需求在下拉列表选择对应的JDK版本。适用于JAR包和WAR包部署的应用 文件上传方式 与上一次的部署包类型（WAR包或JAR包）保持一致，不可更改。上传方式可以根据实际需求选择上传部署包或输入部署...
MapReduce开发手册
X.X.X：JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。hadoop-common-X.X.X.jar，您可以在<HADOOP_HOME>/share/hadoop/common/目录下查看。hadoop-mapreduce-client-core-X.X.X.jar，您可以在<HADOOP_HOME>/share/hadoop/...
- 产品推荐
- 这些文档可能帮助您