使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
Spark应用开发介绍
需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath里面。重要 Spark应用所依赖的所有JAR包须存储在OSS中。OSS Bucket与 AnalyticDB MySQL 集群需要在同一地域。Scala应用参数 参数名称 是否必填 示例值 ...
使用控制台分批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 点击上传，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。构建仓库...
动态加载UDF
操作流程 步骤一：环境准备 步骤二：增加UDF 步骤三：删除UDF 步骤一：环境准备 将UDF对应的JAR包文件放在对应的文件系统中。目前UDF文件支持以下两种方式：方式一：将UDF的全部内容打成一个JAR包（例如，udfjar.jar），上传到文件系统中。...
YARN缺陷修复公告
缺陷修复方案 您需要将E-MapReduce集群中包含缺陷的Hadoop YARN ResourceManager的JAR包替换掉，然后重启ResourceManager服务，重启服务时先处理Standby ResourceManager，再处理Active ResourceManager。该修复方案：适用于EMR的4.6.0、4....
Hadoop MapReduce作业配置
在Hadoop（以hadoop-2.6.0版本为例）中，该作业处于Hadoop发行版的 hadoop-mapreduce-client-jobclient-2.6.0-tests.jar 包文件中。如果您通过命令行的方式提交该作业，需要执行以下命令。hadoop jar/path/to/hadoop-mapreduce-client-...
Airflow调度Spark
需填写JAR包文件的绝对路径。JAR包在运行时会被加入到Driver和Executor JVM的ClassPath里面。重要 Spark应用所依赖的所有JAR包必须存储在OSS中。OSS Bucket与AnalyticDB MySQL集群需要在同一地域。py_files 否 PySpark依赖的Python文件，...
如何手动升级 SOFABoot 管理的第三方 JAR
在 sofaboot-enterprise-dependencies 的 pom 文件中搜索要替换的 JAR 包名称，例如 fastjson。如果其 version 处采用 placeholder 格式引用了 properties，可以参考本文方法，修改其版本。如果想替换开源版 SOFABoot 或 Spring Boot 管理...
自定义资源组
home/admin/alisatasknode/logs：alisatasknode.log 日志文件中存放的是Agent插件的运行信息，例如接收到的任务运行操作、Agent心跳状态等。home/admin/datax3/log：存放数据集成任务的详细运行日志，如果任务执行失败，请查看该部分日志...
在SAE控制台使用JAR文件部署微服务应用
本文以两个简单的示例JAR文件分别表示微服务的提供者和消费者。提供者提供简单的Echo服务，会返回消费者输入的消息。本文介绍在 SAE 控制台部署微服务应用的操作步骤及验证方式。前提条件 创建命名空间 创建VPC 操作步骤 部署提供者微服务...
Trino扩缩容
但是，新增的UDF包、手动替换的JAR包、手动升级的组件（例如JindoSDK）、自行添加的Event Listener等无法在扩容时同步到新节点上。为避免在扩容后某些查询失败或结果不符合预期，建议将这些操作都编写成脚本，在新节点创建过程中脚本会自动...
UserGroupsMapping
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
Spark UDF
resource_location_list 这个方法使用到的JAR包或者文件放置的位置,需要显式指定依赖的是JAR还是FILE：USING JAR 'oss:/test/function.jar',FILE 'oss:/test/model.csv'。查询当前数据库的所有UDF USE databasename;SHOW USER FUNCTIONS;...
ProxyUser
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
通过Jindo CLI访问
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
Flink JAR作业快速入门
vvr-6.0.7-flink-1.15 JAR URI 单击 FlinkQuickStart-1.0-SNAPSHOT.jar 下载测试JAR包后，再单击右侧 图标选择文件，上传JAR包。oss:/flink-test-oss/artifacts/namespaces/flink-test-default/FlinkQuickStart-1.0-SNAPSHOT.jar Entry ...
通过RootPolicy访问
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
Hadoop使用JindoSDK访问OSS-HDFS服务
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。配置环境变量。编辑配置文件。vim/etc/profile 配置环境变量。export...
Snapshot（试用）
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
冷热分层存储
以下以 jindosdk-x.x.x-linux 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。cd jindosdk-x.x.x-linux/bin/说明 x.x.x表示JindoSDK JAR包版本号。授予bin目录下的 jindo-util 文件的读、写、执行的权限。chmod 700 jindo-util...
HMaster服务异常提示Cannot seek after EOF
影响范围 受影响的HBase版本为2.3.4，对应的EMR集群版本：EMR-5.6.0之前版本 EMR-4.8.0至EMR-4.10.0版本（均包含）解决方法 说明 替换前请备份好JAR文件。下载 hbase-server-2.3.4.jar，并替换HBase集群header节点上对应的JAR文件。JAR文件...
解压缩文件失败
确认压缩包文件格式正确 Linux操作系统云虚拟主机仅支持解压缩.zip和.tar格式的压缩文件。Windows操作系统云虚拟主机仅支持解压缩.zip和.rar格式的压缩文件。如果压缩包文件格式错误，请根据当前主机限制重新压缩本地文件，然后执行解压缩...
Impala使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
Trino使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
Spark使用JindoSDK查询OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
通过spark-submit命令行工具开发Spark应用
需填写JAR包文件的绝对路径。用户可使用-oss-upload-path 或者在 conf/spark-defaults.conf 配置文件中设置ossUploadPath的值来指定文件资源上传到OSS的路径。文件资源上传时，会使用md5校验文件内容，当指定的OSS路中有相同文件名且md5...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
HBase使用OSS-HDFS服务作为底层存储
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar-zxvf jindosdk-x.x.x-linux.tar.gz-C/usr/lib 说明 x.x.x表示JindoSDK JAR包版本号。配置 JINDOSDK_HOME。export JINDOSDK_HOME=...
Python作业开发
本文为您介绍Flink Python ...在Flink Python作业中使用自定义的Python虚拟环境、第三方Python包、JAR包和数据文件，详情请参见 使用Python依赖。实时计算Flink版还支持运行SQL和DataStream作业，开发方法请参见 SQL作业开发 和 JAR作业开发。
Hive使用JindoSDK处理OSS-HDFS服务中的数据
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。可选：如果您的环境中未包含Kerberos和SASL相关依赖，则...
在文件存储 HDFS 版上使用Presto
hadoop2 hive.metastore.uri=thrift:/xxxx:9083#xxxx为启动 hive 元数据服务的ip地址 hive.config.resources=path/to/core-site.xml#请替换为该节点上已挂载文件存储HDFS版的Hadoop core-site.xml路径 编译并替换JAR包。Presto使用maven-...
如何进行WebSocket协议的压测
通过Apache JMeter和对应的插件编写脚本，并在PTS中上传这些脚本、插件JAR包和其他相关文件，即可发起压测。本文以JMeter WebSocket Samplers插件为例，主要介绍如何在本地使用Apache JMeter编写、调试压测脚本，以实现WebSocket协议的业务...
社区版CDC
在 数据连接 页面，单击 创建自定义连接器，并上传第2步中下载的JAR文件。详情请参见 管理自定义连接器。编写SQL作业时，将社区版CDC连接器的名字作为 connector 参数取值。各连接器支持的参数请参考 Apache Flink CDC。JAR作业 如需在JAR...
Flume使用JindoSDK写入OSS-HDFS服务
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar-zxvf jindosdk-x.x.x-linux.tar.gz-C/usr/lib 配置 JINDOSDK_HOME。export JINDOSDK_HOME=usr/lib/jindosdk-x.x.x-linux export ...
Java（不推荐）
本文介绍了如何使用阿里云视觉智能开放平台的Java SDK，...继io/opentracing/util/GlobalTracer的问题解决后报错 报错信息 java.lang.NoClassDefFoundError:io/opentracing/noop/NoopTracerFactory 解决方案：安装JAR包 opentracing-noop。
作业配置指南
Serverless Spark作业的描述格式为JSON格式，包含作业名称，JAR包路径以及作业配置参数等信息。本文主要介绍如何配置Serverless Spark任务格式。重要 云原生数据湖分析（DLA）产品已退市，云原生数据仓库 AnalyticDB MySQL 版 湖仓版支持...
非EMR集群接入OSS-HDFS服务快速入门
以下以解压 jindosdk-x.x.x-linux.tar.gz 为例，如使用其他版本的JindoSDK，请替换为对应的JAR包名称。tar zxvf jindosdk-x.x.x-linux.tar.gz 说明 x.x.x表示JindoSDK JAR包版本号。配置环境变量。配置 JINDOSDK_HOME。以安装包内容解压在/...
常见问题
cd~/.m2/repository/io/netty/netty-tcnative-boringssl-static/2.0.34.Final 将以下JAR包替换为上面附件中的JAR包。out of gas 问题背景 调用合约，产生的out of gas异常。如果执行时间很长，合约接口中客户批量操作，则数量越多，出现的...
Spark Connector
说明 如果您编译时遇到网络等原因导致编译失败，可以单击 spark-odps-datasource-3.3.1-odps0.43.0.jar，下载已经编译成功的JAR包，然后将JAR包放在$SPARK_HOME/jars/目录下。下载Spark Connector：git clone ...
离线Spark消费示例
编译命令 mvn clean package-DskipTests#编译完后，作业JAR包位于target/shaded/下。提交执行 spark-submit-master yarn-cluster-executor-cores 2-executor-memory 1g-driver-memory 1g-num-executors 2-class x.x.x.TestBatchLoghub xxx....
- 产品推荐
- 这些文档可能帮助您