常见问题
V0.10.2.12 JAR包 V0.10.2.6 JAR包 说明 V0.10.2.24.5无需下载Jar包，通过Maven坐标即可引入，具体参见 Java SDK说明。将Jar包安装到本地仓库。安装V0.10.2.20的Jar包执行命令如下。mvn install:install-file-Dfile=mychainx-sdk-java-all-...
Dataphin中上传资源jar包存放位置
概述 Dataphin中上传的资源JAR包是直接上传到HDFS，还是先上传到Dataphin的机器上再同步到HDFS？详细信息 如果用户在上传资源的时候选择计算源，就会上传到HDFS上。如果用户没有选，就不会。默认是上传到OSS/Ceph集群，如果用户选择了计算...
安装Java SDK
在Maven工程中使用日志服务Java SDK，只需在 pom.xml 中加入相应依赖即可，Maven项目管理工具会自动下载相关JAR包。以0.6.75版本为例，在中加入如下内容：<dependency><groupId>...
Artifact
对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，对于 JAR 作业是使用到的全部的 JAR 包和依赖文件，对于 Python 作业是要使用到的 py 文件以及 zip 包。sqlArtifact SqlArtifact SQL 作业必填信息。jarArtifact JarArtifact JAR ...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
EMR Gateway升级EMRHOOK组件
例如EMR-3.43.1版本emrhook组件小版本为1.1.4，jar包命名规则hive-hook-${version}-hive20.jar，则需要将上述解压好的jar包修改成一样的命名：cd/opt/apps/EMRHOOK/upgrade/emrhook mv hive-hook-hive20.jar hive-hook-1.1.4-hive20.jar mv...
常见问题
作业JAR包和集群内Flink的JAR包存在冲突 该问题发生时，您一般可以在作业日志中看到类似报错 NoSuchFieldError/NoSuchMethodError/ClassNotFoundException 等。您可以通过以下步骤排查和解决：定位引起冲突的依赖类。根据报错中的异常类，...
创建和使用EMR资源
说明 目前您的任务JAR包仅支持如下两种存放路径：JAR包存放在EMR集群的Master机器中。JAR包存放在对象存储服务（Object Storage Service，OSS）中。推荐您使用OSS进行存放。使用OSS存放JAR包，详情请参见 控制台使用流程。文件来源 目标...
Spark常见问题
如何把JAR包当成资源来引用？如何通过Spark传入参数？如何将Spark流式读取的DataHub数据写入MaxCompute？如何将开源Spark代码迁移至MaxCompute Spark？如何通过Spark处理MaxCompute中的表数据？如何设置Spark资源并行度？如何解决内存不足...
Flink
flink.execution.jars 如果您的Zeppelin机器不能访问外网或者您的依赖没有发布在Maven Repository里，则您可以将依赖的JAR包放到Zeppelin机器上，然后通过 flink.execution.jars 来指定这些JAR包，多个JAR包时用逗号（,）分隔。例如，添加...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
通过spark-submit命令行工具开发Spark应用
当JAR包存储在本地路径中，需要上传JAR包时，可配置OSS参数将本地的JAR包自动上传到OSS路径中。否 ossSecretId 创建OSS Bucket使用的阿里云账号或RAM用户的AccessKeySecret。否 ossEndpoint OSS内网Endpoint。OSS地域与Endpoint的对应关系...
开发和调试
内置Jar包 以下Jar包会默认加载到运行Graph程序的JVM中，您不必上传这些资源，也不必在命令行的-libjars 带上这些Jar包。commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api...
测试方法
在后续测试过程中，DLA Spark需要使用这个Jar包来生成Terasort测试数据以及进行Terasort基准测试，因此需要把该Jar包上传到您的OSS上。操作步骤 场景一：1 TB测试数据下DLA Spark+OSS与自建Hadoop+Spark集群性能对比 准备测试数据 在OSS上...
分布式部署
tar-zxvf ossimport-2.3.7.tar.gz-C$HOME/ossimport 解压后的文件结构如下：ossimport├─bin│├─console.jar#Console模块jar包│├─master.jar#Master模块jar包│├─tracker.jar#Tracker模块jar包│└─worker.jar#Worker模块jar包├...
在SAE控制台使用JAR文件部署微服务应用
文件上传方式 选择 上传JAR包 或 JAR包地址。上传JAR包：单击 选择文件，选择待部署的JAR文件。JAR包地址：输入JAR文件的存放地址。示例提供者JAR文件的地址如下：...
Dataphin中代码任务运行jar包报错“Java heap space”
问题描述 代码任务中运行JAR包报错“Java heap space”，本地运行正常。Exception in thread"main"java.lang.OutOfMemoryError:Java heap space at org.apache.http.util.CharArrayBuffer.<init>(CharArrayBuffer.java:56)at org.apache....
HBase
弹性网卡ENI（Elastic Network ...说明 如果用户需要上传自定义的HBase Connector JAR包，则无需设置 spark.dla.connectors 为HBase，直接在 ConfigJson 中使用 jars:["<oss://path/to/your/hbase/connector/jar>"]上传HBase依赖JAR包即可。
量化使用
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
常见问题排查
例如：执行 hadoop 命令或者任务出现如下错误时，表明 org/apache/hadoop/fs/PathFilter 相关的类不在Hadoop的运行环境中，该类所属的Jar包为 hadoop-common-x.x.x.jar，需要您下载该Jar包的正确版本，并将其置于所有Hadoop环境下的...
Ark Biz 介绍
通常情况，您只需要发布 Ark 包即可，但 SOFAArk 支持运行多个 Ark Biz，若开发者希望自己应用的 Ark Biz 包能够被其他应用直接当成 JAR 包依赖，进而运行在同一个 SOFAArk 容器之上，那么就需要打包发布 Ark Biz 包。Ark-Biz 典型目录结构...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
开发ODPS MR任务
说明 关于mapreduce example.jar包内部的实现逻辑请参见 WordCount示例。在ODPS MR节点输入以下代码后运行。创建输入表。CREATE TABLE if not exists wc_in(key STRING,value STRING);创建输出表。CREATE TABLE if not exists wc_out(key ...
管理自定义连接器
为了避免JAR包依赖冲突，您还需要注意以下几点：Flink镜像和Pom依赖的Flink版本请保持一致。请不要上传Runtime层的JAR包，即在依赖中添加<scope>provided。其他第三方依赖请采用Shade方式打包，Shade打包详情参见 Apache Maven Shade ...
如何使用Java SDK快速删除存储空间及其中的历史版本
本文是基于OSS的Java SDK来实现直接完全删除存储空间，您可以直接通过代码进行删除，也可以直接运行JAR包来删除存储空间，同时该代码也实现了只删除旧版本数据保留最新版本数据的功能。详细信息 说明 如果您对实例或数据有修改、变更等风险...
安装
no more than 2.3.3-><dependency><groupId>org.glassfish.jaxb</groupId><artifactId>jaxb-runtime</artifactId><version>2.3.3</version></dependency>在Eclipse项目中导入JAR包 以3.15.1版本为例，步骤如下：下载 Java SDK 开发包。...
制作 SOFABoot 应用的 Docker 镜像
编写 Dockerfile 文件 Docker 提供了 Dockerfile 格式的文件来构建应用镜像，创建一个 Spring Boot 应用的 Dockerfile:FROM openjdk:8-jdk-alpine VOLUME/tmp/应用 JAR 包的名称必须遵循 artifactId-version 的格式 COPY sofaboot-docker-...
使用API在K8s集群中创建Java应用（JAR包或WAR包）
本文介绍如何使用EDAS提供的Java SDK调用API在K8s集群中创建Java应用（JAR包或WAR包）。前提条件 调用API创建应用前，您必须提前完成以下准备工作：安装EDAS的Java SDK。更多信息，请参见 Java SDK接入指南。确定应用部署地域。创建微服务...
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
Hadoop Streaming
本文为您介绍如何使用Python提交Hadoop...说明 hadoop-streaming-X.X.X.jar 中的 X.X.X 表示JAR包的具体版本号，需要根据实际集群中Hadoop的版本来修改。您可以在/usr/lib/hadoop-current/share/hadoop/tools/lib/目录下查看JAR包具体版本号。
Hadoop MapReduce作业配置
填写的命令行参数需要从 hadoop jar 命令后的第一个参数开始填写，即在输入框中首先填写运行该作业所需JAR包的所在路径，再填写[MainClass]和其它您想要设置的命令行参数。例如，您想要提交一个Hadoop的sleep作业，该作业不读写任何数据，...
可视化管理资源
MaxCompute Studio的Project Explorer提供了可视化编辑器，可以帮助您快速在MaxCompute项目中添加注册MaxCompute UDF所需的资源，例如表、JAR包、PY脚本或压缩包等，并提供获取及删除资源的入口。本文为您介绍如何通过Project Explorer可视...
部署作业
资源上传 作业部署前，您可以根据需要将JAR包、Python作业文件或Python依赖上传到Flink开发控制台。登录 实时计算控制台。在 Flink全托管 页签，单击目标工作空间 操作 列下的 控制台。在左侧导航栏，单击 资源管理。单击 上传资源，选择您...
Spark作业配置
emr/checklist/data/wc-counts 32 注意 JAR包保存在OSS中，引用这个JAR包的方式是 ossref:/emr/checklist/jars/emr-checklist_2.10-0.1.0.jar。您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统...
基础术语
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
MapReduce作业提交
classpath<local_file_list>：本地执行时的classpath，主要用于指定main函数所在的Jar包的本地路径（包含相对路径和绝对路径）。包名之间使用系统默认的文件分割符作分割。通常情况下，Windows系统中使用分号;Linux系统中使用逗号（,）。...
将TraceId自动写入HTTP Response Header（Java和Node....
如果 可观测链路 OpenTelemetry 版 的扩展不满足您的需求，可以参考此方法实现OpenTelemetry Java Agent扩展并打成JAR包。方法一：开箱即用 扩展下载地址：ot-java-agent-extension-1.28.0.jar。可观测链路 OpenTelemetry 版 已经实现了...
将TraceId自动写入HTTP Response Header（Java和Node....
如果 可观测链路 OpenTelemetry 版 的扩展不满足您的需求，可以参考此方法实现OpenTelemetry Java Agent扩展并打成JAR包。方法一：开箱即用 扩展下载地址：ot-java-agent-extension-1.28.0.jar。可观测链路 OpenTelemetry 版 已经实现了...
Command命令编写说明
then.~/.bashrc fi export JAVA_HOME=usr/share/jdk1.8.0_14 export PATH=$JAVA_HOME/bin:.Java Fatjar应用的Command命令 若将Linux 系统的/root/javademo 目录作为Java应用运行的基目录，则需将Java应用的jar包部署到/root/javademo 目录...
Spark
标准的Spark通常使用以下3种配置：spark.jars spark.jars 可以用来指定JAR文件，多个JAR包可以用逗号（,）隔开。您可以把JAR包放在OSS上，也可以放在目标EMR集群的HDFS上。建议您放在OSS上，以便于您的JAR包可以被多个EMR集群共享，即使...
- 产品推荐
- 这些文档可能帮助您