新建SPARK_JAR_ON_MAX_COMPUTE任务
resource_reference{} 为引用JAR或PYTHON文件资源包。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置。基本信息 用于...
新建SPARK_JAR_ON_MAX_COMPUTE任务
resource_reference{} 为引用JAR或PYTHON文件资源包。单击页面上方的 运行，可运行代码。单击页面侧边栏 属性，配置任务 属性。属性包括任务的 基本信息、参数配置、调度属性（周期任务）、调度依赖（周期任务），运行配置、资源配置。基本...
创建CDH Spark节点
步骤二：创建并引用CDH JAR资源 您可以在创建的CDH Spark节点中引用JAR包资源，并编写CDH Spark节点代码，通过Spark Submit命令提交任务。具体操作如下：创建CDH JAR资源。在对应业务流程中，右键单击 CDH>资源，选择 新建资源>CDH JAR，在...
创建EMR Spark节点
JAR包存储在HDFS时，您可以直接在EMR Spark节点中通过代码指定JAR包路径的方式引用JAR包。双击创建的 EMR Spark 节点，打开EMR Spark 节点的代码编辑页面。编写spark submit命令，示例如下。spark-submit-master yarn-deploy-mode cluster-...
创建EMR Spark Streaming节点
如果您使用的是DataLake（新版数据湖）集群，则可通过如下步骤引用EMR JAR资源。说明 若EMR Spark Streaming节点依赖的资源较大，则无法通过DataWorks页面上传。您可将资源存放至HDFS上，然后在代码中进行引用。代码示例如下。spark-submit...
创建EMR Shell节点
方案二：先 上传资源后引用EMR JAR资源 DataWorks也支持您从本地先上传资源至DataStudio，再引用资源。如果您使用的是DataLake（新版数据湖）集群，则可通过如下步骤引用EMR JAR资源，若EMR Shell节点依赖的资源较大，则无法通过DataWorks...
创建CDH MR节点
步骤二：创建并引用CDH JAR资源 DataWorks支持您从本地先上传资源至DataStudio，再引用资源。具体操作如下：创建CDH JAR资源。在对应业务流程中，右键单击 CDH>资源，选择 新建资源>CDH JAR，在 新建资源 对话框中 点击上传，选择需要上传...
SPARK
oss:/path/to/examples.jar：引用的JAR文件在OSS上的路径。引用资源中心的文件提交Spark任务 如果您需要引用资源中心的文件提交Spark任务，可参考以下参数配置：程序类型：请选择与您的Spark作业所采用的编程语言相对应的选项。例如，Scala...
创建EMR MR节点
使用EMR MR节点进行作业开发时，如果需要引用开源代码资源，您需先将开源代码作为资源上传至EMR JAR资源节点中，详情请参见 创建和使用EMR资源。使用EMR MR节点进行作业开发时，如果需要引用自定义函数时，您需要先将自定义函数作为资源...
Hologres源表
Blink独享模式3.6以下的版本未支持Hologres数据源，您需要使用Hologres Connector，并引用相关JAR文件，才可以进行作业。请您加入实时数仓Hologres交流群联系对应的技术支持获取JAR文件，并在作业中使用如下DDL语句创建Hologres源表，详情...
UDT概述
指定要引用的JAR。这些JAR需要提前上传至Project，并且需要是JAR类型的资源。select new com.aliyun.odps.test.IntegerMaxValue().evaluate();odps.sql.session.java.imports 指定默认的Java Package，可以指定多个，用逗号隔开。和Java的 ...
Spark常见问题
引用并将public.myjar.jar重命名为myjar.jar spark.hadoop.odps.cupid.resources=public.myjar.jar:myjar.jar 在DataWorks中引用资源。将MaxCompute中的资源添加至DataWorks数据开发面板的业务流程中，详情请参见 MaxCompute资源管理。在...
UpdateUdfFile
Resources String 是 string-concat-1.0.0.jar,commons-lang-2.6.jar 函数引用的资源名列表，使用英文逗号（,）分隔，对应创建函数表单中的资源列表。FileFolderPath String 否 业务流程/第一个业务流程/函数/字符串处理函数 函数文件所在...
CreateUdfFile
Resources String 是 string-concat-1.0.0.jar,commons-lang-2.6.jar 函数引用的资源名列表，对应创建表中的资源列表。多个资源名称之间使用英文逗号（,）分隔。UdfDescription String 是 把几个字符串连接起来生成一个新的字符串 函数用途...
Spark Streaming作业配置
memory 7G-executor-memory 5G-executor-cores 1-num-executors 32-class com.aliyun.emr.checklist.benchmark.SlsStreaming emr-checklist_2.10-0.1.0.jar<project><logstore><accessKey>注意 如果作业JAR包保存在OSS中，则引用这个JAR包...
开发ODPS MR任务
引用刚刚上传的JAR包资源，可以在资源管理栏中找到该资源，右键引用资源。resource_reference{"mapreduce-examples.jar"} jar-resources mapreduce-examples.jar-classpath./mapreduce-examples.jar ...
开发ODPS MR任务
引用刚刚上传的JAR包资源，可以在资源管理栏中找到该资源，右键引用资源。resource_reference{"mapreduce-examples.jar"} jar-resources mapreduce-examples.jar-classpath./mapreduce-examples.jar ...
新建SPARK_JAR_ON_HIVE任务
背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_HIVE任务中引用。具体操作，请参见 上传资源及引用。前提条件 计算引擎中已开启Spark任务，如何开启...
Spark作业配置
emr/checklist/data/wc-counts 32 注意 JAR包保存在OSS中，引用这个JAR包的方式是 ossref:/emr/checklist/jars/emr-checklist_2.10-0.1.0.jar。您可以单击下方的+插入OSS路径，文件前缀 选择 OSSREF，从 文件路径 中进行浏览和选择，系统...
管理自定义函数（UDF）
如果引用该UDF JAR的作业正在运行，则依然会使用旧UDF JAR文件。单击 修改。删除UDF 说明 在删除UDF JAR文件前，请确定其注册的UDF没有被作业或SQL文件引用。如果您的UDF JAR文件不再使用，您可以按照以下步骤删除UDF。进入自定义函数注册...
新建MAX_COMPUTE_MR任务
背景信息 MapReduce任务中引用到的JAR资源包需提前创建，因此需要您在资源管理中上传JAR资源包，然后在MapReduce代码任务中引用。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引进入 新建MAX_...
新建MAX_COMPUTE_MR任务
背景信息 MapReduce任务中引用到的JAR资源包需提前创建，因此需要您在资源管理中上传JAR资源包，然后在MapReduce代码任务中引用。操作步骤 在Dataphin首页，单击顶部菜单栏的 研发。在数据 开发 页面，按照下图操作指引进入 新建MAX_...
将Spring Task迁移至SAE Job
Serverless 应用引擎 SAE...在 配置JAR包 区域，文件上传方式 选择 引用其他任务模板JAR包，引用任务模板 选择已创建的任务模板名称。在 任务设置 配置向导页面，单击 下一步：确认规格。在 确认规格 配置向导页面，单击 确认创建。
将ElasticJob迁移至SAE Job
Serverless 应用引擎 SAE...在 配置JAR包 区域，文件上传方式 选择 引用其他任务模板JAR包，引用任务模板 选择已创建的任务模板名称。在 任务设置 配置向导页面，单击 下一步：确认规格。在 确认规格 配置向导页面，单击 确认创建。
将XXL-JOB迁移至SAE Job
Serverless 应用引擎 SAE...在 配置JAR包 区域，文件上传方式 选择 引用其他任务模板JAR包，引用任务模板 选择已创建的任务模板名称。在 任务设置 配置向导页面，单击 下一步：确认规格。在 确认规格 配置向导页面，单击 确认创建。
Spark的数据写入至Hologres
Spark2和Spark3上均已支持Connector写入，Spark写入Hologres时需要引用connector的JAR包，当前已经发布到Maven中央仓库，在项目中参照如下pom文件进行配置。说明 相关Connector也已开源，详情请参见 hologres-connectors。...
上下游存储
引用MaxCompute作为数据源，在作业启动后，向已有的分区或者表里追加数据，这些新数据是否能被全量MaxCompute或增量MaxCompute源表读取？全量MaxCompute和增量MaxCompute源表作业是否支持暂停作业后修改并发数，再恢复作业？作业启动位点...
任务模板管理
引用其他任务模板JAR包：在 引用任务模板 下拉列表选择目标JAR包。版本 设置任务版本号，可以选择输入版本号或者单击 使用时间戳为版本号 将时间戳作为版本号。时区设置 选择当前任务所在时区，例如 UTC+8。可选：配置任务高级配置。任务的...
Android Portal&Bundle 接入问题
本文介绍了 Android Portal&Bundle 常见的接入问题。...引用 debug 包group:artifact:version:raw@jar bundle"com.app.xxxxx.xxxx:test-build:1.0-SNAPSHOT:raw@jar" //引用 release 包group:artifact:version@jar bundle...
常见问题
查看以下常见问题列表，单击具体的问题即可查看相应解答。...引用 debug 包group:artifact:version:raw@jar bundle"com.app.xxxxx.xxxx:test-build:1.0-SNAPSHOT:raw@jar" //引用 release 包group:artifact:version@jar bundle...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
基础向量检索
resource_reference{"proxima-ce-aliyun-1.0.1.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.1.jar-...
量化使用
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
常见问题
openssl x509-in client.crt-noout-dates 排查netty-tcnative包是否冲突，netty和netty-tcnative包需要是以下配套版本，命令如下：io.netty:netty-all:jar:4.1.29.Final io.netty:netty-tcnative-boringssl-static:jar:2.0.17.Final 重要 ...
搭建Linux开发环境
在Spark作业中直接通过"./your_jar_name"即可引用，与社区版Spark行为相同。files、-py-files：会将配置的普通文件或Python文件上传至Driver和Executor的当前工作目录，多个文件用英文逗号（,）分隔。在Spark作业中直接通过"./your_file_...
统计MaxCompute TOPN费用账号及耗时作业
bind to the packaging phase-><phase>package</phase><goals><goal>single</goal></goals></execution></executions></plugin></plugins></build></project>开发Java程序并生成JAR包topn_new.jar。Java代码示例如下：package ...
用户反馈SDK接入体验优化
移动用户反馈AndroidStudio Live Templates 说明 AndroidStudio Live Templates 支持提前设定好一些通用冗长代码片段，在使用时只需输入简单缩写IDE即可补全所有代码，通过live templates规范移动用户反馈SDK使用主要有两个优势：提高接入...
使用SAE任务实现镜像构建及S2I解决方案
变量值/变量引用：分别输入 步骤一 设置的信息。在 任务设置 页签，按需配置定时规则和高级设置，并单击 下一步：确认规格。在 确认规格 页签单击 确认创建。创建完成后，您可以在 任务模板列表 页面查看已创建的任务信息。步骤三：执行...
解决DataWorks 10 MB文件限制问题最佳实践
本文为您介绍如何解决在DataWorks上执行MapReduce作业时，大于10 MB的JAR和资源文件不能上传至DataWorks的问题，方便您使用调度功能定期执行MapReduce作业。前提条件 请下载并安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端...
MapReduce作业提交
本文向您介绍如何使用Jar命令在MaxCompute客户端运行和提交MapReduce作业。MaxCompute客户端提供Jar命令用于运行MapReduce作业，举例如下。jar-conf \home\admin\myconf-resources a.txt,example.jar-classpath.\lib\example.jar:.\other_...
- 产品推荐
- 这些文档可能帮助您