元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
Spark
您需下载 hive-serde-3.1.2.jar 和 hive-hcatalog-core-2.3.9.jar 并上传至OSS中，在提交Spark SQL应用时添加 add jar oss:/<testBucketName>/hive-hcatalog-core-2.3.9.jar;add jar oss:/<testBucketName>/hive-serde-3.1.2.jar;语句。...
Spark对接Hologres
使用spark-submit、spark-shell、spark-sql命令访问Hologres时，需要加上PostgreSQL驱动依赖到classpath，即增加命令-driver-class-path*.jar>-jars*.jar>，其中*.jar>是下载的PostgreSQL JDBC Driver的路径。例如，下载的PostgreSQL驱动的...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
创建和使用EMR资源
DataWorks支持可视化创建EMR（E-MapReduce）JAR、EMR（E-MapReduce）FILE资源，用于上传提交自定义函数或开源MR示例源码作为资源，便于EMR 计算节点的数据开发过程中引用。本文为您介绍如何创建资源，并上传提交资源，为资源的使用做好前期...
离线安装插件及初始化本地环境
ArmsAgent.zip 本地环境目录结构示例如下：C:\<当前用户>\.edas\join_edas_register taobao-hsf.sar C:\<当前用户>\.edas\agent\3.0.0 edas-nio-proxy.jar connect-agent.jar etrans.exe ArmsAgent macOS环境 创建~/.edas/join_edas_...
Artifact
名称 类型 描述 示例值 object Artifact 承载了用户启动一个已部署作业所必需的用户侧信息，没有 Artifact 信息已部署作业无法创建。对于 SQL 作业是 SQL 文本以及依赖的 udf/connector 等，...JAR：JAR 作业。PYTHON：Python 作业。SQLSCRIPT
示例项目使用说明
依赖JAR包（lib目录下）：tutorial.jar：sample.pig作业需要的依赖JAR包。准备工作 本文提供了一些测试数据，您将其上传到OSS中即可使用。您还可以自行准备以下可选测试数据，例如，MaxCompute、MNS、ONS和LogService等。创建LogService，...
常见问题
此外，如果Classpath中存在多个版本的JAR包，作业实际使用的Class版本和类的加载顺序有关，为了确认某个类具体是从哪个JAR加载而来，可以在flink-conf.yaml中设置JVM参数 env.java.opts:verbose:class 或者通过指定动态参数-Denv.java.opts...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践 本教程中的JAR包的代码如下。package ...
Dataphin中数据集成任务运行报错“java.io....
common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection.access$2000(Client.java:396)~[hadoop-common-2.6.0-cdh5.16.2.jar:na]at org.apache.hadoop.ipc.Client$Connection$2.run(Client.java:761)~[hadoop-common-2...
Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package...
创建CDH Spark节点
resource_reference{"spark-examples_2.11-2.4.0.jar"} spark-submit-class org.apache.spark.examples.SparkPi-master yarn spark-examples_2.11-2.4.0.jar 100 其中：org.apache.spark.examples.SparkPi：为您实际编译的JAR包中的任务主...
离线安装插件及初始化本地环境
ArmsAgent.zip 本地环境目录结构示例如下：C:\<当前用户>\.edas\join_edas_register taobao-hsf.sar C:\<当前用户>\.edas\agent\3.0.0 edas-nio-proxy.jar connect-agent.jar etrans.exe ArmsAgent macOS环境 创建~/.edas/join_edas_...
离线安装插件及初始化本地环境
ArmsAgent.zip 本地环境目录结构示例如下：C:\<当前用户>\.edas\join_edas_register taobao-hsf.sar C:\<当前用户>\.edas\agent\3.0.0 edas-nio-proxy.jar connect-agent.jar etrans.exe ArmsAgent macOS环境 创建~/.edas/join_edas_...
基础术语
Fat JAR Fat JAR Fat JAR 是一种可执行的 JAR 包（Executable JAR），包含编译后的类及代码运行所需依赖 jar 的存档，可以使用 java-jar 命令运行该应用程序。Fat JAR 和普通的 JAR 不同在于它包含了依赖的 JAR 包。Gradle Gradle ...
内积和余弦距离
resource_reference{"proxima-ce-aliyun-1.0.0.jar"}-引用上传的 proxima-ce jar 包，在左侧「业务流程——MaxCompute——资源」，右击刚刚上传的 jar 包，选择「引用资源」即可生成该行注释 jar-resources proxima-ce-aliyun-1.0.0.jar-...
CDN和视频点播中使用脚本刷新预热M3U8资源
java-jar refreshPush.jar[$Parameter]以下是部分jar脚本命令的详细说明：help：jar脚本命令的帮助说明。product：支持的产品分类取值cdn或者是vod，必填。accessKeyId：用户的AccessKeyId信息，必填。accessKeySecret：用户的...
Java SDK 说明
文件 说明 下载链接 netty-tcnative-openssl-static-2.0.17-Final-mychain-linux-x86_64.jar Linux 操作系统下 SDK 所依赖的运行库 点击下载 Linux Netty 依赖包 netty-tcnative-openssl-static-2.0.17-Final-mychain-windows-x86_64.jar ...
ResourceUri
名称 类型 描述 示例值 object ResourceUri ResourceType string 资源类型，枚举包括 JAR FILE ARCHIVE JAR Uri string URI 资源地址 hdfs:/tmp/jar1.jar
采集部署
2.启动 Unix系统，在collector目录下执行：`./run.sh` Windows系统，在collector目录下执行：`start/b java-jar javaagent-collector.jar` 验证：查看collector/logs/collector.log日志，显示启动成功即部署成功。如有报错，请参见 应用...
测试方法
true"],"file":"<Jar包的OSS路径>",#上文中您Jar包上传的OSS路径，例如oss:/test/performance/dla-spark-perf.jar。name":"TeraGen-1T","className":"com.aliyun.dla.perf.terasort.TeraGen","conf":{"spark.dla.connectors":"oss",...
在文件存储 HDFS 版上使用Presto
mv presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar presto-server-0.265.1/plugin/hive-hadoop2/hadoop-apache2-2.7.4-9.jar.bak 将编译后的hadoop-apache2-2.7.4-9.jar依赖包拷贝到对应目录下。cp presto-hadoop-...
Elasticsearch
使用Java连接Elasticsearch 从Maven官方仓库下载Elasticsearch-spark-20_2.11对应版本的JAR包，本示例下载JAR包为Elasticsearch-spark-20_2.11-6.3.2.jar。将从官方仓库下载的JAR包上传到一个与Elasticsearch同地域的OSS中，如何上传请参见...
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_AsBinary ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_AsBinary esri-geometry-api.jar,spatial-sdk-hive.jar ST_AsGeoJson ALIYUN$@aliyun....
SHOW
本文为您介绍不同操作中SHOW命令的用法以及示例。...spatial-sdk-hive.jar ST_Aggr_Union ALIYUN$@aliyun.com 2021-03-18 17:06:30 com.esri.hadoop.hive.ST_Aggr_Union esri-geometry-api.jar,spatial-sdk-hive.jar ST_Area ALIYUN$@aliyun....
Schema操作
操作resource res_a.jar add jar<path>/res_a.jar;desc resource res_a.jar;list resources;get resource res_a.jar D:\;drop resource res_a.jar;操作function fun_a create function fun_a as 'xx' using 'res_a.jar';desc function fun_...
DESC RESOURCE
查看当前项目下指定资源的信息，...ADD JAR：添加JAR类型的资源。ADD PY：添加Python类型的资源。ADD TABLE：添加TABLE类型的资源。LIST RESOURCES：查看资源列表。ALIAS：为资源创建别名。GET RESOURCE：下载资源。DROP RESOURCE：删除资源。
配置说明
mapreduce.map.java.opts 新版本集群${user_config}-javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr 旧版本集群${user_config}-javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-...
ListResourceUri
名称 类型 描述 示例值 object[]资源 URI 列表 ResourceType string 资源类型，枚举包括 JAR FILE ARCHIVE JAR Uri string URI 资源地址 hdfs:/tmp/jar1.jar
编写Graph
jar-libjars odps-graph-example-sssp.jar-classpath<LOCAL_JAR_PATH>/odps-graph-example-sssp.jar SSSP 1 sssp_in sssp_out;LOCAL_JAR_PATH：odps-graph-example-sssp.jar的本地路径。完成后执行 select*from sssp_out;查询sssp_out表，...
UDF示例：兼容Hive
注意事项 使用兼容的Hive UDF时，您需要注意：在MaxCompute上使用 add jar 命令添加Hive UDF的资源时，您需要指定所有JAR包，MaxCompute无法自动将所有JAR包加入Classpath。调用Hive UDF时，需要在SQL语句前添加 set odps.sql.hive....
Hadoop MapReduce作业配置
jar ossref:/emr/checklist/jars/chengtao/hadoop/hadoop-mapreduce-examples-2.6.0.jar randomtextwriter-D mapreduce.randomtextwriter.totalbytes=320000 oss:/emr/checklist/data/chengtao/hadoop/Wordcount/Input
Dataphin集成任务运行失败报错："Column 'workspaceid...
问题描述 Dataphin集成任务运行...57)[dlink-engine-0.0.1-SNAPSHOT.jar:na]at java.lang.Thread.run(Thread.java:882)[na:1.8.0_152]问题原因 源表中没有workspaceid字段导致。解决方案 重新配置集成任务，保存提交发布即可。适用于 Dataphin
解决DataWorks 10 MB文件限制问题最佳实践
本文为您介绍如何解决在DataWorks上执行MapReduce作业时，大于10 MB的JAR和资源文件不能上传至DataWorks的问题，方便您使用调度功能定期执行MapReduce作业。前提条件 请下载并安装MaxCompute客户端，详情请参见 安装并配置MaxCompute客户端...
自定义资源组
本文为您介绍自定义资源组有哪些应用场景、自定义资源组有哪些使用限制、如何使用自定义资源组等常见问题。为什么找不到自定义资源组使用入口？自定义资源组已经不再支持，请使用独享资源组。目录 如何安装监控？如何处理添加自定义调度...
Hive访问TableStore数据
mkdir-p/path/to/tablestore/jars cp emr-tablestore-2.2.0.jar tablestore-5.13.11-jar-with-dependencies.jar \/path/to/tablestore/jars 在EMR控制台，修改Hive服务配置，保存并开启 自动配置更新。修改配置项详情请参见 修改配置项。...
访问Tablestore数据源
下载链接 emr-tablestore-2.3.0-SNAPSHOT.jar 和 tablestore-5.10.3-jar-with-dependencies.jar。在pom.xml文件的dependencies中添加依赖项。groupId>...
Dataphin集成任务报错："Query exceeded maximum time...
java-5.1.47.jar:5.1.47]at com.mysql.jdbc.RowDataDynamic.next(RowDataDynamic.java:354)~[mysql-connector-java-5.1.47.jar:5.1.47]at com.mysql.jdbc.ResultSetImpl.next(ResultSetImpl.java:6313)~[mysql-connector-java-5.1.47.jar:5...
Spark访问云HBase或Lindorm
spark-sql-jars alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar,hbase-spark-1.0.1-SNAPSHOT.jar,/hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar 说明 alihbase-connector-2.1.0.jar,...
- 产品推荐
- 这些文档可能帮助您