Java UDF最佳实践
前提条件 下载 JAR包。背景信息 本教程基于下载的JAR包自定义的Java UDF函数，实现大写字母转换为小写字母。您也可以编写Java UDF代码，以实现更多的功能，请参见 IntelliJ IDEA Java UDF开发最佳实践。本教程中的JAR包的代码如下。package...
Trino扩缩容
包含Trino组件的集群，当查询速度不符合数据处理要求，或某些大查询超出内存总量限制，且调整配置参数也不足以应对使用场景时，可以尝试进行扩容，通过新增Worker节点数的方式来增加Worker...包含对应JAR的Worker节点均能够成功执行此操作。
快速入门
本文以开发WordCount MapReduce作业为例，为您介绍如何通过MaxCompute Studio编写MapReduce程序及生成JAR包，并在MaxCompute客户端上运行MapReduce作业。前提条件 请确认您已满足如下条件：已安装并配置MaxCompute客户端。更多安装并配置...
Spark SQL开发介绍
AnalyticDB MySQL版 Spark支持在控制台直接提交Spark SQL，无需编写JAR包或者Python代码，便于数据开发人员使用Spark进行数据分析。本文介绍 AnalyticDB MySQL版 Spark SQL应用的示例代码及命令类型。开发工具 您可以通过SQL开发编辑器创建...
创建系统集群
系统集群表示 API 网关接收到前端请求后转发到真实业务系统的集群。本文介绍如何在 API 网关控制台快速创建系统集群。目前 API 网关支持创建 HTTP、SOFARPC、DUBBO、TRIPLE 和 SOFA_TR 五种协议类型的系统集群。说明 公有云环境中，创建 ...
创建EMR Spark节点
Spark是一个通用的大数据分析引擎，具有高性能、易用和普遍性等特点（Spark概述），可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。DataWorks为您提供EMR Spark节点，便于您在DataWorks上进行Spark任务的开发和周期性调度。...
Datastream JAR迁移
本文为您介绍如何将自建Flink集群上的Datastream JAR作业，迁移至实时计算Flink全托管的JAR作业类型中。背景信息 本文介绍的迁移场景如下图所示。前提条件 本地已安装Maven 3.x。已在 Maven资源中心 下载了开源JDBC Connector包，包括 ...
创建 CORS 规则
在弹出的 新建 CORS 窗口中，选择或输入相关信息：CORS 名称：必填，输入 CORS 的名称用以识别 CORS 的作用。支持大小写英文字母、中文、数字、下划线（_）、中划线（-），32 个字符以内。CORS 状态：必选，即创建后的 CORS 规则的状态，可...
Spark应用开发介绍
Spark开发编辑器 Notebook开发编辑器 通过spark-submit命令行工具开发Spark应用 通过Python SDK开发Spark应用 通过PySpark开发Spark应用 示例代码 本文以读取OSS数据为例，描述了典型的Spark离线应用的编写方式，包括应用名称、conf配置...
在SAE控制台使用JAR文件部署微服务应用
操作 相关文档 更新、扩缩容、启停、删除应用等生命周期管理的操作 管理应用生命周期 自动弹性伸缩、CLB绑定和批量启停等提升应用性能的操作 配置弹性伸缩策略 为应用绑定CLB 一键启停应用 配置管理概述 变更实例规格 日志管理、监控管理、...
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建...
开发ODPS MR任务
MaxCompute提供MapReduce编程接口。您可以通过创建ODPS MR类型节点并提交任务调度，使用MapReduce Java API编写MapReduce程序来处理MaxCompute中的数据。前提条件 上传并提交、发布使用的资源，详情请参见 创建并使用MaxCompute资源。创建...
SparkSQL UDF基础操作
spark-sql 执行以下命令，应用生成的JAR包创建函数。create function myfunc as"org.example.MyUDF"using jar"hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar;说明 代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是开发UDF中...
部署作业
官方JAR的下载地址，请参见 PyFlink V1.11 和 PyFlink V1.12。支持上传包的数量限制为200个。操作步骤 登录 实时计算控制台。单击目标工作空间 操作 列下的 控制台。您可以根据需要部署的作业类型进行如下操作。部署SQL作业 在 SQL开发 ...
Java SDK
以0.0.1版本为例，步骤如下：下载Java SDK，下载链接请参见 Aliyun CMN Java SDK 将cmn20200825-0.0.1.jar拷贝到您的项目中。在Eclipse中选择您的工程，右击选择Properties>Java Build Path>Add JARs。选中步骤2中拷贝的JAR文件。步骤2：...
访问MongoDB数据源
下载链接 mongo-spark-connector_2.12-10.1.1.jar、mongodb-driver-sync-4.8.2.jar、bson-4.8.2.jar、bson-record-codec-4.8.2.jar 和 mongodb-driver-core-4.8.2.jar。在pom.xml文件的dependencies中添加依赖项。groupId>org...
EMR Gateway升级EMRHOOK组件
hook-hive23.jar hive-hook-1.1.4-hive23.jar mv hive-hook-hive31.jar hive-hook-1.1.4-hive31.jar mv spark-hook-spark24.jar spark-hook-1.1.4-spark24.jar mv spark-hook-spark30.jar spark-hook-1.1.4-spark30.jar iii).修改完成后...
动态加载UDF
背景信息 EMR-3.39.1之前版本和EMR-5.5.0之前版本的Trino新增UDF需要把JAR包上传到所有节点，然后重启服务器生效，此方式不是很方便。在on ACK场景下，如果需要使用新的UDF，还需重新打镜像，此方式不太友好。因此EMR-3.39.1及之后版本和...
SOFAArk 升级 2.0
方式一：IDEA 启动 本地启动需要加上启动参数：Dsofa.ark.embed.enable=true-Dcom.alipay.sofa.ark.master.biz=${bizName} 方式二：命令行启动 Ark 包是可执行 JAR，可直接使用 Java-jar 的方式启动：先使用 mvn clean package 进行打包，...
开发和调试
commons-codec-1.3.jar commons-io-2.0.1.jar commons-lang-2.5.jar commons-logging-1.0.4.jar commons-logging-api-1.0.4.jar guava-14.0.jar json.jar log4j-1.2.15.jar slf4j-api-1.4.3.jar slf4j-log4j12-1.4.3.jar xmlenc-0.52.jar ...
安装第三方插件
前提条件 已获取第三方插件的JAR包。已创建集群，并且选择了Flume服务，详情请参见 创建集群。操作步骤 支持以下方式：方式一：修改 FLUME_CLASSPATH 参数来添加JAR包。在E-MapReduce控制台Flume服务的 配置 页面，在搜索框中输入参数 ...
常见问题
根据报错中的异常类，您可以找到该类所在的依赖JAR，然后在作业JAR的 pom.xml 所在目录运行 mvn dependency:tree 查看依赖树，判断该类是如何被引入的。排除引起冲突的依赖类。如果是在 pom.xml 中错误设置了JAR包的Scope，则可以修改Scope...
制作 SOFABoot 应用的 Docker 镜像
编写 Dockerfile 文件 Docker 提供了 Dockerfile 格式的文件来构建应用镜像，创建一个 Spring Boot 应用的 Dockerfile:FROM openjdk:8-jdk-alpine VOLUME/tmp/应用 JAR 包的名称必须遵循 artifactId-version 的格式 COPY sofaboot-docker-...
访问Tablestore数据源
本文介绍如何使用 AnalyticDB MySQL版 湖仓版（3.0）Spark通过访问Tablestore数据。前提条件 与 AnalyticDB MySQL版 湖仓版（3.0）集群与...待 应用列表 中目标应用的状态为 已完成，您可以单击 操作 列的 日志 查看Tablestore表的数据。
Hive连接方式
方式三：通过Java连接HiveServer2 重要 在执行本操作前，确保您已安装Java环境和Java编程工具，并且已配置环境变量。在pom.xml文件中配置项目依赖（hadoop-common 和 hive-jdbc）。本示例新增的项目依赖如下所示。...
新建SPARK_JAR_ON_HIVE任务
背景信息 SPARK_JAR_ON_HIVE任务中引用到的JAR和PYTHON文件需要提前创建，因此您在资源管理中先上传JAR和PYTHON文件，然后在SPARK_JAR_ON_HIVE任务中引用。具体操作，请参见 上传资源及引用。前提条件 计算引擎中已开启Spark任务，如何开启...
管理自定义连接器
您可以通过以下任何一种方式上传自定义连接器JAR文件：上传文件：单击 选择文件 后，选择您的目标连接器JAR文件。外部URL：当需要使用其他服务上存在的JAR文件时，可以使用外部URL功能获取JAR文件。例如，...
Spark
您需下载 hive-serde-3.1.2.jar 和 hive-hcatalog-core-2.3.9.jar 并上传至OSS中，在提交Spark SQL应用时添加 add jar oss:/<testBucketName>/hive-hcatalog-core-2.3.9.jar;add jar oss:/<testBucketName>/hive-serde-3.1.2.jar;语句。...
YARN缺陷修复公告
背景信息 YARN-4946引入缺陷，YARN ResourceManager删除历史应用作业时增加了日志收集已完成的必要条件，但日志收集的状态没有保留到ResourceManager State Store中，所以重启后ResourceManager加载的历史应用都是未完成状态，无法被...
访问Hive数据源
编写访问Hive的示例程序（即Spark作业依赖的Jar包），并进行编译打包。本文生成的Jar包名称为 hive_test.jar。示例代码如下：package com.aliyun.spark import org.apache.spark.sql.SparkSession object SparkHive { def main(args:Array...
访问OSS-HDFS数据源
Spark Jar模式读写OSS-HDFS数据源 编写访问OSS-HDFS的示例程序（即Spark作业依赖的JAR包），进行编译打包后生成的JAR包名称为 oss_hdfs_demo.jar。示例代码如下：package ...
配置SSL证书并开启HTTPS安全访问
绑定SSL到JAR包部署的应用 如需为使用JAR包直接部署的应用绑定SSL，首先需要修改 application.properties 文件开启SSL配置，然后将证书文件一同打包在JAR包中，使用JAR包部署应用，最后进入 应用设置 页面修改应用的Tomcat的应用端口为8443...
安装Java SDK
强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM用户需具备操作日志服务资源的权限。具体操作，请参见 为RAM用户授权。已安装Java开发环境。日志服务Java SDK支持JRE 6.0及以上的Java运行环境，您可以执行 java-version 命令检查您...
ListEnvs-环境列表
调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求参数 名称 类型 必填 描述 示例值 PageNumber integer 是 ...
Sleep示例
测试准备 准备好测试程序的JAR包，假设名字为 mapreduce-examples.jar，本地存放路径为 data\resources。准备好SleepJob的测试资源。add jar data\resources\mapreduce-examples.jar-f;测试步骤 在MaxCompute客户端中执行Sleep。jar-...
Java（不推荐）
说明 阿里云视觉智能开放平台各类目视觉AI能力SDK接入、接口使用或问题咨询等，请通过钉钉群（23109592）加入阿里云视觉智能开放平台咨询群联系我们。本文档介绍旧版Java SDK，最低环境要求Java6。推荐您使用 新版Java。您需要引入的SDK包...
在Serverless K8s集群中使用JAR包或WAR包部署应用
步骤三：在Serverless K8s集群中部署应用 说明 WAR和JAR的部署步骤一致，本文以通过JAR为例介绍如何部署应用。登录 EDAS控制台，在左侧导航栏单击 应用管理>应用列表，在顶部菜单栏选择地域并在页面上方选择微服务空间，然后在 应用列表 ...
通过HDP 2.6 Hadoop读取和写入OSS数据
java-sdk-sts-3.0.0.jar hadoop-oss-hdp-2.6.1.0-129/jdom-1.1.jar hadoop-oss-hdp-2.6.1.0-129/aliyun-sdk-oss-3.4.1.jar hadoop-oss-hdp-2.6.1.0-129/hadoop-aliyun-2.7.3.2.6.1.0-129.jar 调整JAR文件的目录。说明 本文中所有${} 的内容...
技术栈使用指南
什么是技术栈 在 SOFAStack 平台上，技术栈 指一个应用程序所依赖的全部框架及附属资源的集合，它定义了应用发布部署和运维时的依赖信息，主要包括下述内容：操作系统和版本 开发框架类型和版本 应用启动和部署脚本 环境参数 官方技术栈...
元数据性能测试
NNbench的jar包位于${HADOOP_HOME}/share/hadoop/mapreduce目录下，${HADOOP_HOME}为测试机器中的Hadoop 安装目录，NNbench的jar包名为hadoop-mapreduce-client-jobclient-x.x.x-tests.jar，使用方法如下。本文所有命令均在${HADOOP_HOME}/...
- 产品推荐
- 这些文档可能帮助您