模拟IDC Spark读写MaxCompute实践
上传jar包至服务器。在本地使用 scp 命令上传已经打包好的jar包和依赖的jar包至服务器，命令语法如下。scp<本地jar包路径>root@实例公网IP>:<服务器存放jar包路径>示例如下。scp D:\Project\emr_mc_1\spark-datasource-v3.1\target\spark-...
上传非阿里云签发证书
重要 只有上传服务器证书时，才需要上传私钥。证书部署地域 选择证书的部署地域。证书不支持在未部署的地域使用。如果该证书需要在多个地域使用，选择所有需要的地域。所属资源组 选择证书所属的资源组。标签 选择或输入 标签键 与 标签值...
管理证书
如果没有可选的服务器证书，您可以在下拉框中单击 创建SSL证书 进入证书中心，在证书中心购买或上传服务器证书。更多信息，请参见 购买SSL证书 和 上传SSL证书。如果您要开启HTTPS双向认证或者设置TLS安全策略，单击 高级配置 右侧的 修改...
打包、上传及注册
当您完成Java程序开发及调试后，您需要将Java程序打包为JAR包并以资源形式上传至MaxCompute项目后，才可以注册MaxCompute UDF，供后续在数据开发中调用。本文为您介绍在MaxCompute Studio中一键完成Java程序打包为JAR包、上传JAR包为...
Java库管理
将打包好的jar上传到OSS或者HDFS 3.在NoteBook引入依赖%spark.conf spark.jars oss:/databricks-data-source/jars/wordcount.jar 4.在NoteBook调用jar，执行wordAndcount()方式2：spark.jars.packages 说明 spark.jars.packages 可以用...
使用CLB部署HTTPS业务（双向认证）
在左侧导航栏，选择 传统型负载均衡 CLB>证书管理，然后单击 创建证书，上传服务器证书。在 创建证书 面板，单击 上传非阿里云签发证书，完成以下配置，然后单击 创建。配置 说明 证书名称 输入证书名称。证书类型 本文选择 服务器证书。...
使用控制台单批发布应用（K8s）
上传JAR包 文件上传方式 选择 上传JAR包 时，单击 选择文件，上传JAR包。JAR包地址 文件上传方式 选择 JAR包地址 时，输入JAR包地址。说明 对于带认证签名的OSS文件访问URL，EDAS在部署时会缓存该文件用于之后的回滚、扩容等操作。版本 ...
SparkSQL UDF基础操作
说明 代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是开发UDF中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。执行以下命令，使用UDF函数。该函数与内置函数使用方式一样，直接使用函数...
添加TCPSSL监听
如果没有可选的服务器证书，您可以在下拉框中单击 创建SSL证书 进入证书中心，在证书中心购买或上传服务器证书。更多信息，请参见 购买SSL证书 和 上传SSL证书。可选：开启 高级配置 中的 启用双向认证。选择CA证书来源为 阿里云签发，在 ...
使用CLB部署HTTPS业务（单向认证）
步骤一：上传服务器证书到CLB 在配置HTTPS监听前，您需要购买服务器证书，并将服务器证书上传到负载均衡的证书管理系统。登录 传统型负载均衡CLB控制台。在左侧导航栏，选择 传统型负载均衡 CLB>证书管理。在 证书管理 页面，单击 创建证书...
API概览
UploadServerCertificate 上传服务器证书 上传服务器证书。扩展域名 API 标题 API概述 CreateDomainExtension 创建扩展域名 创建扩展域名。SetDomainExtensionAttribute 修改扩展域名的证书 修改扩展域名的证书。DeleteDomainExtension ...
管理NLB监听
如果没有可用的服务器证书，您可以在证书下拉框中单击 创建SSL证书 进入证书中心，在证书中心购买或上传服务器证书。更多信息，请参见 购买SSL证书 和 上传证书。添加扩展证书 您可以通过添加扩展证书增加监听关联的证书。每个实例最多支持...
引用 SOFARPC 服务
若非本地运行，需要将接口依赖 JAR 上传到对应的 Maven 仓库。获得 RPC 服务的发布接口后，在 sofaboot-rpc-client 工程下的主 pom 中添加所引用的 RPC 服务的接口依赖信息，示例如下：<dependency><groupId>...
添加HTTPS监听
如果没有可选的服务器证书，您可以在下拉框中单击 创建SSL证书 进入证书中心，在证书中心购买或上传服务器证书。更多信息，请参见 购买SSL证书 和 上传SSL证书。如果您要开启HTTPS双向认证或者设置TLS安全策略，单击 高级配置 右侧的 修改...
管理监听
如果没有可选的服务器证书，您可以在下拉框中单击 创建SSL证书 进入证书中心，在证书中心购买或上传服务器证书。更多信息，请参见 购买SSL证书 和 上传SSL证书。添加服务器扩展证书 您可以通过添加扩展证书增加监听关联的证书。在 服务器...
JAR任务快速入门
您可以自行编写并构建包含业务逻辑的JAR包，上传此业务JAR包后，即可便捷地创建Spark JAR任务。本文通过一个示例，为您演示如何进行JAR任务的开发与部署。前提条件 已创建工作空间，详情请参见 管理工作空间。已提前完成业务应用程序开发，...
访问Redis数据源
StructField("salary",DoubleType)))).load()loadedDf.show(10)sparkSession.stop()} } case class Person(name:String,age:Int,address:String,salary:Double)将步骤1下载的Jar包和示例程序 redis_test.jar 上传至OSS。具体操作，请参见 ...
传统型负载均衡CLB的审计事件
传统型负载均衡CLB已与操作审计服务集成，您可以在操作审计中查询用户操作传统型负载均衡产生的管控事件。操作审计支持将管控事件投递到日志服务SLS的LogStore或对象存储OSS的存储空间中，满足...UploadServerCertificate 上传服务器证书。
MapReduce开发手册
将 步骤4 的 wordcount.jar 上传到OSS，详情请参见 控制台上传文件。例如，本示例中JAR文件在OSS上的路径为 oss:/<yourBucketName>/jars/wordcount.jar。在E-MapReduce中新建MR作业，详情请参见 Hadoop MapReduce作业配置。作业内容如下所...
自定义函数（UDF）
代码中的 myfunc 是UDF函数的名称，org.example.MyUDF 是 开发UDF 中创建的类，hdfs:/user/hive/warehouse/hiveudf-1.0-SNAPSHOT.jar 为上传JAR包到HDFS的路径。当出现以下信息时，表示创建成功。Added[/private/var/folders/2s/wzzsgpn13...
UploadServerCertificate-上传服务器证书
上传服务器证书。接口说明 一次只能上传一份服务器证书和对应的私钥。上传成功后，返回该用户的所有服务器证书列表的指纹信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以...
添加HTTPS监听
步骤二：配置SSL证书 证书说明 添加HTTPS监听，您需要上传服务器证书或CA证书 并选择TLS安全策略，证书对比如下表所示。证书 说明 单向认证是否需要 双向认证是否需要 服务器证书 用来证明服务器的身份。您的浏览器用来检查服务器发送的...
使用控制台分批发布应用（K8s）
文件上传方式 可选择 上传JAR包 或 JAR包地址 两种方式进行上传。说明 文件上传方式需要和上一次部署的方式一致，包含JAR包、WAR包或镜像，本文以JAR包为例。上传JAR包 文件上传方式 选择 上传JAR包 时，单击 点击上传，上传JAR包。JAR包...
访问Elasticsearch数据源
必须配置为false.option("es.nodes.discovery","false")/Spark读取的阿里云Elasticsearch实例的数据类型，格式为<index>/<type>.load("spark/_doc").show } } 将步骤1中下载的JAR包和示例程序 spark-example.jar 上传至OSS。具体操作，请...
向金区镜像仓库上传镜像
在本地控制台执行如下命令，将压缩包上传至 ECS 服务器：sudo scp[压缩包名]root@[ECS 公网 IP]:[ECS 服务器上要存放压缩包的文件路径]变量取值示例如下：变量名 示例值[ECS 服务器上要存放压缩包的文件路径]/home/images/[压缩包名]...
环境说明
不支持在线编辑：由于不支持上传代码，所以不支持在线编辑代码，仅支持通过 上传 JAR 包 或 通过 OSS 上传 两种方法提交代码。Java运行时 函数计算 目前支持的Java运行环境如下。版本 操作系统 架构 Java 11 Linux x86_64 Java 8 Linux x86...
Java UDF最佳实践
上传文件 选择本地JAR文件，例如 javaudf.jar。计算类型 选择 MaxCompute。选择目录 选择用于存放JAR包的目录。系统默认为 资源管理，保持默认即可。单击 提交，完成资源的提交。在 提交备注 对话框，填写备注信息。单击 确定并提交。可选...
Java UDF最佳实践
上传文件 选择本地JAR文件，例如 javaudf.jar。计算类型 选择 MaxCompute。选择目录 选择用于存放JAR包的目录。系统默认为 资源管理，保持默认即可。单击 提交，完成资源的提交。在 提交备注 对话框，填写备注信息。单击 确定并提交。可选...
环境说明
不支持在线编辑：由于不支持上传代码，所以不支持在线编辑代码，仅能看到通过 上传 JAR 包 或 通过 OSS 上传 两种方法提交代码。Java运行时 函数计算 目前支持的Java运行环境如下。版本 操作系统 架构 Java 11 Linux x86_64 Java 8 Linux x...
使用Eclipse上传文件至远程服务器
通过Cloud Toolkit可以将文件上传到Linux或者Windows服务器中，您可以选择上传单个文件、多个文件和文件夹。本文将介绍在Eclipse中使用Cloud Toolkit上传文件至远程服务器的方法。前提条件 已在Eclipse中安装和配置Cloud Toolkit，请参见 ...
使用IntelliJ IDEA上传文件至远程服务器
通过Cloud Toolkit可以将文件上传到Linux或者Windows服务器中，您可以选择上传单个文件、多个文件和文件夹。本文将介绍在IntelliJ IDEA中使用Cloud Toolkit上传文件至远程服务器的方法。前提条件 已在IntelliJ IDEA中安装和配置Cloud ...
导入应用
JAR包部署应用 上传JAR包：选择下载好的JAR包并上传。JAR包地址：输入应用包地址。WAR包部署应用 上传WAR包：选择本地WAR包并上传。WAR包地址：输入应用包地址。WAR或者FatJar部署HSF应用 版本 请输入版本，您可以自定义版本号，也可以单击...
Dataphin创建Java函数步骤
选择资源：选择刚刚上传提交的Jar包。类名：此处并不是单一的类名，是包名.类名。类型：目前注册函数，不需要此配置，可以随便选择。命令格式：调用格式，建议使用函数名（UDF代码的参数）使用文档：使用说明。5.使用刚刚注册的函数，参数...
使用控制台升级应用（ECS集群）
文件上传方式 新版本应用部署包的上传方式，包含上传部署包（JAR包或WAR包）和部署包（JAR包或WAR包）地址。部署包类型同样由当前应用首次部署的方式决定。上传JAR包 或 上传WAR包：单击 选择文件，选择本地的新版本应用部署包。JAR包地址 ...
使用控制台分批发布应用
文件上传方式 新版本应用部署包的上传方式，包含上传部署包（JAR包或WAR包）和部署包（JAR包或WAR包）地址。部署包类型同样由当前应用首次部署的方式决定。上传JAR包 或 上传WAR包：单击 选择文件，选择本地的新版本应用部署包。JAR包地址 ...
ISV协议上传
获取上传文件的鉴权信息-GetChatappUploadAuthorization 上传协议前，需要先获得上传文件到OSS服务器的权限，调用此接口获得OSS服务器上传权限。根据此接口获取的权限信息，使用阿里云OSS文件上传SDK上传相应文件。更多关于OSS的相关文档请...
资源
概念 资源（Resource）是MaxCompute的特有概念，如果您想使用MaxCompute的 自定义函数（UDF）或 MapReduce 功能，需要依赖资源来完成，如下所示：SQL UDF：您编写UDF后，需要将编译好的JAR包以资源的形式上传到MaxCompute。运行此UDF时，...
使用E-MapReduce进行MySQL Binlog日志准实时传输
说明 本示例在OSS上创建的Bucket为 EMR-test，上传 examples-1.1-shaded.jar 至 EMR-test/jar 目录。提交并运行Spark作业。spark-submit-master yarn-deploy-mode client \-driver-memory 4g-executor-memory 2g-executor-cores 2 \-class ...
创建并使用自定义函数
在DataWorks中，如果您在业务流程中需要的处理逻辑无法通过现有函数实现，可以编写MaxCompute自定义函数，并将相应的资源（如JAR包、Python文件等）上传和关联，以此来管理和扩充您的数据处理功能。详情请参见 MaxCompute资源管理。相关...
使用Spark Structured Streaming实时处理Kafka数据
上传JAR，详情请参见 控制台上传文件。步骤四：在Kafka集群上创建Topic 本示例将创建一个分区数为10、副本数为2、名称为test的Topic。登录Kafka集群的Master节点，详情请参见 登录集群。通过如下命令创建Topic。usr/lib/kafka-current/bin/...
- 产品推荐
- 这些文档可能帮助您