概述
本文为您介绍使用Java和Scala语言开发的示例。下载示例工程 MaxCompute Spark提供了项目示例工程模板，建议您下载复制后直接在模板里进行开发。执行如下命令下载示例工程。spark-1.x 模板及编译 git clone ...
开发ODPS Spark任务
Java/Scala 在ODPS Spark节点执行Java或Scala语言类型代码前，您需先在本地开发好MaxCompute Spark作业代码，再通过DataWorks上传为MaxCompute的资源。步骤如下：准备开发环境。根据所使用系统类型，准备运行MaxCompute Spark任务的开发...
开发ODPS Spark任务
Java/Scala 在ODPS Spark节点执行Java或Scala语言类型代码前，您需先在本地开发好MaxCompute Spark作业代码，再通过DataWorks上传为MaxCompute的资源。步骤如下：准备开发环境。根据所使用系统类型，准备运行MaxCompute Spark任务的开发...
JAR作业开发
Apache Flink的编码、Java语言、Scala语言、组件和格式等指南，请参见 代码风格和质量指南。Apache Flink作业的源代码项目配置，请参见 Project Configuration 和 Datastream开发打包问题。Flink Datastream Connector依赖，请参见 ...
引擎版本介绍
Scala*表示该引擎版本所支持的Scala编程语言的版本，例如Scala 2.12。Java Runtime 指Spark应用在标准的Java虚拟机（JVM）上运行，所有Spark任务都是通过Java或Scala代码执行。Native Runtime 使用阿里云Fusion Engine提供的运行时环境，...
Spark On MaxCompute访问Phoenix数据
使用Scala编程语言编写Spark代码逻辑进行测试。在IDEA中按照对应的Pom文件配置本地开发环境。您可以先使用公网连接地址进行测试，待代码逻辑验证成功后再调整代码示例中 spark.hadoop.odps.end.point 参数内容。公网连接地址请通过登录 ...
Flink
背景信息 Zeppelin支持Flink的3种主流语言，包括Scala、PyFlink和SQL。Zeppelin中所有语言共用一个Flink Application，即共享一个ExecutionEnvironment和StreamExecutionEnvironment。例如，您在Scala里注册的table和UDF是可以被其他语言...
Spark on MaxCompute如何访问HBase
使用Scala编程语言，按如下代码示例编写Spark代码逻辑。object App { def main(args:Array[String]){ val spark=SparkSession.builder().appName("HbaseTest").config("spark.sql.catalogImplementation","odps").config("spark.hadoop....
什么是Databricks数据洞察
支持Java、Scala和Python语言。MLlib 可扩展的机器学习库，包含了许多常用的算法和工具包。GraphX Spark用于图和图并行计算的API。Spark Core API 支持R、SQL、Python、Scala、Java等多种语言。icmsDocProps={'productMethod':'created','...
安装Kafka单机版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 单机版（已有VPC）在已有专有网络、交换机和安全组等...
安装Kafka集群版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 集群版-已有专有网络VPC 在已有专有网络、交换机和...
安装Spark单机版
模板示例中使用的软件版本如下：Java JDK（Java Development Kit）：1.8.0 Hadoop（分布式系统基础架构）：2.7.7 Scala（编程语言）：2.12.1 Spark（计算引擎）：2.1.0 使用模板创建资源栈成功后即可获取SparkWebSiteURL，登录Spark管理...
安装Spark集群版
模板示例中使用的软件版本如下：Java JDK（Java Development Kit）：1.8.0 Hadoop（分布式系统基础架构）：2.7.7 Scala（编程语言）：2.12.1 Spark（计算引擎）：2.1.0 使用模板创建资源栈成功后即可获取SparkWebSiteURL，登录Spark管理...
Spark
背景信息 Zeppelin支持Spark的4种主流语言，包括Scala、PySpark、R和SQL。Zeppelin中所有语言在同一个Spark Application里，即共享一个SparkContext和SparkSession。例如，您在Scala里注册的table和UDF是可以被其他语言使用的。Spark解释器...
功能与优势
开发效率 作业开发 多语言支持：一站式开发管理平台，包括SQL、Java、Scala和Python语言。您无需自己搭建或者对接开源。Flink SQL简单易懂，整体开发环境上手便捷。多版本支持：支持主流Flink版本，包括多版本作业代码比较和回滚。提供...
2019年
新示例 新增Java、Scala和PySpark开发示例。搭建Linux开发环境、概述、PySpark开发示例 2019-05-10 新增欠费预警接收设置步骤说明。新说明 主账号可以设置子账号接收欠费预警消息。欠费预警消息设置 2019-05-08 新增包年包月套餐版说明。新...
HBase SQL（Phoenix）与Spark的选择
另外Spark可以支持sql、scala、java、python语言，支持流、OLAP、离线分析、数据清洗、支持多源（HBase、MongoDB、Redis、OSS等）。Spark Streaming支持准实时的在线流，不在此讨论访问内。差异对比 对比项目 Phoenix Spark SQL复杂度 简单...
通义灵码介绍
支持编程语言 支持 Java、Python、Go、C#、C/C++、JavaScript、TypeScript、PHP、Ruby、Rust、Scala、Kotlin 等主流编程语言。支持 IDE 及操作系统 JetBrains IDEs IDE 版本：IntelliJ IDEA、PyCharm、GoLand、WebStorm 等 2020.3 及以上 ...
ExecuteSparkStatement
Kind String 是 sql 执行代码的语言是什么,取值：scala python sql 返回数据 名称 类型 示例值 描述 Data String 2 代码块提交成功后在此Spark作业中的唯一ID。RequestId String 0DC5B6F080E8-0DC5B6F080E8-0DC5B 请求ID。示例 请求示例 ...
SPARK
支持 JAVA、SCALA、PYTHON、SQL 和 CUSTOM_SCRIPT 语言。说明 选择的类型不同，展示的参数也不同，具体以控制台为准。主函数的Class Spark程序的入口Main Class的全路径。主程序包 执行Spark程序的JAR包。通过 资源中心 上传，详情请参见 ...
Notebook概述
全面兼容Apache Zeppelin，您可以使用Scala、Python、Spark SQL、R等语言编写Spark程序。相关操作 有关Notebook的更多操作，请参见：管理Notebook 使用Notebook 说明 每个Databricks数据洞察集群都会部署独立DataInsight Notebook服务。...
自然语言处理
自然语言处理（Natural Language Processing，简称NLP），是为各类企业及开发者提供的用于文本分析及挖掘的核心工具，已经在客服、资讯、金融、司法、医疗等场景有广泛的应用。
FLINK
程序类型 支持 JAVA、SCALA、PYTHON、SQL 和 CUSTOM_SCRIPT 语言。说明 选择的类型不同，展示的参数也不同，具体以控制台为准。主函数的Class Flink程序的入口Main Class的全路径。主程序包 执行Flink程序的JAR包。通过 资源中心 上传，...
机器翻译
依托领先的自然语言处理技术和海量的互联网数据优势，阿里巴巴成功上线基于注意力机制的深层神经网络翻译系统（NMT），帮助用户跨越语言鸿沟，畅享交流和获取信息，实现无障碍沟通。凭借海量数据积累及关键技术创新，在电商领域翻译质量独...
Spark-1.x示例
spark.version>1.6.3</spark.version><cupid.sdk.version>3.3.3-public</cupid.sdk.version><scala.version>2.10.4</scala.version><scala.binary.version>2.10</scala.binary.version></properties><dependency><groupId>org...
快速开始
...scala.version>2.11.12</scala.version> <scala.binary.version>2.11</scala.binary.version> <scala.xml.version>1.0.6</scala.xml.version> <scala.parsers.version>1.0.6</scala.parsers.version> <scalalogging.version>3.8.0</scalalogging.version> <spark.version>2.4.3</spark.version> <kryo.version>3.0.3</kryo.version> </properties> <dependencies> <dependency> <groupId>com.aliyun.ganos</groupId> <artifactId>dla-ganos-sdk</artifactId> <version>1.0</version> <scope>system</scope> <systemPath>下载的dla-ganos-sdk-1.0.jar的路径</systemPath></dependency><dependency><groupId>io.spray</groupId><artifactId>spray-json_2.11</artifactId>...
作业上线问题
234)at scala.collection.Iterator$class.foreach(Iterator.scala:891)at scala.collection.AbstractIterator.foreach(Iterator.scala:1334)at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)at scala.collection....
从Spark导入
find./build.sbt./src./src/main./src/main/scala./src/main/scala/com ./src/main/scala/com/spark ./src/main/scala/com/spark/test ./src/main/scala/com/spark/test/WriteToCk.scala 编辑build.sbt配置文件并添加依赖。name:="Simple ...
Spark-2.x示例
spark.version>2.3.0</spark.version><cupid.sdk.version>3.3.8-public</cupid.sdk.version><scala.version>2.11.8</scala.version><scala.binary.version>2.11</scala.binary.version></properties><dependency><groupId>org...
使用JDBC Connector导入
package org.myorg.example import org.apache.flink.streaming.api.scala._import org.apache.flink.table.sources._import org.apache.flink.table.api.scala.StreamTableEnvironment import org.apache.flink.table.api._import org....
表流读写
Scala%spark spark.readStream.format("delta").load("/mnt/delta/events")或 Scala%spark spark.readStream.format("delta").table("events")你也可以执行以下操作：通过设置maxFilesPerTrigger选项，控制Delta Lake提供给流的任何微批...
数据类型
了解Spark数据类型、Scala中的值类型、表格存储中多元索引数据类型和表格存储表中数据类型的对应关系。使用过程中请确保Spark、Scala和表格存储中字段或值的数据类型相匹配。基础数据类型 基础数据类型的支持情况请参见下表。Spark数据类型...
批式读写
建表并写入数据 Scala/非分区表 data.write.format("delta").save("/tmp/delta_table")/分区表 data.write.format("delta").partitionedBy("date").save("/tmp/delta_table")SQL-非分区表 CREATE TABLE delta_table(id INT)USING delta ...
入门笔记本
Delta Lake Quickstart Python笔记本 Note 链接地址：Databricks Delta Quickstart(Python)Delta Lake Quickstart Scala笔记本 Note 链接地址：Databricks Delta Quickstart(Scala)Delta Lake快速入门SQL笔记本 Note 链接地址：Databricks ...
Spark使用OSS Select加速数据查询
help for more information.scala>val myfile=sc.textFile("oss:/{your-bucket-name}/50/store_sales")myfile:org.apache.spark.rdd.RDD[String]=oss:/{your-bucket-name}/50/store_sales MapPartitionsRDD[1]at textFile at<console>:24 ...
Livy
Livy是一个通过REST接口或RPC client库与Spark服务进行交互的服务。Livy支持提交Spark作业或者Spark代码片段，同步或者异步的进行结果检索以及Spark ...提交作业 您可以通过以下方式提交作业：REST API Programmatic API Java API Scala API
示例项目使用说明
IntelliJ IDEA 准备工作 安装IntelliJ IDEA、Maven、IntelliJ IDEA Maven插件、Scala和IntelliJ IDEA Scala插件。开发流程 双击进入SparkWordCount.scala。进入作业配置界面。选择 SparkWordCount，在作业参数框中按照所需传入作业参数。...
多语言
通用文本向量（基础版-多语言）调用须知 本服务后续将不再维护，请移步至 模型服务积灵-通用文本向量，效果更好，功能更完善 文档请参考：通用文本向量-快速开始
模拟IDC Spark读写MaxCompute实践
说明 读分区表、写非分区表和写分区表代码示例请参见 PartitionDataReaderTest.scala、DataWriterTest.scala 和 PartitionDataWriterTest.scala，可以根据实际业务情况进行代码开发。Licensed under the Apache License,Version 2.0(the...
快速入门
自然语言处理NLP快速入门教程 如果您是首次使用自然语言处理NLP的相关服务，您可以参考以下的快速入门文档，以便帮助您更快的了解我们的产品功能。NLP自然语言处理 NLP自然语言处理快速入门 NLP自学习平台 快速入门导览 企业智能搜索 智能...
- 产品推荐
- 这些文档可能帮助您