安装Spark单机版
Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark单机版（已有VPC）在已有专有网络、交换机和安全组等资源的基础上，创建一台ECS实例并绑定弹性公网IP（EIP）。...
通过ACK Serverless创建Spark计算任务
kubectl logs spark-pi-driver|grep Pi 预期输出：20/04/30 07:27:51 INFO DAGScheduler:ResultStage 0(reduce at SparkPi.scala:38)finished in 11.031 s 20/04/30 07:27:51 INFO DAGScheduler:Job 0 finished:reduce at SparkPi.scala:38...
安装Kafka单机版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 单机版（已有VPC）在已有专有网络、交换机和安全组等...
安装Spark集群版
Spark将Scala用作其应用程序框架，启用了内存分布数据集，除了能够提供交互式查询外，还可以迭代优化工作负载。模板示例 Spark集群版-已有专有网络VPC 在已有专有网络、交换机和安全组等资源的基础上，创建多台ECS实例。其中一台ECS实例...
启动Spark任务
code_type="PYTHON",name="emr-spark-task",release_version="esr-2.1-native(Spark 3.3.1,Scala 2.12,Native Runtime)",tags=tags,job_driver=job_driver)runtime=util_models.RuntimeOptions()headers={} try:response=client.start_job_...
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
SQL搜索处理
724)\tat org.apache.flink.table.planner.calcite.FlinkPlannerImpl.org$apache$flink$table$planner$calcite$FlinkPlannerImpl$validate(FlinkPlannerImpl.scala:144)\t.7 more Caused by:org.apache.calcite.sql.validate....
安装Kafka集群版
背景信息 Apache Kafka是一个开源流处理平台，使用Scala和Java语言编写。Kafka作为一种高吞吐量的分布式发布订阅消息系统，可以处理消费者模式网站中的所有动作流数据。模板示例 Kafka 集群版-已有专有网络VPC 在已有专有网络、交换机和...
ExecuteSparkStatement
Kind String 是 sql 执行代码的语言是什么,取值：scala python sql 返回数据 名称 类型 示例值 描述 Data String 2 代码块提交成功后在此Spark作业中的唯一ID。RequestId String 0DC5B6F080E8-0DC5B6F080E8-0DC5B 请求ID。示例 请求示例 ...
使用JDBC Connector导入
当您需要将Flink处理后的数据导入ClickHouse时，本文为您提供了使用ClickHouse JDBC Connector的方法，使不同版本的Flink处理后的数据写入到ClickHouse中。背景信息 Flink在1.11.0版本对其JDBC Connector进行了一次较大的重构：重构之前（1...
生产者会建立多少个到Broker的连接？
每个生产者通常会建立2个到Broker的TCP连接。每个生产者通常会建立2个到Broker的TCP连接，一个TCP连接用于更新元数据，一个TCP连接用于发送消息。更多信息，请参见 How are TCP Connections managed by kafka-clients scala library。
RDS(SQL Server)
your bucket/demo/The_Sorrows_of_Young_Werther.txt")/使用Scala做WordCount处理 val counts=text.flatMap(_.split("\\s+")).map(s=>s.replaceAll("""[\.;.map(word=>(word,1L)).reduceByKey(_+_).map(e=>Row.apply(e._1,e._2))...
使用Spark处理JindoFS上的数据
Spark中读写JindoFS上的数据，与处理其他文件系统的数据类似，以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala>a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据...
流计算
说明 本文测试使用的环境为Spark 2.4.3、Scala 2.11.7和Java SE Development Kit 8，如果使用中遇到问题，请联系表格存储技术支持。在系统参数中，配置实例名称、数据表名称、实例endpoint、阿里云账号的AccessKey ID和AccessKey Secret等...
批计算
说明 本文测试使用的环境为Spark 2.4.3、Scala 2.11.7和Java SE Development Kit 8，如果使用中遇到问题，请联系表格存储技术支持。在系统参数中，配置实例名称、数据表名称、实例endpoint、阿里云账号的AccessKey ID和AccessKey Secret等...
LLM-文件后缀过滤（MaxCompute）
.java,.js,.jl,.lua,.md,.markdown,.php,.php3,.php4,.php5,.phps,.phpt,.pl,.pm,.pod,.perl,.ps1,.psd1,.psm1,.py,.rb,.rs,.sql,.scala,.sh,.bash,.command,.zsh,.ts,.tsx,.tex,.vb,Dockerfile,Makefile,.xml,.rst,.m,.smali 设置输出表...
Spark Shell和RDD基础操作
Spark既可以使用Scala，也可以使用Python。您可以按照以下操作步骤来启动Spark Shell。通过SSH方式连接集群，详情请参见 登录集群。执行以下命令，启动Spark Shell。spark-shell 在Spark Shell中，已经在名为sc的变量中为您创建了一个特殊...
Flink Table Store与Spark集成
spark-shell 在Spark CLI中运行以下Scala代码，查询指定目录下存储的Flink Table Store表。val dataset=spark.read.format("tablestore").load("oss:/oss-bucket/warehouse/test_db.db/test_tbl")dataset.createOrReplaceTempView("test_...
功能与优势
开发效率 作业开发 多语言支持：一站式开发管理平台，包括SQL、Java、Scala和Python语言。您无需自己搭建或者对接开源。Flink SQL简单易懂，整体开发环境上手便捷。多版本支持：支持主流Flink版本，包括多版本作业代码比较和回滚。提供...
启动Spark任务
startJobRunRequest.setReleaseVersion("esr-2.1-native(Spark 3.3.1,Scala 2.12,Native Runtime)");Tag envTag=new Tag();envTag.setKey("environment");String envType="production;envTag.setValue(envType);Tag workflowTag=new Tag();...
管理Kafka自定义连接器
Scala版本为2.13。Java版本为java 8。创建流程 创建步骤 登录 事件总线EventBridge 控制台，在左侧导航栏，单击 事件流。在顶部菜单栏，选择地域，然后单击 创建事件流。在 创建事件流 面板中，完成以下配置，单击 创建。在 基本信息 页签...
管理Kafka自定义连接器
Scala版本为2.13。Java版本为java 8。创建流程 创建步骤 云消息队列 Kafka 版 支持创建消息流入任务将其他资源服务通过Kafka Connect投递到Kafka，也可以创建消息流出任务将Kafka资源通过Kafka Connect投递到其他资源服务。本文以创建消息...
PolarDB MySQL
var sparkTableName=args(5)val sparkSession=SparkSession.builder().appName("scala spark on POLARDB test").getOrCreate()val driver="com.mysql.cj.jdbc.Driver" //如果存在的话就删除表。sparkSession.sql(s"drop table if exists$...
Paimon与Spark集成
spark-shell 在Spark CLI中运行以下Scala代码，查询指定目录下存储的Paimon表。val dataset=spark.read.format("paimon").load("oss:/<yourBucketName>/warehouse/test_db.db/test_tbl")dataset.createOrReplaceTempView("test_tbl")spark....
UploadDocumentAsync-异步上传文档
可以支持 c++/go/java/js/php/proto/python/rst/ruby/rust/scala/swift/markdown/latex/html/sol/csharp等多种代码语言的切分。RecursiveCharacterTextSplitter：默认分隔符为，使用 Spacy 库的 en_core_web_sm 模型来分隔；对全英文文档...
UploadDocumentAsync-异步上传文档
可以支持 c++/go/java/js/php/proto/python/rst/ruby/rust/scala/swift/markdown/latex/html/sol/csharp等多种代码语言的切分。RecursiveCharacterTextSplitter：默认分隔符为，使用 Spacy 库的 en_core_web_sm 模型来分隔；对全英文文档...
MongoDB
var sparkTableName=if(args.size>3)args(3)else"spark_on_mongodb_sparksession_test01"val sparkSession=SparkSession.builder().appName("scala spark on MongoDB test").getOrCreate()/Spark读取MongoDB数据有多种方式。使用Dataset ...
从Spark导入数据至ClickHouse
本文为您介绍如何将Spark中的数据导入至ClickHouse集群。前提条件 已创建Hadoop集群，详情请参见 创建集群。已创建ClickHouse集群，详情请参见 创建ClickHouse集群。背景信息 关于Spark的更多介绍，请参见 概述。...package ...
示例项目使用说明
如果希望本地调试运行，需要借助一些开发工具，例如IntelliJ IDEA或者Eclipse，尤其是对于 Windows环境，否则需要在Windows机器上配置Hadoop和Spark运行环境。IntelliJ IDEA 准备工作 安装IntelliJ IDEA、Maven、IntelliJ IDEA Maven插件、...
Spark-1.x示例
配置Spark-1.x的依赖 通过MaxCompute提供的Spark客户端提交应用，需要在 pom.xml 文件中添加以下依赖。spark.version>1.6.3</spark.version><cupid.sdk.version>3.3.3-public</cupid.sdk.version><scala.version>2.10.4</...
Alibaba Cloud Linux 3/2的区别
Alibaba Cloud Linux是阿里云打造的Linux服务器操作系统发行版，目前发行版本有Alibaba Cloud Linux 3和Alibaba Cloud Linux 2。本文介绍Alibaba Cloud Linux 3与Alibaba Cloud Linux 2有哪些主要区别。模块/组件/内核功能区别 模块版本...
模拟IDC Spark读写MaxCompute实践
现有湖仓一体架构是以MaxCompute为中心读写Hadoop集群数据，有些线下IDC场景，客户不愿意对公网暴露集群内部信息，需要从Hadoop集群发起访问云上的数据。本文以开源大数据开发平台E-MapReduce（云上Hadoop）方式模拟本地Hadoop集群，为您...
Spark SQL、Dataset和DataFrame基础操作
在Scala API中，DataFrame只是Dataset[Row]的类型别名，而在Java API中，您需要使用Dataset来表示数据帧。Spark SQL基础操作 Spark SQL支持直接通过SQL语句操作数据，而Spark会将SQL进行解析、优化并执行。以下示例展示了如何使用Spark SQL...
数据同步
Scala bash spark-shell-master yarn-use-emr-datasource scala import io.delta.tables._import org.apache.spark.internal.Logging import org.apache.spark.sql.{AnalysisException,SparkSession} import org.apache.spark.sql....
使用Notebook
单元格的第一行需要指定Interpreter。DataInsight Notebook目前支持以下6种Interpreter。Interpreter 说明%spark 提供了Scala环境。spark.pyspark 提供了Python环境。spark.ipyspark 提供了IPython环境。spark.r 提供了R环境，支持SparkR。...
表删除，更新和合并
列 查询（在Scala中）没有架构演变的行为（默认值）有架构演变行为 目标列：key,value源列：key,value,newValue targetDeltaTable.alias("t").merge(sourceDataFrame.alias("s"),"t.key=s.key").whenMatched().updateAll().whenNotMatched...
Spark使用OSS Select加速数据查询
help for more information.scala>val myfile=sc.textFile("oss:/{your-bucket-name}/50/store_sales")myfile:org.apache.spark.rdd.RDD[String]=oss:/{your-bucket-name}/50/store_sales MapPartitionsRDD[1]at textFile at<console>:24 ...
Spark-2.x示例
spark.version>2.3.0</spark.version><cupid.sdk.version>3.3.8-public</cupid.sdk.version><scala.version>2.11.8</scala.version><scala.binary.version>2.11</scala.binary.version></properties><dependency><groupId>org...
Python作业开发
背景信息 Flink Python作业需要您在本地完成开发工作，Python作业开发完成后，再在Flink开发控制台上部署并启动才能看到业务效果。整体的操作流程详情请参见 Flink Python作业快速入门。Flink工作空间已安装下列软件包。软件包 版本 apache...
Flink
背景信息 Zeppelin支持Flink的3种主流语言，包括Scala、PyFlink和SQL。Zeppelin中所有语言共用一个Flink Application，即共享一个ExecutionEnvironment和StreamExecutionEnvironment。例如，您在Scala里注册的table和UDF是可以被其他语言...
- 产品推荐
- 这些文档可能帮助您