apache spark Stream-阿里云

[帮助文档] 如何新建Spark Stream类型的公共节点

Spark Stream节点是流式节点，运行于Spark云计算资源之上，支持对RDS MySQL、Table Store、Hive、Kafka、Hbase、Phoenix、AnalyticDB MySQL、AnalyticDB_PostgreSQL和DataHub等类型的数据进行处理。本文介绍如何新...

[帮助文档] 如何新建Spark Stream类型的公共节点_数据资源平台(DRP)

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

33 课时 |

283 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

28 课时 |

248 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

25 课时 |

92 人已学 |

加入学习

Storm&Spark中Stream groupions的具体内容有哪些呀？

Storm&Spark中Stream groupions的相关内容是什么呀？

spark stream数据切分原则？

spark stream输入的数据切块的原则是什么？切多大合适？为什么？

Spark Streaming Kafka Stream批处理执行

请教大家一个问题，spark stream连kafka，在web页面的stream标签，显示好多batch处于queued状态，这些batch是已经把数据从kafka读取进rdd，等待处理，还是还没有从kafka读取数进rdd？

请教大家一个问题，spark stream连kafka，在web页面的stream标签，显示好多batch处于queued状态，这些batch是已经把数据从kafka读取进rdd，等待处理，还是还没有从kafka读取数进rdd？

在Spark Stream中保存PairRdd时出错[重复]

我试图在spark流中保存我的Pair Rdd但在最后一步保存时出错。这是我的示例代码 def main(args: Array[String]) { val inputPath = args(0) val output = args(1) val noOfHashPartitioner = ar...

Spark Streaming Kafka Stream批处理执行

我目前正在实现一个从Kafka主题流式传输数据的应用程序。是否常常使用应用程序仅运行一次批处理，例如，当天结束，收集主题中的所有数据，进行一些聚合和转换等等？这意味着在使用spark-submit启动应用程序后，所有这些内容将在一个批处理中执行，然后应用程序将关闭。或者是spark流构建用于连续批量...

spark kafka direct stream的一个问题

sparkstreaming使用kakfa direct streaming api创建streaming。这个api是从kafka文件中直接获取数据的，kafka topic有多少个分区就对应着stream中的rdd有多少个分区。我想问问如何在不增加kafka topic分区的前提下，增加rdd的...