Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

Gluten + Celeborn: 让 Native Spark 拥抱 Cloud Native

作者:张凯@阿里云、陳韋廷@Intel、周渊@Intel简介Apache Celeborn(Incubating) 是阿里云捐赠给 Apache 的通用 Remote Shuffle Service,旨在提升大数据计算引擎的性能/稳定性/弹性,目前已广泛应用于生产场景。...

[实战系列]SelectDB Cloud Spark Connector 最佳实践

[实战系列]SelectDB Cloud Spark Connector 最佳实践

前言企业正在经历其数据资产的爆炸式增长,这些数据包括批式或流式传输的结构化、半结构化以及非结构化数据,随着海量数据批量导入的场景的增多,企业对于 Data Pipeline 的需求也愈加复杂。新一代云原生实时数仓 SelectDB Cloud 作为一款运行于多云之上的云原生实时数据仓库,致力于通过开...

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
283 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
248 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
92 人已学 |
免费
开发者课程背景图

spark集群运算模式中的on cloud(集群模式)是什么意思?

spark集群运算模式中的on cloud(集群模式)是什么意思?

Spark写入流到IBM Cloud对象存储失败,“Access KEY为空。请提供有效的访问密钥“

我目前正在使用Apache Spark 2.3.2并创建一个管道来从文件系统中读取流csv文件,然后将其写入IBM Cloud对象存储。 我正在使用Stocator连接器。通过以下配置,对IBM COS的常规读取和写入工作正常。但是,读写流操作会抛出错误: com.ibm.stocator.fs.c...

Apache Spark: Cloud and On-Prem

在SPARK SUMMIT 2017上,Arun C. Murthy Hortonworks Co-Founder分享了题为《Apache Spark: Cloud and On-Prem》,就现代数据应用领域,数据与应用之间的连接交互,实践案例分享等方面的内容做了深入的分析。 https://yq...

Hybrid Cloud and Apache Spark

在SPARK SUMMIT 2017上,SETH DOBRIN VP&CDO ,IBM ANALYTICS分享了题为《Hybrid Cloud and Apache Spark》,就Spark + Kafka等方面的内容做了深入的分析。 https://yq.aliyun.com/downl...

Analyzing IOT Data in Apache Spark Across Data Centers and Cloud

Karthikeyan Nagalingam Nilesh Bagad在Spark Summit 2017上做了主题为《Analyzing IOT Data in Apache Spark Across Data Centers and Cloud》的演讲,就IoT Date管理的挑战,NetApp...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4459+人已加入
加入
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
Apache Spark: Cloud and On-Prem
Hybrid Cloud and Apache Spark
立即下载 立即下载 立即下载

apache sparkcloud相关内容