[帮助文档] Spark访问MaxCompute数据

为了更好地融入大数据生态,MaxCompute开放了存储组件(Storage API),通过调用Storage API直接访问MaxCompute底层存储,有助于提高第三方引擎访问MaxCompute数据的速度与效率。本文为您介绍如何使用第三方计算引擎Spark通过Spark Connector调用...

[帮助文档] 通过Spark SQL访问JDBC MySQL数据源

AnalyticDB MySQL湖仓版(3.0)支持提交Spark SQL作业,您可以通过View或Catalog两种方式访问自建MySQL数据库或云数据库RDS MySQL、云原生数据库 PolarDB MySQL。本文以RDS MySQL为例,介绍如何通过Spark SQL访问RDS MySQL...

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第一阶段

33 课时 |
283 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第二阶段

28 课时 |
248 人已学 |
免费

大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建)第三阶段

25 课时 |
92 人已学 |
免费
开发者课程背景图

[帮助文档] 通过Spark SQL读Lindorm数据

AnalyticDB MySQL湖仓版(3.0)支持通过Spark SQL访问Lindorm数据库。本文主要介绍如何通过Spark SQL访问Lindorm中的Hive表和宽表的数据。

[帮助文档] 创建EMR集群并使用Spark3读取表格存储数据

本文介绍如何通过开源大数据平台 EMR(E-MapReduce)控制台,快速创建一个EMR集群并使用Spark3读取表格存储的数据。

[帮助文档] 如何使用AnalyticDB MySQL湖仓版(3.0)Spark访问MongoDB数据

本文介绍如何使用AnalyticDB MySQL版湖仓版(3.0)Spark访问云数据库MongoDB数据。

7月31日Spark钉钉群直播【Apache Spark 在存储计算分离趋势下的数据缓存】

直播间直达链接:(回看链接) 时间 7月31日19:00 主讲人: 辰山,阿里巴巴计算平台事业部 EMR 高级开发工程师,目前从事大数据存储方面的开发和优化工作 简介: 在数据上云的大背景下,存储计算分离逐渐成为了大数据处理的一大趋势,计算引擎需要通过网络读写远端的数据,很多情况下 IO 成为了整个...

基于Spark的处理存储在SSD上的数据

基于Spark的处理存储在SSD上的数据我们目前正在使用基于Spark 2.1的应用程序,该应用程序分析和处理大量记录以生成用于报告生成的一些统计数据。现在我们正在使用150个执行器,每个执行器2个核心和每个执行器10 GB用于我们的spark作业,数据大小约为3TB,以parquet 格式存储。处...

本页面内关键词为智能算法引擎基于机器学习所生成,如有任何问题,可在页面下方点击"联系我们"与我们沟通。

社区圈子

Apache Spark 中国技术社区
Apache Spark 中国技术社区
阿里巴巴开源大数据技术团队成立 Apache Spark 中国技术社区,定期推送精彩案例,问答区数个 Spark 技术同学每日在线答疑,只为营造 Spark 技术交流氛围,欢迎加入!
4459+人已加入
加入
相关电子书
更多
云HBaseSQL及分析 ——Phoenix&Spark
R AND SPARK
基于Spark的统一数据管理与数据探索平台
立即下载 立即下载 立即下载