apache spark阿里云-阿里云

[帮助文档] 阿里云账号角色授权

使用EMR Serverless Spark前，需要授予您的阿里云账号AliyunServiceRoleForEMRServerlessSpark和AliyunEMRSparkJobRunDefaultRole系统默认角色。本文为您介绍角色授权的基本操作。

阿里云E-MapReduce中在spark里使用jingdo访问oss，是啥原因？

阿里云E-MapReduce中在spark里使用jingdo访问oss，出现400 请求错误，是啥原因？ spark-3.4.2, jindosdk-6.3.0. 谢谢。是版本问题么？24/02/20 13:40:57 INFO SQLHadoopMapReduceCommitProtocol:...

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第一阶段

33 课时 |

283 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第二阶段

28 课时 |

248 人已学 |

加入学习

大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段

25 课时 |

92 人已学 |

加入学习

深度干货｜谈谈阿里云AnalyticDB Spark如何构建低成本数据湖分析

文/李少锋阿里云瑶池旗下的云原生数据仓库AnalyticDB MySQL版是基于湖仓一体架构打造的实时湖仓。本文将分享AnalyticDB MySQL Spark助力构建低成本数据湖分析的最佳实践。全文目录：AnalyticDB MySQL介绍AnalyticDB MySQL Serverless ...

我公司现在要把azure上的Kafka集群和spark集群迁移到阿里云上能直接通过服务器迁移中心

我公司现在要把azure上的Kafka集群和spark集群迁移到阿里云上能直接通过服务器迁移中心搞定吗或者还需要配合别的什么迁移吗

[帮助文档] 如何通过ES-Hadoop实现Spark读写阿里云Elasticsearch数据

Spark是一种通用的大数据计算框架，拥有Hadoop MapReduce所具有的计算优点，能够通过内存缓存数据为大型数据集提供快速的迭代功能。与MapReduce相比，减少了中间数据读取磁盘的过程，进而提高了处理能力。本文介绍如何通过ES-Hadoop实现Hadoop的Spark服务读写阿里云El...

Spark on k8s 在阿里云 EMR 的优化实践

导读：随着大数据技术的发展，Spark 成为当今大数据领域最受关注的计算引擎之一。在传统的生产环境中，Spark on YARN 成为主流的任务执行方式，而随着容器化概念以及存算分离思想的普及，尤其是 Spark3.1 版本下该模式的正式可用（GA），Spark on K8s 已成燎原...

Spark读取阿里云OSS指定目录下文件名写入Maxcomputer

1.概述最近刚好有个需求，需要将阿里云对象存储OSS里的视频文件名称拿出来，以便数仓这边输出使用。其实方法有很多Java、Python都可以使用，因本人使用阿里云DataWorks+Maxcomputer，且Maxcomputer可以直接使用ODPS Spark，所以这里采用Spark读取2.实现1...

阿里云在哪些国际Region 推出了 Spark 服务？

阿里云天池Apache Spark落幕：AI医疗进入落地实践深水期，达摩院如何用生态破局？

10 月 10 日，AI 医疗行业最高规格赛事——阿里云、英特尔（中国）有限公司联合主办的 Apache Spark AI 在杭州落下帷幕。脊柱外科疾病已经越来越困扰着老年人及久坐的上班一族，脊柱病变发展缓慢且不明显，长此以往会压迫神经和血管，甚至造成大脑指挥失灵。此次比赛正是瞄准脊柱外科疾病，参与...

阿里云云原生数据湖分析DLA Serverless Spark重磅发布，助力企业低成本挖掘OSS数据价值

一、背景概述 1.1 什么样的客户需要数据湖在数据处理领域，数据湖相对来说是一个比较新的概念，它的提出可以很好地帮助企业应对当前数据场景越来越多、数据结构越来越复杂、数据处理的需求越来越多样化的问题。传统的单机数据库技术倾向于大一统，一个数据库可以解决数据存储、在线交易、在线分析、离线报表等功能，...