场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
创建容器服务 Kubernetes集群.3 1.2.本地应用开发环境准备.3 1.3.准备 HDFS数据源.4 1.4.安装 Apache Hadoop.4 2.应用开发.8 2.1.数据源准备.8 2.2.创建镜像仓库.10 2.3.准备 Spark Base镜像.13 2.4.准备 Spark应用镜像.14 3.Spark on Kubernetes实践方案对比.18 3.1.Spark on ACK方案.18 3.2.Spark on ACK优势.20 3.3....