场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
如 果使用 OSS只需修改相应的 core-site.xml里与 OSS bucket相关的配置并且在数据分 析作业开发里修改文件存储以及分析结果地址为相应的 OSS bucket地址即可。1.4.安装 Apache Hadoop 步骤1 下载 Apache Hadoop安装压缩包。在 Apache官方网站(https://archive.apache.org/dist/hadoop/common/)下载对应需要 的压缩包。步骤2...