大规模集群下Hadoop NameNode如何承载每秒上千次的高并发访问
一、问题起源高并发请求 NameNode 会遇到什么样的问题?现在大家都明白每次请求 NameNode 修改一条元数据（比如说申请上传一个文件，那么就需要在内存目录树中加入一个文件），都要写一条 edits log，包括两个步骤：写入本地磁盘。通过网络传输给 JournalNodes 集群。但是如果...
基于Docker一键部署大规模Hadoop集群及设计思路
一、背景：随着互联网的发展、互联网用户的增加，互联网中的数据也急剧膨胀。每天产生的数据量数以万计，本地文件系统和单机CPU已无法满足存储和计算要求。Hadoop分布式文件系统(HDFS)是海量数据存储的重要技术，它将数据存储在多个从节点上，对这些节点的硬件资源进行统一管理与分配，并向客户端提供文件系...
【眼前一亮！】看Hadoop底层算法如何优雅的将大规模集群性能提升10倍以上？
一，这篇文章给大家聊聊Hadoop在部署了大规模的集群场景下，大量客户端并发写数据的时候，文件契约监控算法的性能优化。二，背景引入 先给大家引入一个小的背景，假如多个客户端同时要并发的写Hadoop HDFS上的一个文件，大家觉得这个事儿能成吗？ 明显不可以接受啊，兄弟们，HDFS上的文件是不允许并...
腾讯大规模Hadoop集群实践
TDW（Tencent distributed Data Warehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造。 TD...
Hadoop 这样业界顶级的大规模数据处理平台，均发现满足不了类似双十一这样全世界的剁手党蜂拥而至的热情
写这篇文之前想起一个段子：“你在干嘛？”“我在王健林这儿跟马云谈生意。”“说人话！”“我在万达广场逛无聊了坐着拿手机淘宝……” 所以，本来开篇想说上周到马云那里聊了会最新的云计算技术，想想还是不那么得瑟，老实交代吧，上周五到杭州阿里巴巴总部以开小规模研讨会的名义实质上主要是去参观学习了一圈。马云当然...
基于Hadoop集群的大规模分布式深度学习
前言 在过去的十年里，Yahoo一直持续投资建设和扩展Apache Hadoop集群，到目前为止共有超过4万台服务器和600PB数据分布在19个集群上。正如在2015 Hadoop 峰会上介绍的，我们在自己的服务器上开发了可扩展的机器学习算法，用于分类、排序和计算词向量。目前，Hadoop集群已成为...
【Hadoop Summit Tokyo 2016】Rakuten是如何解决由于大规模多租户Hadoop集群造成的迷之问题的
本讲义出自Tomomichi Hirano在Hadoop Summit Tokyo 2016上的演讲，主要分享了Rakuten公司遇到的大规模多租户Hadoop集群造成的迷之问题：从来不结束任务、数据结点冻结、命名结点冻结、命名节点重新启动后出现高负载以及在解决上述问题中获取的经验教训，并且分享了R...
【Hadoop Summit Tokyo 2016】雅虎日本的大规模Hadoop集群网络
本讲义出自Kai Fukazawa在Hadoop Summit Tokyo 2016上的演讲，主要分享了与Hadoop相关的网络技术，并分享了雅虎日本的网络技术转型发展之路和网络相关的问题以及解决方案，介绍了雅虎日本IP CLOS的网络架构设计以及遇到的挑战以及在未来雅虎日本在网络技术方面的发展计划...
【Hadoop Summit Tokyo 2016】重建大规模Web跟踪设施
本讲义出自Stephen Oakley在Hadoop Summit Tokyo 2016上的演讲，主要分享了Marketo的Web跟踪技术以及其合法的Web跟踪设施的架构设计以及相关法律问题，并对于Marketo的大规模Web跟踪基础设施的技术需求和业务需求进行了介绍，并且分享了在架构设计中使用到的...
腾讯大规模Hadoop集群实践
腾讯大规模Hadoop集群实践 转自：http://www.csdn.net/article/2014-02-19/2818473-Tencent-Hadoop ID lishilong404740787 TDW是腾讯最大的离线数据处理平台。本文主要从需求、挑战、方案和未来计划等方面，介绍了TDW在...
本页面内关键词为智能算法引擎基于机器学习所生成，如有任何问题，可在页面下方点击"联系我们"与我们沟通。
