“Hadoop中国技术峰会 YARN框架突破Mapreduce瓶颈”

本篇文章1163字，读完约3分钟

在上周召开的hadoop中国技术峰会上，来自国内外的技术专家齐聚一堂，就hadoop在当今大数据时代的应用展开技术交流。 hadoop中国技术峰会是国内第一次基于hadoop平台的全产业链大数据领域技术峰会，首次将互联网技术与以前流传下来的产业融合，本届大会确定提出“公司级hadoop”的概念 以hadoop生态系统为中心，开展各方面的技术共享、研讨会、成果展示。

大会第一天请来hadoop技术指导制造商hortonworks，大数据观察服务企业hortonworks转型为雅虎，与雅虎合作贡献了hadoop主干项目80%以上的源代码。 另外，hortonworks公司也被认为是hadoop 2.0、apache hadoop yarn的主要贡献者。 霍华德酒店亚太地区技术负责人杰夫·马克Ham也成为本届大赛的亮点，介绍了hadoop 2.0和新yarn框架的特点。

霍华德亚太地区技术负责人杰夫·马克Ham

会议的杰夫表示，在过去几年中，hadoop开发团队对hadoop进行了一些bug修复，但是mapreduce的job tracker/tasktracker机制从可扩展性、内存消耗、线程模型、可靠性、 这使得对传统框架进行修改变得越来越困难，因此，为了从根本上处理旧mapreduce框架的性能瓶颈，从0.23版开始，mapreduce框架将迎来大规模的更新，并完全重新构建 新版本的mapreduce2.0被命名为yarn。

hadoop2.0高亮显示

相对于hadoop 1.0，hadoop2.0有质的变化，从结构稳定性到合理性方面都有明显提高，hadoop的重要性超越了单一批处理解决方案的平台，生态系统也更加丰富和紧密。 从杰夫来看，yarn在hadoop 2.0中的作用最重要。 他表示，当hortonworks着手构建hadoop2.0时，他希望从根本上重新设计hadoop的架构，以便在hadoop上运行多个APP，并解决相关数据集。 这样，可以在同一群集上高效、可控地运行多种类型的APP应用程序。 这是以hadoop 2.0为基础的apache yarn得以诞生的真正原因。 通过yarn管理集群的资源请求，hadoop从单个APP系统升级到了多个APP操作系统。

hadoop2.0 yarn框架和mapreduce的区别

从本质上说，yarn是hadoop的操作系统，突破了mapreduce框架的性能瓶颈。 它还是真正的hadoop资源管理器，允许多个APP应用程序在一个群集上高效运行。 有了yarn，hadoop将成为真正的多APP平台，能够为整个公司服务。 杰夫还表明，yarn用于hortonworks的数据平台，hadoop和yarn的组合是企业大数据平台成功的关键。