问答

汇集网友智慧，解决技术难题

+ 我要提问
21ic问答首页 - hadoop1.x和2.x架构上的区别?

hadoop AD

hadoop1.x和2.x架构上的区别?

ssdandan2022-10-26
hadoop1.x和2.x架构上的区别?
回答 +关注 5
1181人浏览 1人回答问题 分享 举报
1 个回答

  • 赞0
    szhlss123
    （1）Hadoop 1.0
    Hadoop 1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中，HDFS由一个NameNode和多个DataNode组成，MapReduce由一个JobTracker和多个TaskTracker组成，对应Hadoop版本为Apache Hadoop 0.20.x、1.x、0.21.X、0.22.x和CDH3。
    （2）Hadoop 2.0
    Hadoop 2.0即第二代Hadoop，为克服Hadoop 1.0中HDFS和MapReduce存在的各种问题而提出的。针对Hadoop 1.0中的单NameNode制约HDFS的扩展性问题，提出了HDFS Federation，它让多个NameNode分管不同的目录进而实现访问隔离和横向扩展，同时它彻底解决了NameNode 单点故障问题；针对Hadoop 1.0中的MapReduce在扩展性和多框架支持等方面的不足，它将JobTracker中的资源管理和作业控制功能分开，分别由组件ResourceManager和ApplicationMaster实现，其中，ResourceManager负责所有应用程序的资源分配，而ApplicationMaster仅负责管理一个应用程序，进而诞生了全新的通用资源管理框架YARN。基于YARN，用户可以运行各种类型的应用程序（不再像1.0那样仅局限于MapReduce一类应用），从离线计算的MapReduce到在线计算（流式处理）的Storm等。Hadoop 2.0对应Hadoop版本为Apache Hadoop 0.23.x、2.x和CDH4。

    学习可关注：人工智能技术与咨询，或到我司官网了解：https://www.chinaai.org.cn/。

    评论

    2022-10-26

    分享 没有帮助 举报

您需要登录后才可以回复 登录 | 注册

相关问题

本周活跃用户

问答专家