大数据之Hadoop升级方案(二):从Hadoop 1.0升级到2.0

已经介绍了如何从Hadoop 1.0升级到2.0,且启用2.0的HA功能。本文将重点介绍如何同时启动2.0的HA和federation功能。本文主要介绍配置方法,具体的升级流程和服务启动方式可参考前一篇文章。

1. 基础知识准备

由于Hadoop 2.0增加了很多新的特性,包括HDFS HA,HDFS Federation,新的资源管理系统YARN等,在部署Hadoop 2.0之前,你需要对这些特性有一个理论上的了解,推荐阅读以下资料:

(1)  HDFS Federation设计动机与基本原理

(2)  Hadoop 2.0中单点故障解决方案总结

(3) Hadoop YARN资料汇总

(4) Hadoop 2.2.0设计文档

2. 启用HA 和Federation

前面一篇文章介绍了HA的配置方法,即整个集群只有一个对外可用的namenode,同时为这个namenode增加一个backup namenode以解决HDFS单点故障问题,如下图所示:

为了启用federation,我们需再增加N个namenode,并为每个namenode添加一个backup namenode,以解决每个namenode的单点故障问题。本文介绍N=1的情况,其他情况类似。再增加一个namenode和backup namenode后,部署架构如下:

该结构的配置方法可参考 “Hadoop 2.0 NameNode HA和Federation实践”和“ Apache官网给出的Federation配置方法”。

3. 启用client side moutable table

当启用HDFS Federation功能时,由于存在多个namenode视图,可能会给用户使用带来不便,为此,可通过配置client-side mount table为用户提供一个统一HDFS访问视图,这是通过新引入的文件系统viewfs实现的,关于viewfs的介绍,可参考我的这篇文章“ HDFS Federation客户端(viewfs)配置攻略”。配有client-side mount table的客户端访问图如下:

同样,配置方法可参考 “Hadoop 2.0 NameNode HA和Federation实践”和“ User Guide for how to use viewfs with federation”。

Tagged: ,

Comments are closed.