Ubuntu14.0.4下部署Hadoop2.7.2伪分布模式

一、
安装运行软件环境【以下都是用root帐户】

**1、更新软件源索引列表，这样才可以下载到最新的软件：apt-get update
**

2、安装ssh工具：

    1）、开始安装：apt-get install ssh

    2）、重启后，查看系统进程： ps -e |grep ssh

    3）、设置ssh免密码登录：

        （1）、生成密钥：
 ssh-keygen -t rsa -P ""

        （2）、把公钥信息追加到证书文件中：cat  /root/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

        （3）、测试成功免密码登录本机： ssh localhost

3、安装JDK：
jdk-8u60-linux-x64.gz

    1）、创建jdk安装目录

        （1）、cd /opt

        （2）、mkdir java

    2）、解压文件到刚才新建的/opt/java目录中

        
tar -xzvf jdk-8u60-linux-x64.gz -C /opt/java

    3）、配置java的系统环境变量

        （1）、gedit /etc/profile    #添加下面的jdk环境变量

也可通过修改~/.bashrc文件，同样也是有效的。

            
# JDK evironment configs

            JAVA_HOME=/opt/java/jdk1.8.0_60

            JRE_HOME=${JAVA_HOME}/jre

            CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            PATH=$PATH:${JAVA_HOME}/bin

        （2）、source /etc/profile    #配置文件生效

        （3）、检验jdk配置成功：    java -version

二
、
安装hadoop
【以下都是用root帐户】

    1）、解压文件到/opt目录下：

         tar -xzvf hadoop-2.7.2.tar.gz -C /opt

    2）、配置hadoop的系统环境变量：

        （1）、gedit /etc/profile    #添加下面的hadoop环境变量

            
# Hadoop evironment configs

            PATH=$PATH:/opt/hadoop-2.7.2/bin

        （2）、source /etc/profile    #配置文件生效

    3）、配置hadoop自身的环境变量：

        gedit /opt/hadoop-2.7.2/etc/hadoop/hadoop-env.sh    #把原来的JAVA_HOME替换成新的；

    4）、检验hadoop配置成功：    hadoop version

         5）、配置core-site.xml    
gedit core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
1<configuration>

2    <property>

3        <name>fs.defaultFS</name>

4        <value>hdfs://localhost:9000</value>

5    </property>

6    <property>

7    <span style="white-space:pre"> </span><name>hadoop.tmp.dir</name>

8    <span style="white-space:pre"> </span><value>/usr/local/hadoop-2.7.2/hadoop_tmp</value>

9    <span style="white-space:pre"> </span><description>A base for other temporary directories.</description>

10    </property>

11</configuration>

12

特别需要注意：hadoop.tmp.dir属性必须指定，因为Hadoop的许多配置默认都是采用hadoop.tmp.dir这个路径（如NameNode的存储目录等），而在用户没有指定的情况下，hadoop.tmp.dir默认是放在/tmp目录下的，一旦重启操作系统，则所有的hadoop文件将全部不见。

    6）、配置hdfs-site.xml    
gedit hdfs-site.xml

1
2
3
4
5
6
7
1<configuration>

2    <property>

3        <name>dfs.replication</name>

4        <value>1</value>

5    </property>

6</configuration>

7

由于是伪分布模式，说白了就是一台机器上运行NameNode和DataNode，所以设置文件的复制备份为1份就可以了，配置再多份也没有效果。

    7）、启动Hadoop文件系统（在Hadoop安装根目录下运行）：./sbin/start-dfs.sh。

    8）、查看Hadoop伪分布模式是否安装成功：

    在浏览器中输入：http://localhost:50070，如果能看到以下站点，则说明安装成功。