这是本指南的第三篇，本熊做这个的初衷就是刷刷小Y的好感度，但直到完成还是迷迷糊糊的。对于本熊而言读女人心简直堪比读算法导论，虽然两个都不太读得懂。本熊这段时间看到过关于交友平台的机器人的纪录片，让机器算法来搭讪自己潜在的伴侣，这是个很浪漫有趣的想法，会有人喜欢上这个像dull dull dull 的人类的机器人吗? I’m curious

纯初学者说明模式
本章节主讲实现本地模式

• Hbase的安装配置
• Hbase的简单语句
• 相对应的Hadoop配置
• SSH免密码登录

0.路径说明

本熊假设Hadoop的主目录为HadoopPath，Hbase的主目录为HbasePath

以下是本熊的解压位置：
HadoopPath的值就是 /usr/Dzy/hadoop-2.5.2
HbasePath的值就是 /usr/Dzy/hbase-0.98.8-hadoop2
NutchPath的值就是 /usr/Dzy/apache-nutch-2.3.1

各位可以按照自己的路径进行设置，本熊再次只为说明方便

1.Hbase安装与配置

1.1 Hbase配置修改

本熊只配置所需的最低设定了，各位可以参照官方文档尝试更多的有趣的设置

• 在HbasePath下，在/conf下修改hbase-env.sh，添加以下设置

1
2
3
1export JAVA_HOME=/usr/jdk/

2

3

• 在相同目录下修改hbase-site.xml，在<configuration></configuration>标签中添加以下设置

1
2
3
4
5
6
7
8
9
10
1<property>  

2    <name>hbase.rootdir</name>  

3    <value>hdfs://localhost:9000/hbase</value>  

4</property>  

5<property>  

6    <name>hbase.cluster.distributed</name>  

7    <value>true</value>  

8</property>  

9

10

因为采用的是hdfs，hbase.rootdir代表hbase的主目录在hdfs的位置，hbase.cluster.distributed代表hbase的启动模式是本机还是集群

1.2 Hbase启动与简单查询

• 在HbasePath目录下，启动终端输入

bash ./bin/start-hbase.sh
开启Hbase的服务，此时在浏览器输入以下网址 http://localhost:60010/master-status 可以看见Hbase的homepage

这里可以看见Hbase数据库中所有的表和信息，除此之外还有一种 方式在终端内实现查看（适用于非图形界面的系统）

• 在HbasePath目录下，在终端输入

1
2
3
1./bin/hbase shell

2

3

启动Hbase的Shell模式，如下图

• 可以实用简单的指令实现查询

1
2
3
1list

2

3

查看Hbase数据库内所有的表

1
2
3
1scan 'Table'

2

3

查看Hbase数据库内名为Table表的内容

以上是使用Nutch的Hbase的简单的基础语法和配置

2.Hadoop安装与配置

• 在HadoopPath下 /etc/hadoop目录中的修改core-site.xml内在<configuration></configuration>标签中添加以下设置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
1<property>

2    <name>fs.default.name</name>

3    <value>hdfs://localhost:9000</value>

4</property>

5<property>

6     <name>dfs.replication</name>

7     <value>1</value>

8</property>

9<property>

10      <name>hadoop.tmp.dir</name>

11      <value>/usr/tmp</value>

12 </property>

13

14

这三个属性分别是hdfs的主机位置，再连接的次数与hadoop缓存存放位置

• 在相同目录下，将 mapred-site.xml.template 在当前目录复制黏贴，并重命名为mapred-site.xml 在<configuration></configuration>标签中添加以下设置

1
2
3
4
5
6
1<property>

2     <name>mapred.job.tracker</name>

3     <value>localhost:9001</value>

4</property>

5

6

此处代表执行map phase的tracker的主机，因为是本地伪集群，故写成这样

3.SSH免密码登录

采用ssh策略的原因为了hadoop中zookeeper的管理便利，我们所知远程访问主机采取的多为 用户名+密码 的模式，往往因为权限问题导致错误，本熊发现ssh策略就可以很好的回避这点

• 开启终端，输入以下指令，安装ssh

1
2
3
1sudo  apt-get install openssh-server

2

3

• 在终端，输入以下指令，开启ssh服务

1
2
3
1service sshd restart

2

3

• 输入以下命令，制作ssh密钥上传到本机

1
2
3
1ssh-keygen  -t  dsa -P '' -f  ~/.ssh/id_dsa 

2

3

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

• 可以用以下命令检测是否成功，成功的话会显示系统版本及登录时间

1
2
3
1ssh localhost

2

3

4.Hadoop的启动

启动Hadoop

• 在HadoopPath下，在终端输入以下命令，执行namenode初始化

1
2
3
1bin/hadoop  namenode -format

2

3

• 在终端输入下面的命令，成功后可以下图

1
2
3
1bash ./sbin/start-all.sh

2

3

我们可以清楚的看出hadoop的执行过程，dfs与yarn，hadoop成功启动

• 有兴趣的看官们，本熊强烈推荐可以去试试hadoop自带的WordCount程序来体验一把hadoop，具体的部分可以参照hadoop官网的说明，十分有助于理解hadoop的工作机制哦

第三期完

写到现在突然发现本熊和小Y，一个缺智商，一个缺情商。形象的说宅若久时天然呆,呆到深处自然萌 又宅又呆的小Y看来只有走仓鼠的蠢萌路线了，本熊表示很心痛。玩笑话就说到这里，本熊又宅又呆已有二十余载，突悟还是要学学年轻人该有的生活方式，不知道各位的年轻时是如何打发自己的，本熊也想学学

1
2
3
1      (。・д・。)      (　・ˍ・)　(・ˍ・*)　    (・－・。)

2

3

往期内容
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（一）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（二）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（三）
[Linux] Nutch 2.3.1+ Hbase + Hadoop + Solr 单机指南（四）