Hadoop实战(6)_搭建Apache Hadoop的Eclipse开发环境

释放双眼,带上耳机,听听看~!

系列目录:

Hadoop实战(1)_阿里云搭建Hadoop2.x的伪分布式环境

Hadoop实战(2)_虚拟机搭建Hadoop的全分布模式

Hadoop实战(3)_虚拟机搭建CDH的全分布模式

Hadoop实战(4)_Hadoop的集群管理和资源分配

Hadoop实战(5)_Hadoop的运维经验

Hadoop插件的安装配置

1、hadoop-eclipse-plugin-2.4.1.jar插件放到Eclipse的plugins目录下。

2、Window-Preferences-Hadoop Map/Reduce选项,指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录,与集群版本一致)。

3、打开Map/Reduce的视图,Window-Perspective-Open Perspective-Other-Map/Reduce。

4、Map/Reduce Locations,连接到HDFS,New Hadoop location,Location name(ApacheHadoop)

Host:hadoopmaster
Host:hadoopmaster
Port:9001
Port:9000

5、验证,Project Explorer-DFS Locations-MyHadoop。

Map/Reduce验证

New-Project-Map/Reduce Project,Project Name(WordCount),由于之前已指定Hadoop的Home目录,自动把相关的jar包包含进来了。

测试数据准备,


1
2
3
4
5
1[root@hadoopmaster data]# hdfs dfs -cat /input/data.txt
2I love Beijing
3I love China
4Beijing is the capital of China
5

把官方的WordCount程序拷贝到src目录,右键Run as-Run Configurations-Java Application,指定Arguments输入输出参数,Run。


1
2
3
1hdfs://hadoopmaster:9000/input/data.txt
2hdfs://hadoopmaster:9000/output
3

NullPointerException异常,把%HADOOP_HOME%\bin的hadoop.dll拷贝到C:\Windows\System32。指定HADOOP_HOME环境变量,把HADOOP_HOME下的bin目录加到系统的PATH路径中。重启Eclipse。

org.apache.hadoop.io.nativeio.NativeIO$Windows.access,权限不满足Linux的要求,修改源代码NativeIO.java里面的内部类Windows的方法access,retrue true,不进行权限检查。

Run一下,到HDFS的目录下,查看是否在output目录下生成结果。


1
2
3
4
5
6
7
8
9
1Beijing 2
2China   2
3I   2
4capital 1
5is  1
6love    2
7of  1
8the 1
9

给TA打赏
共{{data.count}}人
人已打赏
安全运维

MySQL到MongoDB的数据同步方法!

2021-12-11 11:36:11

安全运维

Ubuntu上NFS的安装配置

2021-12-19 17:36:11

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索