系列目录:
Hadoop插件的安装配置
1、hadoop-eclipse-plugin-2.4.1.jar
插件放到Eclipse的plugins目录下。
2、Window-Preferences-Hadoop Map/Reduce选项,指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录,与集群版本一致)。
3、打开Map/Reduce的视图,Window-Perspective-Open Perspective-Other-Map/Reduce。
4、Map/Reduce Locations,连接到HDFS,New Hadoop location,Location name(ApacheHadoop)
Map/Reduce(V2) Master | DFS Master |
---|---|
Host:hadoopmaster | Host:hadoopmaster |
Port:9001 | Port:9000 |
5、验证,Project Explorer-DFS Locations-MyHadoop。
Map/Reduce验证
New-Project-Map/Reduce Project,Project Name(WordCount),由于之前已指定Hadoop的Home目录,自动把相关的jar包包含进来了。
测试数据准备,
[root@hadoopmaster data]# hdfs dfs -cat /input/data.txtI love BeijingI love ChinaBeijing is the capital of China复制代码
把官方的WordCount程序拷贝到src目录,右键Run as-Run Configurations-Java Application,指定Arguments输入输出参数,Run。
hdfs://hadoopmaster:9000/input/data.txthdfs://hadoopmaster:9000/output复制代码
NullPointerException异常,把%HADOOP_HOME%\bin
的hadoop.dll拷贝到C:\Windows\System32
。指定HADOOP_HOME
环境变量,把HADOOP_HOME
下的bin目录加到系统的PATH
路径中。重启Eclipse。
org.apache.hadoop.io.nativeio.NativeIO$Windows.access,权限不满足Linux的要求,修改源代码NativeIO.java里面的内部类Windows的方法access,retrue true
,不进行权限检查。
Run一下,到HDFS的目录下,查看是否在output目录下生成结果。
Beijing 2China 2I 2capital 1is 1love 2of 1the 1复制代码
微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。
转载请注明:转载自微信公众号「数据分析」
读者交流电报群:
https://t.me/sspadluo