博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop实战(6)_搭建Apache Hadoop的Eclipse开发环境
阅读量:6658 次
发布时间:2019-06-25

本文共 1345 字,大约阅读时间需要 4 分钟。

系列目录:

Hadoop插件的安装配置

1、hadoop-eclipse-plugin-2.4.1.jar插件放到Eclipse的plugins目录下。

2、Window-Preferences-Hadoop Map/Reduce选项,指定Hadoop的Home目录(Windows上模拟的Hadoop安装目录,与集群版本一致)。

3、打开Map/Reduce的视图,Window-Perspective-Open Perspective-Other-Map/Reduce。

4、Map/Reduce Locations,连接到HDFS,New Hadoop location,Location name(ApacheHadoop)

Map/Reduce(V2) Master DFS Master
Host:hadoopmaster Host:hadoopmaster
Port:9001 Port:9000

5、验证,Project Explorer-DFS Locations-MyHadoop。

Map/Reduce验证

New-Project-Map/Reduce Project,Project Name(WordCount),由于之前已指定Hadoop的Home目录,自动把相关的jar包包含进来了。

测试数据准备,

[root@hadoopmaster data]# hdfs dfs -cat /input/data.txtI love BeijingI love ChinaBeijing is the capital of China复制代码

把官方的WordCount程序拷贝到src目录,右键Run as-Run Configurations-Java Application,指定Arguments输入输出参数,Run。

hdfs://hadoopmaster:9000/input/data.txthdfs://hadoopmaster:9000/output复制代码

NullPointerException异常,把%HADOOP_HOME%\bin的hadoop.dll拷贝到C:\Windows\System32。指定HADOOP_HOME环境变量,把HADOOP_HOME下的bin目录加到系统的PATH路径中。重启Eclipse。

org.apache.hadoop.io.nativeio.NativeIO$Windows.access,权限不满足Linux的要求,修改源代码NativeIO.java里面的内部类Windows的方法access,retrue true,不进行权限检查。

Run一下,到HDFS的目录下,查看是否在output目录下生成结果。

Beijing	2China	2I	2capital	1is	1love	2of	1the	1复制代码

微信公众号「数据分析」,分享数据科学家的自我修养,既然遇见,不如一起成长。

转载请注明:转载自微信公众号「数据分析」


读者交流电报群:

https://t.me/sspadluo

转载于:https://juejin.im/post/5a640998f265da3e393a83bc

你可能感兴趣的文章
spring事务测试2,为了解决spring事务测试1
查看>>
扩展卡特兰数
查看>>
ajax对象。同步与异步及ajax发送请求
查看>>
event.stopPropagation 阻止触发父元素的绑定事件
查看>>
[开源] KJFramework.Message 智能二进制消息框架
查看>>
appcan本地数据库,uexDataBaseMgr插件
查看>>
HTML学习笔记一基本标签
查看>>
Mac、nvm、node/npm
查看>>
【转载】随机函数rand()
查看>>
二分查找 BestCoder Round #36 ($) Gunner
查看>>
PowerShell【Do While、Do Until篇】
查看>>
试验添加RAC(ORA10G)节点
查看>>
面试题编程题04-python sort和sorted用法与区别
查看>>
UWP是什么东西
查看>>
do not track
查看>>
ios判断是否有中文
查看>>
Swift入门篇-字符串和字符
查看>>
【原】无脑操作:IDEA + maven + Shiro + SpringBoot + JPA + Thymeleaf实现基础认证权限
查看>>
那些你觉得堪称神兵利器的 Chrome 插件
查看>>
程序员心得
查看>>