博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop_20_MapReduce程序的运行模式
阅读量:5840 次
发布时间:2019-06-18

本文共 748 字,大约阅读时间需要 2 分钟。

1.MapReduce程序的运行模式

1. Windows中运行MapReduce程序

1)mapreduce程序是被提交给LocalJobRunner在本地以单进程的形式运行

2)而处理的数据及输出结果可以在本地文件系统,也可以在hdfs上

3)设置MapReduce程序的conf配置参数(不配默认)

4)本地模式非常便于进行业务逻辑的debug,只要在eclipse中打断点即可

5)在windows下运行本地模式来测试程序逻辑,需要在windows中配置环境变量:

HADOOP_HOME% = d:/hadoop-2.6.1  %PATH% = %HADOOP_HOME%\bin(记得重启)

并且要将d:/hadoop-2.6.4lib和bin目录替换成windows平台编译的版本

运行程序:

 

2. 集群运行MapReduce程序

1)将mr程序提交给yarn集群resourcemanager,分发到很多的节点上并发执行

2)处理的数据和输出结果应该位于hdfs文件系统

3)提交集群的实现步骤:

A、将程序打成JAR包,然后在集群的任意一个节点上用hadoop命令启动

 hadoop jar workcount.jar ..WordcountDriver /wc/input1 /wc/output

B、直接在linux的eclipse中运行main方法

(项目中要带参数:mapreduce.framework.name=yarn以及yarn的两个基本配置)

C、如果在windows的eclipse中提交MR集群运行,则要修改YarnRunner类

 

 

 

转载于:https://www.cnblogs.com/yaboya/p/9234988.html

你可能感兴趣的文章
Scrum 冲刺博客第二篇
查看>>
C#字符和字符串
查看>>
杭电1181--变形课(Dfs)
查看>>
[原创]NDT方法在SLAM中的应用
查看>>
journalnode Can't scan a pre-transactional edit log 异常处理
查看>>
maven项目不能正常运行
查看>>
yield return 的使用方法
查看>>
Retina 显示屏
查看>>
Masking operations
查看>>
C#笔试题(一)
查看>>
笔记本电脑如何同时上内外网(通过usb外接网卡实现虚拟机连外网)
查看>>
jquery 判断checkbox状态
查看>>
MySQL 5.6 Reference Manual-14.6 InnoDB Table Management
查看>>
图片验证码灰度化、二值化处理
查看>>
coursera吴恩达 机器学习编程作业原文件 及我的作业
查看>>
CodeBlocks使用boost+MinGW
查看>>
ios各种动画效果
查看>>
大话软件测试(欧立奇)---软件测试入门书籍推荐
查看>>
POJ 1308 Is It A Tree? (并查集)
查看>>
常用排序算法(插入排序)
查看>>