目前來說,Hadoop的安裝部署的模式一共有三種,就是如下三種:
1. 本地模式
2. 偽分布模式
3. 全分布模式
1、獨(dú)立模式(本地模式) standalone
默認(rèn)的模式,無需運(yùn)行任何守護(hù)進(jìn)程(daemon),所有程序都在單個(gè)JVM上執(zhí)行。由于在本機(jī)模式下測(cè)試和調(diào)試MapReduce程序較為方便,因此,這種模式適宜用在開發(fā)階段。使用本地文件系統(tǒng),而不是分布式文件系統(tǒng)。
2、偽分布模式 pseudodistributed
在一臺(tái)主機(jī)模擬多主機(jī)。即,Hadoop的守護(hù)程序在本地計(jì)算機(jī)上運(yùn)行,模擬集群環(huán)境,并且是相互獨(dú)立的Java進(jìn)程。
在這種模式下,Hadoop使用的是分布式文件系統(tǒng),各個(gè)作業(yè)也是由JobTraker服務(wù),來管理的獨(dú)立進(jìn)程。
在單機(jī)模式之上增加了代碼調(diào)試功能,允許檢查內(nèi)存使用情況,HDFS輸入輸出,以及其他的守護(hù)進(jìn)程交互。類似于完全分布式模式,因此,這種模式常用來開發(fā)測(cè)試Hadoop程序的執(zhí)行是否正確。
3完全分布模式 fulldistributed, Hadoop
完全分布模式的守護(hù)進(jìn)程運(yùn)行在由多臺(tái)主機(jī)搭建的集群上,是真正的生產(chǎn)環(huán)境。
在所有的主機(jī)上安裝JDK和Hadoop,組成相互連通的網(wǎng)絡(luò)。
以下是三種配置模式的配置文件。
本地模式的配置
偽分布模式的配置
完全分部模式的配置
4、驗(yàn)證Hadoop環(huán)境
我們一般通過如下的方式來簡(jiǎn)單測(cè)試HADOOP的環(huán)境是否搭建成功。
1. HDFS Console:http://192.168.137.25:50070
2. Yarn Console:http://192.168.137.25:8088