目錄
正文
當(dāng)前的HDFS和YARN都是一主多從的分布式架構(gòu)，主從節(jié)點(diǎn)---管理者和工作者
問(wèn)題：如果主節(jié)點(diǎn)或是管理者宕機(jī)了。會(huì)出現(xiàn)什么問(wèn)題？
群龍無(wú)首，整個(gè)集群不可用。所以在一主多從的架構(gòu)中都會(huì)有一個(gè)通用的問(wèn)題：
當(dāng)集群中的主節(jié)點(diǎn)宕機(jī)之后，整個(gè)集群不可用。這個(gè)現(xiàn)象叫做：單點(diǎn)故障。SPOF
1、如果說(shuō)宕機(jī)的那個(gè)節(jié)點(diǎn)是從節(jié)點(diǎn)，那么整個(gè)集群能夠繼續(xù)運(yùn)行，并且對(duì)外提供正常的服務(wù)。
2、如果說(shuō)宕機(jī)的那個(gè)節(jié)點(diǎn)是主節(jié)點(diǎn)，那么整個(gè)集群就處于宕機(jī)狀態(tài)。
通用的解決方案：高可用
概念：當(dāng)正在對(duì)外提供服務(wù)器的主從節(jié)點(diǎn)宕機(jī)，那么備用的主節(jié)點(diǎn)立馬上位對(duì)外提供服務(wù)。無(wú)縫的瞬時(shí)切換。
皇帝駕崩，太子繼位。
表示所有的分布式系統(tǒng)都是單機(jī)的。
表示集群中的所有角色都分配給了一個(gè)節(jié)點(diǎn)。
表示整個(gè)集群被安裝在了只有一個(gè)節(jié)點(diǎn)的集群中的。
主要用于做快速使用，去模擬分布式的效果。
表示集群中的節(jié)點(diǎn)會(huì)被分配成很多種角色，分散在整個(gè)集群中。
主要用于學(xué)習(xí)測(cè)試等等一些場(chǎng)景中。
表示整個(gè)集群中的主節(jié)點(diǎn)會(huì)有多個(gè)
注意區(qū)分：能夠?qū)ν馓峁┓?wù)的主節(jié)點(diǎn)還是只有一個(gè)。其他的主節(jié)點(diǎn)全部處于一個(gè)熱備的狀態(tài)。
正在對(duì)外提供服務(wù)的主節(jié)點(diǎn)：active 有且僅有一個(gè)
熱備的主節(jié)點(diǎn)：standby 可以有多個(gè)
工作模式：1、在任意時(shí)刻，只有一個(gè)主節(jié)點(diǎn)是active的，active的主節(jié)點(diǎn)對(duì)外提供服務(wù)
2、在任意時(shí)刻，都應(yīng)至少有一個(gè)standby的主節(jié)點(diǎn)，等待active的宕機(jī)來(lái)進(jìn)行接替
架構(gòu)模式：就是為了解決分布式集群中的通用問(wèn)題SPOF
不管是分布式架構(gòu)還是高可用架構(gòu)，都存在一個(gè)問(wèn)題：主從結(jié)構(gòu)---從節(jié)點(diǎn)數(shù)量太多了。最直觀的的問(wèn)題：造成主節(jié)點(diǎn)的工作壓力過(guò)載，主節(jié)點(diǎn)會(huì)宕機(jī)，當(dāng)前的這種現(xiàn)象是一種死循環(huán)
表示當(dāng)前集群中的主從節(jié)點(diǎn)都可以有很多個(gè)。
1）主節(jié)點(diǎn)：可以有很多個(gè)的意思是說(shuō)：同時(shí)對(duì)外提供服務(wù)的主節(jié)點(diǎn)有很多個(gè)。
重點(diǎn)：每一個(gè)主節(jié)點(diǎn)都是用來(lái)管理整個(gè)集群中的一部分
2）從節(jié)點(diǎn)：一定會(huì)有很多個(gè)。
在聯(lián)邦模式下還是會(huì)有問(wèn)題：
雖然這個(gè)集群中的一個(gè)主節(jié)點(diǎn)的壓力被分?jǐn)偟搅硕鄠€(gè)主節(jié)點(diǎn)。但是這個(gè)多個(gè)主節(jié)點(diǎn)依然會(huì)有一個(gè)問(wèn)題：SOFP
1、假如安裝不成功，并且不知道應(yīng)該怎么去解決這個(gè)安裝錯(cuò)誤：重裝
需要做的處理：處理安裝步驟中不同的部分即可。第一次安裝和重裝時(shí)候的不同步驟：
1）到修改配置文件以前，全部都不用動(dòng)
2）檢查配置文件是否都正確
先檢查一個(gè)節(jié)點(diǎn)上的配置文件是否都正確，如果都正確，重新分發(fā)一次即可
3）在安裝分布式集群時(shí)，所有節(jié)點(diǎn)中的安裝的安裝目錄和安裝者，需要檢查和確定
4）刪掉數(shù)據(jù)目錄
A. 刪除主節(jié)點(diǎn)的工作目錄：namenode的數(shù)據(jù)目錄
刪除即可，只需要在主節(jié)點(diǎn)刪除即可
B. 刪除從節(jié)點(diǎn)的工作目錄：datanode的數(shù)據(jù)目錄
刪除即可，把每個(gè)從節(jié)點(diǎn)上的這個(gè)對(duì)應(yīng)數(shù)據(jù)目錄都刪掉
如果以上兩份數(shù)據(jù)都被刪除了之后。整個(gè)集群當(dāng)中就相當(dāng)于沒(méi)有存儲(chǔ)任何的歷史數(shù)據(jù)。所以就是一個(gè)全新的集群
5）在確保數(shù)據(jù)正常和安裝包都正常之后，進(jìn)行重新初始化
重點(diǎn)強(qiáng)調(diào)： hadoop集群的初始化，其實(shí)就是初始化HDFS集群， 只能在主節(jié)點(diǎn)進(jìn)行初始化
如果你只需要搭建YARN集群，那么是可以不用做初始化的。
6）啟動(dòng)集群
7）驗(yàn)證集群是否成功
用戶環(huán)境變量 ：僅僅只是當(dāng)前用戶使用 ~/.bashrc ~/.bash_profile
系統(tǒng)環(huán)境變量 ：給當(dāng)前系統(tǒng)中的所有用戶使用 /etc/profile
任何普通用戶在進(jìn)行登錄的時(shí)候：會(huì)同時(shí)加載幾個(gè)環(huán)境變量的配置文件：
按順序：
1、/etc/profile
2、~/.bash_profile
3、~/.bashrc
聯(lián)系客服
