大家都知道，在傳統(tǒng)的PC架構(gòu)中基本的I/O單元——磁盤扇區(qū)大小是512byte（字節(jié)）。時(shí)至今日，4KB扇區(qū)硬盤已經(jīng)在消費(fèi)級(jí)市場廣泛應(yīng)用，那么企業(yè)存儲(chǔ)的情況如何呢？物理4KB扇區(qū)還需要模擬成512byte嗎？
圍繞4KB扇區(qū)硬盤，由于大家在這方面了解的基礎(chǔ)不同?？赡軙?huì)有如下的疑問：
1、為什么會(huì)有4KB扇區(qū)硬盤？好處在哪里？
2、原生4KB扇區(qū)和模擬512byte，兼容性有什么差別？
3、4KB扇區(qū)對(duì)性能的影響
4、軟硬件生態(tài)系統(tǒng)，需要做哪些配合？
5、SSD目前主要還是仿真磁盤塊設(shè)備來使用，它是512byte還是4KB設(shè)備呢？
6、在RAID陣列和虛擬機(jī)環(huán)境，硬件與GuestOS之間多了一個(gè)抽象層，這是否也會(huì)影響到4KB兼容？
以上6點(diǎn)相互關(guān)聯(lián)，因此在本文中都會(huì)有所涉及。首先引起我們注意的是，近日有一份來自戴爾的資料，其中提到了2.5”2TB 7.2K NLSAS（近線SAS）HDD的引入，這款硬盤采用的是512byte仿真扇區(qū)大小。
上表列出了3種硬盤扇區(qū)格式類型。512n——物理格式化和向主機(jī)呈現(xiàn)的邏輯扇區(qū)字節(jié)數(shù)均為512byte，早期的硬盤都是這樣；512e——物理扇區(qū)大小為4096字節(jié)，邏輯上仿真為（8個(gè)）512字節(jié)扇區(qū)，為了兼容性的一種過渡；4Kn——即原生4KB，物理和邏輯扇區(qū)字節(jié)數(shù)都是4KB。
4KB扇區(qū)硬盤與生態(tài)系統(tǒng)概述
由于IT棧中的組件默認(rèn)針對(duì)512b扇區(qū)大小已經(jīng)30年了，下面我們來看看針對(duì)4KB扇區(qū)硬盤，整個(gè)生態(tài)系統(tǒng)需要分析/升級(jí)的地方。
什么是4KB高級(jí)格式化、路線圖
如上圖，原生512n每個(gè)扇區(qū)都有50bytes的ECC糾錯(cuò)碼；4KB扇區(qū)將這個(gè)ECC區(qū)域合并、擴(kuò)大（但沒有50bytes的8倍那么大），并省去了間隔、地址標(biāo)記等空間，因此格式化效率提升到大約97%，并且能否檢測(cè)和糾正更大的介質(zhì)錯(cuò)誤。
也就是說，在磁記錄密度不變的情況下，“高級(jí)格式化”能夠提供更大的實(shí)際可用容量。隨著硬盤上的記錄單元——磁極尺寸不斷縮小，容量增速放緩，4KB扇區(qū)是未來大容量硬盤的趨勢(shì)。
參考上圖，512byte原生扇區(qū)硬盤的生命周期將在2017年終止（部分企業(yè)級(jí)產(chǎn)品和老型號(hào)可能例外）。按照這個(gè)之前的預(yù)計(jì)，以3.5”7200轉(zhuǎn)為例最大是4TB，超出該容量物理扇區(qū)只有4KB了？實(shí)際上我們看到有硬盤廠商推出6TB512byte物理扇區(qū)的型號(hào)，包括密封充氦7碟片和非充氦普通6碟片，但繼續(xù)增大容量還是需要4KB扇區(qū)。
4KB扇區(qū)仿真512byte已經(jīng)廣泛應(yīng)用于客戶端，畢竟即使出現(xiàn)寫放大或者未對(duì)齊寫入產(chǎn)生更多I/O，PC用戶對(duì)磁盤性能也沒有那么敏感，但企業(yè)級(jí)應(yīng)用則要保守多了。除了4KB扇區(qū)仿真512byte，原生4KB扇區(qū)硬盤直到2014年晚期才發(fā)布針對(duì)企業(yè)級(jí)市場的版本，它無法工作在WindowsServer 8（2012）之前的操作系統(tǒng)，并且與上文中我們介紹的生態(tài)系統(tǒng)密切相關(guān)。
物理、VMware虛擬機(jī)環(huán)境的“對(duì)齊/非對(duì)齊”寫入
這一段的幾張截圖來自IBM的一份文檔，其中“Misaligned”和“Aligned”分別表示在使用512e硬盤時(shí)非對(duì)齊和對(duì)齊的4KBI/O塊操作。由于4KB塊（比如對(duì)應(yīng)文件系統(tǒng)的頁面）操作需要先以8個(gè)512bytes邏輯扇區(qū)寫入到硬盤，再合并記錄到4KB物理扇區(qū)，在非對(duì)齊的情況下，一個(gè)4KB邏輯寫I/O對(duì)應(yīng)到2個(gè)物理磁盤扇區(qū)，如果是新寫入就會(huì)產(chǎn)生2次I/O；若是改寫之前物理扇區(qū)中的數(shù)據(jù)，則需要讀-更改-寫的操作，這種非原子寫入（non-atomic）最多可能產(chǎn)生4次I/O。
而對(duì)齊的情況則簡單多了，盡管中間要經(jīng)過硬盤模擬512bytes扇區(qū)的過程，但每個(gè)4KB的I/O操作都是對(duì)應(yīng)到一個(gè)物理扇區(qū)。屬于比較理想的情況。
我們參考下這個(gè)表格里不同操作系統(tǒng)對(duì)高級(jí)格式化的感知情況。其中，Windows從Server2008開始能夠感知512e硬盤并自動(dòng)對(duì)齊分區(qū)；Server2012進(jìn)一步加入了對(duì)原生4Kn設(shè)備的支持。RHEL6可以感知512e和4Kn硬盤并能自動(dòng)對(duì)齊；SLES11能感知512e和4Kn硬盤卻無法自動(dòng)對(duì)齊？VMwareESXi 4.x和5.x都無法感知512e和4Kn硬盤，但支持自動(dòng)分區(qū)對(duì)齊。這里有必要進(jìn)一步解釋下。
首先對(duì)于Windows Server2003、RHEL5和SLES10來說，512e硬盤首先是可以用的，只是操作系統(tǒng)“意識(shí)不到”而當(dāng)成512n來用了。微軟如今已經(jīng)停止了對(duì)Server2003的支持（戴爾等廠商為用戶提供遷移方案和服務(wù)），如果我們?cè)谶@些較早的操作系統(tǒng)上使用第三方分區(qū)工具，或者手動(dòng)指定開始扇區(qū)建立對(duì)齊的分區(qū)，應(yīng)該可以規(guī)避一部分性能影響。
對(duì)于4Kn來說，這三款操作系統(tǒng)應(yīng)該就沒有辦法兼容了，同樣的還有VMwareESXi 4.x和5.x。盡管，VMwareHypervisor支持自動(dòng)分區(qū)對(duì)齊（VMFS-3和VMFS-5分別以第128和2048為起始扇區(qū)），但目前的ESXi6.0和VSAN版本還是無法感知512e和4Kn，其中512e硬盤由于潛在性能問題而不被VMware官方支持。
上圖截自VMware網(wǎng)站，供大家參考
這張圖演示了在虛擬化環(huán)境下對(duì)齊和非對(duì)齊分區(qū)的情況。當(dāng)“Aligned”對(duì)齊時(shí)，在Hypervisor層VMFS-5的文件塊大小統(tǒng)一為1MB，子塊（Sub-Blocks）大小8KB正好對(duì)應(yīng)2個(gè)物理扇區(qū)上的16個(gè)邏輯扇區(qū)。此時(shí)如果虛擬機(jī)的OSblock正好與VMFS子塊對(duì)齊的話，等于就是與物理磁盤扇區(qū)對(duì)齊了，這樣還算好一些的情況。
而對(duì)于“Misaligned”未對(duì)齊配置，如果要寫入到虛擬機(jī)中的OSblock 1，有2個(gè)VMFS子塊被寫入，并且每個(gè)子塊需要2次讀-修改-寫周期（指改寫而不是寫入空白塊，因?yàn)槊堪雮€(gè)VMFSblock在“錯(cuò)位”情況下也會(huì)對(duì)應(yīng)到2個(gè)物理扇區(qū)）。這樣就有可能在底層產(chǎn)生8次I/O？
我們?cè)?/span>VMware網(wǎng)站查詢了更多關(guān)于4KB扇區(qū)兼容的情況，這方面應(yīng)該還在遙遠(yuǎn)一些的Roadmap中。畢竟對(duì)于Hypervisor而言廣泛的向后兼容性相當(dāng)重要，512e我覺得將來會(huì)支持，而如果上層虛擬機(jī)就是要在4Kn硬盤上進(jìn)行512byte的磁盤I/O，軟件廠商沒義務(wù)去做這個(gè)轉(zhuǎn)換啊。
既然VMware如此，估計(jì)KVM和Xen的情況也不會(huì)好多少，對(duì)此我了解有限就不班門弄斧了。而Hyper-V可能是個(gè)特例吧，因?yàn)槲④浱摂M化平臺(tái)上跑Windows虛擬機(jī)比較多，那么用VHD2.0規(guī)范的4K原生磁盤格式運(yùn)行Server2012虛擬機(jī)應(yīng)該不會(huì)出問題。
“對(duì)齊”并不代表性能就完全達(dá)到512n的水平，如果是小于4KB的隨機(jī)寫入512e硬盤還是會(huì)產(chǎn)生寫放大或者懲罰。上面的軟件兼容情況也適用于RAID卡和磁盤陣列的LUN，因?yàn)椴僮飨到y(tǒng)和虛擬機(jī)HyperVisor對(duì)它們是與本地磁盤同樣的方式來看待。下面我們?cè)賮碚勔幌麓疟P控制器對(duì)4KB扇區(qū)的兼容支持情況。
PERC卡和MD控制器的4KB扇區(qū)支持
如上圖，左邊是比較早的戴爾服務(wù)器SASRAID卡、HBA、主板集成軟RAID和MD家族陣列控制器。它們能夠支持512e仿真扇區(qū)的硬盤，對(duì)于較早的操作系統(tǒng)可能需要補(bǔ)丁、對(duì)齊工具（比如讓NTFS文件系統(tǒng)的簇與物理扇區(qū)對(duì)齊）和驅(qū)動(dòng)更新。
對(duì)于這些傳統(tǒng)磁盤控制器，對(duì)上層主機(jī)呈現(xiàn)的LUN（邏輯盤）都是512byte扇區(qū)。
到了新一代的PERC9、MD38xx陣列控制器，以及未來的服務(wù)器軟件RAID，已經(jīng)能夠支持原生4K扇區(qū)硬盤，并提供給主機(jī)4K格式的LUN。有同行朋友說這樣做在一些場景下有性能的改善，也聽到有專家說微乎其微。而我們想提醒大家的是：在選擇這種“前衛(wèi)”的配置之前，部分存儲(chǔ)產(chǎn)品已經(jīng)做好了準(zhǔn)備，但上層軟件兼容性需要用戶自己注意，參考包括本文在內(nèi)的資料，征詢工程師/技術(shù)顧問的建議，必要情況下進(jìn)行測(cè)試。
如上圖，這臺(tái)戴爾服務(wù)器配置了PERC 9系列RAID卡中的H730PMini，它識(shí)別到當(dāng)前選定SAS硬盤的物理和邏輯扇區(qū)大小都是512Byte。
組建RAID之后的虛擬邏輯盤（LUN），自然也是512Byte扇區(qū)格式。當(dāng)您閱讀本文到這里，在此機(jī)器上如果換成512e或者4Kn的硬盤，會(huì)產(chǎn)生什么樣的結(jié)果、有哪些注意事項(xiàng)就比較清楚了吧？
SSD的“扇區(qū)”是多大？
這里也要提一句SSD，據(jù)我們了解目前大多數(shù)的SAS/SATASSD，在RAID卡和磁盤控制器管理程序中顯示的物理和邏輯扇區(qū)大小都是512Byte，同樣是兼容性考慮。其實(shí)閃存的最小寫入單元——頁面大小目前一般為4KB或者8KB，那么“扇區(qū)”也都是模擬出來的。測(cè)試反映這種模擬對(duì)性能的影響不大，因?yàn)?/span>FTL的存在，數(shù)據(jù)在SSD上的邏輯地址與物理閃存位置的對(duì)應(yīng)關(guān)系都是可變的，來自主機(jī)小于4KB的寫入也可能會(huì)合并到一個(gè)閃存頁面上。
PCIe SSD（閃存卡）的情況不太一樣，有些廠商在出貨時(shí)“格式化”為4KB扇區(qū)，如果遇到軟件應(yīng)用不兼容的情況（比如Oracle數(shù)據(jù)庫等），可以使用專門的工具轉(zhuǎn)換格式為512byte扇區(qū)大小。
當(dāng)存儲(chǔ)虛擬化網(wǎng)關(guān)遇上“4KB LUN”
從前端到后端都呈現(xiàn)4KB也許會(huì)在未來某個(gè)時(shí)候流行。而對(duì)于存儲(chǔ)控制器而言，使用原生4KB扇區(qū)硬盤，卻向上給主機(jī)呈現(xiàn)512byte的LUN單從技術(shù)實(shí)現(xiàn)上看卻也可行，只要您不在乎性能打折扣——小于4KB的IO都會(huì)被放大至一個(gè)硬盤扇區(qū)，一次下發(fā)8個(gè)512byte寫請(qǐng)求也可能會(huì)落到2個(gè)4KB扇區(qū)上（如果文件系統(tǒng)/應(yīng)用層未對(duì)齊的話）。
這就是在控制器層面的“欺騙”，之前講的512e是在硬盤層面上“欺騙”。
欺騙一詞，用在這里并不是貶義。RAID技術(shù)本身就是將一組硬盤“虛擬化”為一塊盤呈現(xiàn)給主機(jī)。由此我們還聯(lián)想到被戲稱為“上騙主機(jī)，下騙陣列”的存儲(chǔ)虛擬化設(shè)備，它們與RAID控制器最大的不同就是其后端管理的存儲(chǔ)單元由磁盤/SSD變成了陣列的LUN。
存儲(chǔ)虛擬化對(duì)于后端陣列表現(xiàn)為“主機(jī)”，而在前端主機(jī)看來它又是一臺(tái)“陣列”，基本原理可以簡單解釋為用Initiator導(dǎo)入LUN，再將其用Target導(dǎo)出給主機(jī)，中間可選加入數(shù)據(jù)服務(wù)。目前我們還沒留意到有存儲(chǔ)虛擬化產(chǎn)品宣稱兼容4KB扇區(qū)格式的LUN？這一點(diǎn)在技術(shù)上實(shí)現(xiàn)估計(jì)并不是太難，關(guān)鍵取決于兼容性測(cè)試的工作量，以及實(shí)際的需求。
舉例來說，一些存儲(chǔ)虛擬化產(chǎn)品根據(jù)設(shè)置會(huì)在后端設(shè)備的LUN上再做一次條帶化，以前都是按照512byte扇區(qū)來考慮，數(shù)據(jù)切塊大小可以直接按一定數(shù)量扇區(qū)來計(jì)算就行。而如果扇區(qū)大小變成4KB，要是繼續(xù)保持原有扇區(qū)數(shù)的話就意味著“條帶”增大了8倍。對(duì)于導(dǎo)出給前端主機(jī)的LUN容量，也會(huì)存在類似的問題。
總結(jié)
硬盤廠商對(duì)4KB扇區(qū)支持的動(dòng)力毋庸置疑，但在邏輯上是否繼續(xù)模擬512byte則取決于生態(tài)系統(tǒng)的進(jìn)展。
對(duì)于企業(yè)存儲(chǔ)而言，由于一些傳統(tǒng)應(yīng)用（如：Oracle數(shù)據(jù)庫）的I/O操作最小單位仍小于4KB，使用原生512byte扇區(qū)硬盤可以保證最好的性能；模擬512byte能夠兼容，但容易產(chǎn)生性能影響；至于原生4KB硬盤，則要求文件系統(tǒng)、卷管理器具備相應(yīng)的支持，否則會(huì)報(bào)錯(cuò)。
目前一些比較新的服務(wù)器、磁盤陣列上的存儲(chǔ)控制器，已經(jīng)能夠兼容原生4KB硬盤。
注：本文只代表作者個(gè)人觀點(diǎn)，如有錯(cuò)誤和不足之處歡迎批評(píng)指正。
感謝您的閱讀和支持！《企業(yè)存儲(chǔ)技術(shù)》微信公眾號(hào)：huangliang_storage
聯(lián)系客服
