Apache Hadoop Ozone是一個(gè)分布式鍵值存儲(chǔ)，可以同時(shí)管理大小文件。Ozone旨在解決HDFS相對(duì)于小文件的規(guī)模限制。HDFS旨在存儲(chǔ)大文件，對(duì)于Namenode，HDFS上建議的文件數(shù)量為3億個(gè)，并且擴(kuò)展規(guī)模不能超過(guò)此限制。

有助于實(shí)現(xiàn)可擴(kuò)展性的Ozone的主要功能是：

• Ozone中的名稱空間被寫(xiě)入本地RocksDB實(shí)例，通過(guò)這種設(shè)計(jì)，可以輕松地調(diào)整性能（將所有內(nèi)容保留在內(nèi)存中）和可伸縮性（將較少使用的元數(shù)據(jù)持久保存到磁盤）之間的平衡。
• 命名空間和塊空間管理分別分成兩個(gè)不同的守護(hù)程序OzoneManager（OM）和StorageContainerManager（SCM）。這些守護(hù)程序中的每一個(gè)都可以彼此獨(dú)立地縮放。
• 與HDFS不同，Ozone塊報(bào)告是通過(guò)容器報(bào)告來(lái)報(bào)告的，該報(bào)告匯總了容器中多個(gè)塊的報(bào)告。

突破10億個(gè)密鑰之旅，超越了HDFS可擴(kuò)展性限制

在Ozone中達(dá)到十億個(gè)對(duì)象一直是該項(xiàng)目的重要里程碑之一。使用在5個(gè)節(jié)點(diǎn)（每個(gè)節(jié)點(diǎn)有50個(gè)線程）上運(yùn)行的自定義作業(yè)填充數(shù)據(jù)。Ozone在11個(gè)節(jié)點(diǎn)的群集（1個(gè)OM，1個(gè)SCM和9個(gè)數(shù)據(jù)節(jié)點(diǎn)）上運(yùn)行，花了56個(gè)小時(shí)才達(dá)到10億個(gè)對(duì)象，每個(gè)對(duì)象的大小均為10KB。選擇10KB的原因是用小文件測(cè)量Ozone性能。

Ozone能夠以?5000個(gè)對(duì)象/秒的持續(xù)速率寫(xiě)入對(duì)象，這進(jìn)一步突出了Ozone的小文件處理能力，在整個(gè)測(cè)試過(guò)程中，它能夠提供相同的吞吐量。

一些重要的細(xì)節(jié)：

來(lái)自O(shè)zoneManger的持續(xù)交易

OzoneManger總共處理了20億筆交易，每個(gè)對(duì)象有兩筆交易（一個(gè)用于打開(kāi)文件，另一個(gè)用于提交文件）。OzoneManger（OM）以大約12毫秒的延遲處理了10億個(gè)對(duì)象中的這些操作。恒定的等待時(shí)間還凸顯了OzoneManager上沒(méi)有長(zhǎng)時(shí)間的GC暫停。

小元數(shù)據(jù)開(kāi)銷
每個(gè)10KB大小的十億個(gè)密鑰存儲(chǔ)在2121個(gè)5GB容器中，這大大減少了SCM的塊元數(shù)據(jù)，與在OFS中報(bào)告的2121個(gè)容器相比，HDFS中報(bào)告了10億個(gè)塊。另一方面，OM上的十億個(gè)密鑰在SSD上總共占用了127 GB的空間。

測(cè)試環(huán)境

該測(cè)試在Apache Hadoop Ozone 0.5.0（Beta）版本上運(yùn)行。

硬件

該測(cè)試是在AWS EC2實(shí)例類型為m5a.4xlarge的情況下執(zhí)行的，其中具有用于OzoneManager和Storage Container Manager數(shù)據(jù)庫(kù)的SSD。

結(jié)論

HDFS圍繞小文件的已知限制和名稱空間規(guī)模限制導(dǎo)致存儲(chǔ)節(jié)點(diǎn)利用率不足，GC問(wèn)題和Namenode不穩(wěn)定，以及大型數(shù)據(jù)湖部署的名稱空間碎片。Ozone通過(guò)處理數(shù)十億個(gè)各種大小的文件來(lái)克服這些限制，因此可以在單個(gè)名稱空間中部署大型數(shù)據(jù)湖。 具有更高規(guī)模的Ozone體系結(jié)構(gòu)以及對(duì)對(duì)象存儲(chǔ)用例的支持，可以滿足私有云環(huán)境中對(duì)大數(shù)據(jù)存儲(chǔ)的需求，在私有云環(huán)境中，計(jì)算和存儲(chǔ)的分類正在迅速發(fā)展。

關(guān)于Cloudera

在 Cloudera，我們相信數(shù)據(jù)可以使今天的不可能，在明天成為可能。我們使人們能夠?qū)?fù)雜的數(shù)據(jù)轉(zhuǎn)換為清晰而可行的洞察力。Cloudera 為任何地方的任何數(shù)據(jù)從邊緣到人工智能提供企業(yè)數(shù)據(jù)云平臺(tái)服務(wù)。在開(kāi)源社區(qū)不懈創(chuàng)新的支持下， Cloudera推動(dòng)了全球最大型企業(yè)的數(shù)字化轉(zhuǎn)型歷程。了解更多，請(qǐng)聯(lián)系。

慧都大數(shù)據(jù)專業(yè)團(tuán)隊(duì)為企業(yè)提供Cloudera大數(shù)據(jù)平臺(tái)搭建，免費(fèi)業(yè)務(wù)咨詢，定制開(kāi)發(fā)等完整服務(wù)，快速、輕松、低成本將任何Hadoop集群從試用階段轉(zhuǎn)移到生產(chǎn)階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業(yè)的大數(shù)據(jù)團(tuán)隊(duì)，為您提供免費(fèi)大數(shù)據(jù)相關(guān)業(yè)務(wù)咨詢！