當(dāng)前數(shù)據(jù)的特點(diǎn)除了數(shù)量龐大之外，數(shù)據(jù)類型也變得多樣化，其中包括了結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)量龐大、種類繁多的海量數(shù)據(jù)，給傳統(tǒng)分析工具 帶來了巨大的挑戰(zhàn)。當(dāng)前對數(shù)據(jù)的分析不再是簡單的生成統(tǒng)計報表，而是利用復(fù)雜的分析模型進(jìn)行深人的分析，傳統(tǒng)分析技術(shù)例如關(guān)系數(shù)據(jù)庫技 術(shù)已經(jīng)不能滿足其要求。在擴(kuò)展性上，通過增加或更換內(nèi)存、CPU、硬盤等設(shè)備原件以打一展單個節(jié)點(diǎn)的能力的縱向打一展(scale up)系統(tǒng)遇到了瓶頸;只有通過增加計算節(jié)點(diǎn)，連接成大規(guī)模集群，進(jìn)行分布式并行計算和管理的橫向打一展(scale out )系統(tǒng)才能滿足大數(shù)據(jù)的分析需求[u。因此傳統(tǒng)工具在擴(kuò)展性上遇到了障礙，必須尋求可靠的數(shù)據(jù)存儲和分析技術(shù)來分析和利用這些龐大的資源。利用云計算平臺搭建Hadoop計算框架成為當(dāng)前處理大數(shù)據(jù)的主要手段。然而由于云計算和Hadoop應(yīng)用的特點(diǎn)和自身安全機(jī)制薄弱，不可避免地帶來了安全風(fēng)險。

1、大數(shù)據(jù)應(yīng)用模式

云計算(Cloud Computing)是一種基于Internet的計算，是以并行計算(Parallel Computing )、分布式計算(Distributed Computing)和網(wǎng)格計算(Grid Compu-tin助為基礎(chǔ)，融合了網(wǎng)絡(luò)存儲、虛擬化、負(fù)載均衡等技術(shù)的新興產(chǎn)物。它將原本需要由個人計算機(jī)和私有數(shù)據(jù)中心執(zhí)行的任務(wù)轉(zhuǎn)移給具備專業(yè)存儲和計算技術(shù)的大型計算中心來完成，實現(xiàn)了計算機(jī)軟件、硬件等計算資源的充分共享[z}。企業(yè)或個人不再需要花費(fèi)大量的費(fèi)用在基礎(chǔ)設(shè)施的購買上，更不需要花費(fèi)精力對 軟硬件進(jìn)行安裝、配置和維護(hù)，這些都將由云計算服務(wù)商CSP( Cloud Service Provider)提供相應(yīng)的服務(wù)。企業(yè)或個人只需按照計時或計量的方式支付租賃的計算資源。云計算服務(wù)商擁有大數(shù)據(jù)存儲能力和計算資源，被視為外包信息 服務(wù)的最佳選擇[31因此大數(shù)據(jù)的應(yīng)用往往與云計算相結(jié)合。

Hadoop是當(dāng)前最廣為人知的大數(shù)據(jù)技術(shù)實施方案，它是Google云 計算中的Map/Reduce}4}和GFS( Google File System)的開源實現(xiàn)。Hadoop提供了一種計算框架，其最為核心的技術(shù)是HDFS ( HadoopDistributed File System)以及MapReduee } HDFS提供了高吞吐量的分布式文件系統(tǒng)，而MapReduee是大型數(shù)據(jù)的分布式處理模型。Hadoop為大數(shù)據(jù)提供了一個可靠的共享存儲和分析系統(tǒng) [5-6 }v

盡管有一些組織自建集群來運(yùn)行Hadoop，但是仍有許多組織選擇在租賃硬件所搭建的云端運(yùn)行Hadoop或提供Hadoop服務(wù)。例如提供在 公有或私有云端運(yùn)行Hadoop的Cloudera，還有由Amazon提供的稱為Elastic MapReduee的云服務(wù)等f}l。因此將云計算與Hadoop結(jié)合處理大數(shù)據(jù)已成為一種趨勢。

2、大數(shù)據(jù)安全風(fēng)險分析

隨著大數(shù)據(jù)應(yīng)用范圍越來越廣，對數(shù)據(jù)安全的需求也越來越迫切。

由于云計算的特點(diǎn)是將數(shù)據(jù)外包給云服務(wù)商提供服務(wù)，這種服務(wù)模式將數(shù)據(jù)的所有權(quán)轉(zhuǎn)移給了CSP，用戶失去了對物理資源的直接控制[A1。而云中 存儲的大數(shù)據(jù)通常是以明文的方式存在的，CSP對數(shù)據(jù)具有底層控制權(quán)，惡意的CSP有可能在用戶不知情的情況下竊取用戶數(shù)據(jù)，而云計算平臺亦可能受到攻擊 致使安全機(jī)制失效或被非法控制從而導(dǎo)致非授權(quán)人讀取數(shù)據(jù)，給大數(shù)據(jù)安全帶來了威脅。

Hadoop在設(shè)計之初并未考慮過安全問題，在Ha-doop 1. 0. 0和Cloudera CDH3版本之后，Hadoop加人了Kerberos的身份認(rèn)證機(jī)制和基于ACL的訪問控制機(jī)制[91。即使在安全方面增加了身份認(rèn)證和訪問控制策 略，Hadoop的安全機(jī)制仍然非常薄弱，因為Ker-beros的認(rèn)證機(jī)制只應(yīng)用于客戶機(jī)(Clients )、密鑰分發(fā)中心(I}ey Distribution Center, I}DC )、服務(wù)器(Serv- er)之間，只是針對機(jī)器級別的安全認(rèn)證，并未對Ha-doop應(yīng)用平臺本身進(jìn)行認(rèn)證[}o}。而基于ACL的訪問控制策略需要通過在啟用ACL之后，對 hadoop-policy. xml中的屬性進(jìn)行配置，其中包括9條屬性，它們限制了用戶與組成員對Hadoop中資源的訪問以及Datanode和Namenode或Jobtracke:和Tasktrackers等節(jié)點(diǎn)間的通信， 但該機(jī)制依賴于管理員對其的配置[川，這種基于傳統(tǒng)的訪問控制列表容易在服務(wù)器端被篡改而不易察覺。而且基于ACL的訪問控制策略粒度過粗，不能在 MapReduce過程中以細(xì)粒度的方式保護(hù)用戶隱私字段。況且針對不同的用戶和不同應(yīng)用，訪問控制列表需要經(jīng)常作對應(yīng)的更改，這樣的操作過于繁瑣且不易 維護(hù)。因此Hadoop自身的安全機(jī)制是不完善的。

2.1 不同應(yīng)用模式下CSP及Uers帶來的安全風(fēng)險

云計算中Hadoop有多種應(yīng)用模式。在私有云中搭建Hadoop，即企業(yè)自己應(yīng)用Hadoop，使用該平臺的是企業(yè)內(nèi)部各個部門的員工，外部 人員無法訪問和使用這些資源。這時的CSP指的是Hadoop的創(chuàng)建和管理者，IaaS級和PaaS級CSP為相同的實體;在公有云平臺應(yīng)用Hadoop , C SP有2級，IaaS級CSP，提供基礎(chǔ)設(shè)施;PaaS級C SP，負(fù)責(zé)Hadoop的搭建和管理。這時兩級CSP往往是不同的實體。

由于存儲在Hadoop上的數(shù)據(jù)是明文的，所以Hadoop中的安全隱患是多方面的，筆者關(guān)注的是CSP和用戶之間的安全問題，因此威脅對象分別是CSP和User，如圖1所示。

CSP對用戶數(shù)據(jù)的威脅指的是:CSP權(quán)限過大可在用戶不知情的情況下獲取用戶數(shù)據(jù)。用戶對CSP構(gòu)成的威脅指的是:Faked用戶獲取合法用戶數(shù)據(jù)或者惡 意用戶對CSP發(fā)起不合法請求，獲取隱私數(shù)據(jù)。本文對位于Hadoop中不同狀態(tài)的數(shù)據(jù)可能受到的威脅點(diǎn)用三角表示，如圖2所示。其中1 ,5位置均指的是HDFS中，所以受到的威脅是相同的。

Malice IaaS級CSP可以通過物理磁盤在 位置1,3 ,4 ,5對數(shù)據(jù)進(jìn)行獲取。Hadoop中主要的文件結(jié)構(gòu)有如下幾種:SequenceFile , RC File , Avro、文本格式、外部格式。其中有些文件格式是二進(jìn)制形式的，但像文本格式和外部格式并不都是二進(jìn)制格式，因此是可讀的。由于是明文存儲，CSP便可 以通過讀取數(shù)據(jù)塊內(nèi)容提取有價值的部分進(jìn)行分析。IaaS級CSP對數(shù)據(jù)具有絕對的控制權(quán)，如果從物理磁盤竊取文件或數(shù)據(jù)塊，便獲得了其中的內(nèi)容。可以通 過建立第三方審計系統(tǒng)來保障其安全，這部分不在本文的討論范圍內(nèi)。

Malice PaaS級CSP可以在用戶不知情的情況下通過超級用戶身份即特權(quán)管理員身份對文件權(quán)限進(jìn)行更改，以合法身份對數(shù)據(jù)進(jìn)行讀取和分析。因此可以在位置1 ,2,5進(jìn)行數(shù)據(jù)竊取。不過在1 ,5的位置獲取數(shù)據(jù)是通過向Namenode請求數(shù)據(jù)塊，從Datan-ode獲取數(shù)據(jù)。

Fucked Use:假冒合法用戶身份對數(shù)據(jù)進(jìn)行讀取，一旦獲取了合法用戶身份，便與合法用戶擁有相同的權(quán)限，可以在1 ,5的位置通過向Namenode請求數(shù)據(jù)塊，從Datanode獲取數(shù)據(jù)，也可以在2的位置輸出需要的數(shù)據(jù)進(jìn)行分析。

Malice Use:在利用數(shù)據(jù)擁有者提供的數(shù)據(jù)進(jìn)行分析時，竊取部分敏感字段進(jìn)行分析和輸出。可以在2中提取數(shù)據(jù)，在計算完后通過5獲取分析結(jié)果。

2. 2 威脅模型

上面提到的是提供Hadoop服務(wù)的C SP和使用Hadoop的Use:之間的安全風(fēng)險，接下來對使用Ha-doop的用戶Use:角色進(jìn)行細(xì)化，分析他們之間對數(shù)據(jù)隱私的竊取產(chǎn)生的安全問 題。在云中搭建Hadoop提供服務(wù)的應(yīng)用場景下，數(shù)據(jù)使用者收集數(shù)據(jù)擁有者的數(shù)據(jù)，并將數(shù)據(jù)分塊存儲于HDFS中，數(shù)據(jù)計算者提供對數(shù)據(jù)分析的代碼，CSP提供數(shù)據(jù)存儲和分析平臺。因此涉及4類主體，數(shù)據(jù)擁有者、數(shù)據(jù)使用者、數(shù)據(jù)計算者和云服務(wù)提供商CSP。這里的不可信實體包括數(shù)據(jù)計算者和C SP。筆者通過實際的例子給出Hadoop中獲取隱私信息的可能途徑。

一個在線零售商BigShop ,擁有大量的客戶交易數(shù)據(jù)庫。現(xiàn)在假定所有記錄是以<客戶、訂單、日期>的形式存在數(shù)據(jù)庫中，每個客戶一份記錄。一個機(jī)器學(xué)習(xí)專家 Researcher，付給BigShop一些錢用來對特定的交易模式進(jìn)行數(shù)據(jù)挖掘。BigShop加載數(shù)據(jù)到Hadoop框架中，Bob寫 MapReduce代碼分析它。這里按照對角色的劃分，BigShop屬于數(shù)據(jù)使用者和CSP，客戶為數(shù)據(jù)擁有者，Researche:為數(shù)據(jù)計算者。

假設(shè)Researche:想要得到特殊日子D的訂單數(shù)口。他寫了一個Mappe:用來讀取每份記錄，如果記錄日期D，就輸出鍵/值對} K是字符串序列，reduce僅僅匯總與之有關(guān)的每個關(guān)鍵字K，并輸出結(jié)果。

這種情況下，對于BigShop的主要風(fēng)險就是Re-searche:的代碼是不可信的，可能是有無意的漏洞或者是主動惡意漏洞。由于 Researche:的Mappe:程序直接訪問BigShop專有的交易記錄，它可以存儲部分?jǐn)?shù)據(jù)到某個文件中，過后由Researche:取走;或者 程序把數(shù)據(jù)發(fā)送到網(wǎng)絡(luò)上。

這樣的泄露可能使得BigShop在商業(yè)上處于不利的地位并且由于沒有經(jīng)過客戶的同意把交易數(shù)據(jù)公開而遭受信譽(yù)問題。輸出的計算結(jié)果可能也會泄 露信息。例如，Researche:的Mappe:程序可能會在輸人的數(shù)據(jù)庫中標(biāo)記存在的(或者不存在)的一個特定客戶，通過操控特定日期的訂單數(shù)口:如 果該客戶的記錄在這個數(shù)據(jù)集中，Mappe:程序輸出一個一百萬的訂單數(shù)口;否則，輸出0。很明顯，這個結(jié)果泄露了客戶的隱私。

上述提到的安全風(fēng)險來自于數(shù)據(jù)計算者，這里的CSP是BigShop自身，數(shù)據(jù)由BigShop進(jìn)行維護(hù)，并在其上進(jìn)行計算，因此不存在安全問 題。但是如果Big-Shop自身沒有相應(yīng)存儲和計算設(shè)施或并未搭建和使用Hadoop框架，則需要應(yīng)用外包服務(wù)模式，利用其它云服務(wù)商提供的 Hadoop服務(wù)，此時安全風(fēng)險除了來自數(shù)據(jù)計算者，還有C SP對數(shù)據(jù)的竊取，以及云平臺由于出現(xiàn)漏洞受到黑客攻擊，例如黑客通過Root-kith "}方式強(qiáng)迫口標(biāo)操作系統(tǒng)安裝它的Hypervisor，并把口標(biāo)操作系統(tǒng)移人一個普通的虛擬機(jī)中運(yùn)行，由于在虛擬化環(huán)境中Hypervisor擁有最高特權(quán)，因此Ro-otkit可以獲得整個物理機(jī)的控制權(quán)，對數(shù)據(jù)安全構(gòu)成威脅。

因此上述威脅可以歸納為:

1)惡意的PaaS級CSP通過給自己設(shè)定權(quán)限對數(shù)據(jù)進(jìn)行竊取，或通過備份中間數(shù)據(jù)到其他位置進(jìn)行訪問，或不徹底刪除放人云中的數(shù)據(jù)，留作他用。

2)在平臺安全機(jī)制失效的情況下，黑客通過某些途徑獲得root權(quán)限隨意讀取數(shù)據(jù)，或偽造數(shù)據(jù)使用者身份讀取數(shù)據(jù)或進(jìn)行篡改。

3)數(shù)據(jù)計算者通過map過程輸出某些敏感信息，并使用MapReduee進(jìn)行統(tǒng)計。

3、安全策略

在大數(shù)據(jù)應(yīng)用模式下，對文件及文件系統(tǒng)的保護(hù)稱為數(shù)據(jù)服務(wù)安全保護(hù)，對存儲的鍵值內(nèi)容及計算輸出結(jié)果的保護(hù)稱為隱私保護(hù)。從行為角度考慮服務(wù)安全性的同時，同樣需要考慮數(shù)據(jù)隱私安全問題。

對上面提到的安全問題，本文提出以下安全策略:

首先，需要對CSP和Use:的身份及平臺進(jìn)行完整性驗證。Kerberos的雙向認(rèn)證可以保證用戶和CSP雙方身份安全，這是在請求發(fā)起時所作的認(rèn)證。

其次，在保障了身份的可靠性后，還需要驗證平臺的安全性，平臺安全性可以通過可信計算技術(shù)，利用TPM搭建可信云計算環(huán)境，對平臺環(huán)境進(jìn)行度量，建立可信鏈，將可信鏈從物理層擴(kuò)展到虛擬化層，保障云平臺的安全性。

最后，需要在數(shù)據(jù)使用過程中對行為請求進(jìn)行監(jiān)控，建立監(jiān)控機(jī)制可以保障CSP對數(shù)據(jù)的非法請求，同時可以監(jiān)控數(shù)據(jù)計算者對數(shù)據(jù)的非法運(yùn)算和輸出。可以通過使用LSM ( Linux Security Module)設(shè)立相應(yīng)的訪問控制策略，利用hook函數(shù)對內(nèi)核調(diào)用進(jìn)行控制[n}，允許合法行為對數(shù)據(jù)的訪問，拒絕非法的不可信行為，保障數(shù)據(jù)流向合法請求主體。

原文轉(zhuǎn)至：//sec.chinabyte.com/69/13067569.shtml