Hive

之前我們說(shuō)了MapReduce計(jì)算模型，但是只有懂Java的才能擼代碼干這個(gè)事，不懂Java的想用Hadoop的計(jì)算模型是不是就沒(méi)法搞了呢?比如HDFS里的海量數(shù)據(jù)，數(shù)據(jù)分析師想弄點(diǎn)數(shù)據(jù)出來(lái)，咋辦?所以就要用到Hive，它提供了SQL式的訪問(wèn)方式供人使用。

Hive是由Facebook 開(kāi)源，最初用于解決海量結(jié)構(gòu)化的日志數(shù)據(jù)統(tǒng)計(jì)問(wèn)題的ETL(Extraction-Transformation-Loading) 工具，Hive是構(gòu)建在Hadoop上的數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)，設(shè)計(jì)目標(biāo)是可以用傳統(tǒng)SQL操作Hadoop上的數(shù)據(jù)，讓熟悉SQL編程的人員也能擁抱Hadoop(注意。是數(shù)據(jù)倉(cāng)庫(kù)。不是數(shù)據(jù)庫(kù)啊。)

使用HQL作為查詢(xún)接口
使用HDFS作為底層存儲(chǔ)
使用MapReduce作為執(zhí)行層

所以說(shuō)Hive就是基于Hadoop的一個(gè)數(shù)據(jù)倉(cāng)庫(kù)工具，是為簡(jiǎn)化MapReduce編程而生的，非常適合數(shù)據(jù)倉(cāng)庫(kù)的統(tǒng)計(jì)分析，通過(guò)解析SQL轉(zhuǎn)化成MapReduce，組成一個(gè)DAG(有向無(wú)環(huán)圖)來(lái)執(zhí)行。

Flume

Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù);同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方(可定制)的能力。

當(dāng)前Flume有兩個(gè)版本Flume 0.9X版本的統(tǒng)稱(chēng)Flume-og，F(xiàn)lume1.X版本的統(tǒng)稱(chēng)Flume-ng，由于Flume-ng經(jīng)過(guò)重大重構(gòu)，與Flume-og有很大不同，使用時(shí)請(qǐng)注意區(qū)分。

Flume就是一個(gè)數(shù)據(jù)管道，支持很多源(source)，sink(目標(biāo))，和透視寶的suro很像，比如拉取nginx日志可以拿這個(gè)工具簡(jiǎn)單一配就可用。當(dāng)然每臺(tái)nginx服務(wù)器上都要配置并啟動(dòng)一個(gè)flume.

下面給大家看看配置文件(把kafka的數(shù)據(jù)寫(xiě)入hdfs的配置),配置很簡(jiǎn)單.完全免去了自己寫(xiě)一個(gè)kafka的consumer再調(diào)用hdfs的API寫(xiě)數(shù)據(jù)的工作量.

YARN

YARN是Hadoop 2.0中的資源管理系統(tǒng)，它的基本設(shè)計(jì)思想是將MRv1中的JobTracker拆分成了兩個(gè)獨(dú)立的服務(wù)：一個(gè)全局的資源調(diào)度器ResourceManager和每個(gè)應(yīng)用程序特有的應(yīng)用程序管理器ApplicationMaster，該調(diào)度器是一個(gè) "純調(diào)度器"，不再參與任何與具體應(yīng)用程序邏輯相關(guān)的工作，而僅根據(jù)各個(gè)應(yīng)用程序的資源需求進(jìn)行分配，資源分配的單位用一個(gè)資源抽象概念 "Container" 來(lái)表示，Container 封裝了內(nèi)存和 CPU。此外，調(diào)度器是一個(gè)可插拔的組件，用戶(hù)可根據(jù)自己的需求設(shè)計(jì)新的調(diào)度器，YARN 自身提供了 Fair Scheduler 和 Capacity Scheduler。

應(yīng)用程序管理器負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序，包括應(yīng)用程序的提交、與調(diào)度器協(xié)商資源以啟動(dòng) ApplicationMaster、監(jiān)控 ApplicationMaster 運(yùn)行狀態(tài)并在失敗時(shí)重新啟動(dòng)等。

Ambari

Ambari是一個(gè)集群的安裝和管理工具，我們之前用的是Apache的Hadoop，運(yùn)維同學(xué)用源碼包安裝，一個(gè)個(gè)配置文件去改，再分發(fā)到各個(gè)節(jié)點(diǎn)，中間哪一步搞錯(cuò)了，整個(gè)集群就啟動(dòng)不起來(lái)。所以有幾個(gè)廠商提供Hadoop的這種安裝和管理平臺(tái)，主要是CDH和HDP，國(guó)內(nèi)的很多人都用CDH的，它是Cloudera公司的，如果用它的管理界面安裝，集群節(jié)點(diǎn)超過(guò)一定數(shù)量就要收費(fèi)了。

Ambari是Apache的頂級(jí)開(kāi)源項(xiàng)目，可以免費(fèi)使用，現(xiàn)在用的人也很多。Ambari使用Ganglia收集度量指標(biāo)，用Nagios支持系統(tǒng)報(bào)警，當(dāng)需要引起管理員的關(guān)注時(shí)(比如，節(jié)點(diǎn)停機(jī)或磁盤(pán)剩余空間不足等問(wèn)題)，系統(tǒng)將向其發(fā)送郵件。

ZooKeeper

隨著計(jì)算節(jié)點(diǎn)的增多，集群成員需要彼此同步并了解去哪里訪問(wèn)服務(wù)和如何配置，ZooKeeper正是為此而生的。ZooKeeper 顧名思義就是動(dòng)物園管理員，它是用來(lái)管大象(Hadoop) 、蜜蜂(Hive) 和 小豬(Pig) 的管理員， Apache Hbase和 Apache Solr 以及LinkedIn sensei等項(xiàng)目中都采用到了 Zookeeper。ZooKeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，以Fast Paxos算法為基礎(chǔ)實(shí)現(xiàn)同步服務(wù)，配置維護(hù)和命名服務(wù)等分布式應(yīng)用。

其他組件

以上介紹的都是Hadoop用來(lái)計(jì)算和查詢(xún)的比較常用和主流的組件，上面那副生態(tài)圖中的其他幾個(gè)組件簡(jiǎn)單了解一下就好：

Pig是一種編程語(yǔ)言，它簡(jiǎn)化了Hadoop常見(jiàn)的工作任務(wù)，Pig為大型數(shù)據(jù)集處理提供了更高層次的抽象，與MapReduce相比，Pig提供了更豐富的數(shù)據(jù)結(jié)構(gòu)，一般都是多值和嵌套的數(shù)據(jù)結(jié)構(gòu)。

Mahout是Hadoop提供做機(jī)器學(xué)習(xí)用的，支持的算法也比較少，但是一些常用的 k-means 聚類(lèi)、分類(lèi)還是有的，他是用MapReduce做的，但是MapReduce不太擅長(zhǎng)這個(gè)東西，所以Mahout的作者也轉(zhuǎn)投spark ML陣營(yíng)了。

Sqoop是數(shù)據(jù)庫(kù)ETL工具，用于將關(guān)系型數(shù)據(jù)庫(kù)的數(shù)據(jù)導(dǎo)入到 Hadoop 及其相關(guān)的系統(tǒng)中，如 Hive和HBase。Sqoop 的核心設(shè)計(jì)思想是利用 MapReduce 加快數(shù)據(jù)傳輸速度，也就是說(shuō) Sqoop 的導(dǎo)入和導(dǎo)出功能是通過(guò) MapReduce 作業(yè)實(shí)現(xiàn)的，所以它是一種批處理方式進(jìn)行數(shù)據(jù)傳輸，難以實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的導(dǎo)入和導(dǎo)出。比如很多以前的業(yè)務(wù)數(shù)據(jù)都存在MySQL，隨著數(shù)據(jù)量越來(lái)越大，要把數(shù)據(jù)導(dǎo)到Hbase，就可以拿Sqoop直接操作。

本文所介紹的東西都是用于離線計(jì)算的，而之前發(fā)布的《面臨大數(shù)據(jù)挑戰(zhàn)透視寶如何使用Druid實(shí)現(xiàn)數(shù)據(jù)聚合》則是關(guān)于實(shí)時(shí)計(jì)算的框架Druid的。大數(shù)據(jù)常用的流計(jì)算框架主要有Storm，Spark Streaming，F(xiàn)link，F(xiàn)link雖然是2014年加入Hadoop的，但至今在生產(chǎn)環(huán)境上用的人還不多，似乎大家都持觀望態(tài)度。

說(shuō)一下流計(jì)算(Druid，Spark Streaming)和批處理(MapReduce，Hive)有啥區(qū)別，比如電商網(wǎng)站的個(gè)性化廣告投放，當(dāng)我們?cè)L問(wèn)了亞馬遜搜索筆記本電腦之后，他就會(huì)給你推薦很多筆記本電腦鏈接，你的請(qǐng)求和興趣愛(ài)好被亞馬遜服務(wù)器實(shí)時(shí)接收，流計(jì)算分析之后當(dāng)時(shí)就會(huì)推薦給你可能會(huì)購(gòu)買(mǎi)的東西。如果這個(gè)東西拿批處理去做，服務(wù)端收集完了，過(guò)半個(gè)小時(shí)才算出你可能要買(mǎi)電腦，這時(shí)候再給你推薦電腦明顯就不合適了，因?yàn)檫@時(shí)候你可能在搜索電炒鍋……

最后再說(shuō)一下大數(shù)據(jù)的工作流，比如有兩個(gè)MapReduce的任務(wù)是有依賴(lài)的，必須第一個(gè)完成了才能執(zhí)行第二個(gè)，這就需要一個(gè)調(diào)度工具來(lái)調(diào)度。MapReduce也提供調(diào)度的API，但是代碼要寫(xiě)很多，上面的代碼截圖只是一部分，這個(gè)依賴(lài)我寫(xiě)了大概150行。所以這時(shí)候出現(xiàn)了工作流，用工作流來(lái)管理我們的各個(gè)job，我目前知道的有oozie和azkaban，oozie的配置比較靈活，推薦大家使用。