一、已成為企業(yè)信息供應(yīng)鏈中的重要一環(huán)

我們對(duì)大數(shù)據(jù)的認(rèn)知在前幾年還僅僅停留在概念和理論中，但轉(zhuǎn)眼間，你會(huì)發(fā)現(xiàn)身邊的如雨后春筍般拔地而起，大數(shù)據(jù)儼然成為當(dāng)今熱得不能再熱的話題和焦點(diǎn)。因?yàn)镠adoop及其相關(guān)開源技術(shù)的橫空出世和迅猛發(fā)展，越來(lái)越多的企業(yè)發(fā)現(xiàn)那些塵封已久的歷史數(shù)據(jù)或每天正在以指數(shù)級(jí)產(chǎn)生的交易數(shù)據(jù)、日志數(shù)據(jù)和客戶行為數(shù)據(jù)其實(shí)蘊(yùn)藏著巨大的價(jià)值，猶如一座座尚未開發(fā)的金礦，誰(shuí)能搶占先機(jī)，就能挖掘并實(shí)現(xiàn)巨大的商業(yè)價(jià)值。互聯(lián)網(wǎng)企業(yè)深諳此道，利用大數(shù)據(jù)分析結(jié)果進(jìn)行產(chǎn)品推廣和定向營(yíng)銷，大大改善了消費(fèi)者的購(gòu)物體驗(yàn)和消費(fèi)習(xí)慣，在收獲口碑的同時(shí)也賺得盆滿缽滿！與此同時(shí)，傳統(tǒng)企業(yè)也在積極轉(zhuǎn)型，紛紛將Hadoop大數(shù)據(jù)平臺(tái)納入到現(xiàn)有的IT架構(gòu)和解決方案，那么如何將傳統(tǒng)數(shù)據(jù)和大數(shù)據(jù)進(jìn)行高效的集成、管理和分析呢？如何保證數(shù)據(jù)的準(zhǔn)確性，一致性和可靠性呢？帶著眾多疑問(wèn)，我們來(lái)看看IBM所提供的DataStage，一切必將豁然開朗。

二、大數(shù)據(jù)集成所面臨的挑戰(zhàn)

1.新型的數(shù)據(jù)存儲(chǔ)

• 大數(shù)據(jù)引入了新型的數(shù)據(jù)存儲(chǔ)，例如，Hadoop及NoSQL，這些新型的數(shù)據(jù)存儲(chǔ)都需要集成。
• 沒(méi)有好的傳統(tǒng)方法能夠有效集成這些新型數(shù)據(jù)存儲(chǔ)。

2.新的數(shù)據(jù)類型及格式

• 非結(jié)構(gòu)化數(shù)據(jù)；半結(jié)構(gòu)化數(shù)據(jù)；JSON, Avro ...
• 視頻、文檔、網(wǎng)絡(luò)日志 ...
• 如何有效處理復(fù)雜且多樣化的數(shù)據(jù)

3.更大的數(shù)據(jù)量

• 需要針對(duì)更大的數(shù)據(jù)量進(jìn)行數(shù)據(jù)移動(dòng)，轉(zhuǎn)換，清洗等等。
• 需要更好的可擴(kuò)展性

三、大數(shù)據(jù)信息整合是Hadoop項(xiàng)目成敗的關(guān)鍵

大部分的Hadoop方案包括以下階段：

• 數(shù)據(jù)收集
• 數(shù)據(jù)移動(dòng)
• 數(shù)據(jù)轉(zhuǎn)換
• 數(shù)據(jù)清洗
• 數(shù)據(jù)整合
• 數(shù)據(jù)探查
• 數(shù)據(jù)分析

由于面對(duì)的是基于海量的，彼此孤立的異構(gòu)數(shù)據(jù)源和數(shù)據(jù)類型，所以大部分企業(yè)的Hadoop項(xiàng)目將花費(fèi)80%的精力在數(shù)據(jù)整合上，而僅有20%的精力用于數(shù)據(jù)分析。可見(jiàn)，數(shù)據(jù)集成對(duì)Hadoop項(xiàng)目的成敗有多重要。

四、IBM大數(shù)據(jù)集成解決方案：InfoSphere DataStage

1. 集中、批量式處理：整合和連接、清洗轉(zhuǎn)換大數(shù)據(jù)

• Hadoop大數(shù)據(jù)作為源和目標(biāo)，同現(xiàn)有企業(yè)信息整合；
• 與現(xiàn)有整合任務(wù)具備同樣的開發(fā)界面和邏輯架構(gòu)；
• 將處理邏輯下壓至MapReduce，利用Hadoop平臺(tái)最小化網(wǎng)絡(luò)開銷；
• 通過(guò)InfoSphere Streams流處理進(jìn)行實(shí)時(shí)分析流程；
• 驗(yàn)證和清洗大數(shù)據(jù)源的數(shù)據(jù)質(zhì)量；
• 貫穿大數(shù)據(jù)和/或傳統(tǒng)數(shù)據(jù)流通過(guò)世系跟蹤和血緣分析；

2.面向大數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的豐富接口，支持企業(yè)所有的數(shù)據(jù)源和目標(biāo)

• 對(duì)DBMS(DB2, Netezza, Oracle, Teradata, SQL Server, GreenPlum,…)提供高性能的原生API；
• 提供特定的ERP連接器；
• 基于JDBC、ODBC連接器提供靈活支持(MySQL)；
• 支持簡(jiǎn)單和復(fù)雜的文件格式 (Flat, Cobol, XML, native Excel)；
• 支持?jǐn)U展數(shù)據(jù)源：Web Services, Cloud, Java
• 連接Hadoop文件系統(tǒng)(HDFS)，提供可擴(kuò)展的并行讀寫
• 直連InfoSphere Streams，支持實(shí)時(shí)分析處理
• 提供對(duì)NoSQL數(shù)據(jù)源（Hive,HBase,MongoDB,Cassandra）的支持

3.最廣泛的異構(gòu)平臺(tái)支持

4.IBM大數(shù)據(jù)集成方案帶給客戶的驚喜

五、DataStage連通Hadoop的最佳實(shí)踐

在DataStage中，可通過(guò)File Connector組件或Big Data File組件來(lái)連接Hadoop平臺(tái),從而將傳統(tǒng)RDBMS數(shù)據(jù)庫(kù)或本地文件中的數(shù)據(jù)加載到HDFS。比較而言，Big Data File組件支持IBM BigInsights，提供更佳的讀寫性能；而File Connector組件則通過(guò)WebHDFS接口或HttpFS接口訪問(wèn)HDFS,不依賴于Hadoop的品牌和版本，提供更廣泛的兼容性。

FileConnector是DataStage v11.3面向Hadoop的全新組件，提供以下功能：

• 可用于讀/寫Hadoop文件系統(tǒng)(HDFS)
• 支持并行處理和線性擴(kuò)展
• 不需要安裝其他Hadoop客戶端軟件包
• 支持Kerberos認(rèn)證
• 支持SSL安全訪問(wèn)協(xié)議
• 支持Knox gateway
• 支持通過(guò)WebHDFS，HttpFS方式訪問(wèn)Hadoop
• 支持訪問(wèn)本地的Hadoop節(jié)點(diǎn)
• 更全面的支持Hadoop(不依賴于其版本變更)

下面以Apache Hadoop v2.7為例，介紹通過(guò)配置File Connector將Oracle表數(shù)據(jù)寫入HDFS的方法：

1.安裝DataStage v11.3.1(參考以下鏈接)

//www-01.ibm.com/support/knowledgecenter/SSZJPZ_11.3.0/com.ibm.swg.im.iis.install.nav.doc/containers/cont_iis_information_server_installation.html?lang=en

2.配置Kerberos安全認(rèn)證

將Apache Hadoop服務(wù)器上的krb5.conf文件(KDC配置信息)復(fù)制到DataStage服務(wù)器上的/etc目錄。

3.檢查Apache Hadoop的HDFS配置文件，確認(rèn)已啟用WebHDFS支持

如何配置WebHDFS Rest API for Apache Hadoop v2.7：

//hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/WebHDFS.html

4.配置SSL訪問(wèn)Hadoop

• 登陸DataStage服務(wù)器，使用keytool命令創(chuàng)建truststore,用于存放來(lái)自于Hadoop服務(wù)器的SSL安全證書，該truststore名為test.jks, 在/opt目錄下

keytool -genkey -alias test -keystore test.jks -storepass test

• 將Hadoop服務(wù)器上的SSL證書(例如cert.pem)復(fù)制到DataStage服務(wù)器
• 在DataStage服務(wù)器上通過(guò)keytool命令導(dǎo)入證書cert.pem

keytool -import -trustcacerts -alias test -file cert.pem -keystore test.jks -storepass test -noprompt

• 用DataStage自帶的encrypt.sh命令加密上面所創(chuàng)建truststore的password，得到加密后的二進(jìn)制密碼(例如{iisenc} iWuRnROgFLbk0H1sjfIc7Q==)

cd /opt/IBM/InformationServer/ASBNode/bin/

[root@IBM-DataStage bin]# ./encrypt.sh

Enter the text to encrypt: test

Enter the text again to confirm: test

{iisenc} iWuRnROgFLbk0H1sjfIc7Q==

• 在/opt目錄下創(chuàng)建一個(gè)名為properties.txt的文本文件，添加內(nèi)容如下

password={iisenc}iWuRnROgFLbk0H1sjfIc7Q==

• 修改DataStage配置文件(dsenv)，添加以下環(huán)境變量

DS_TRUSTSTORE_LOCATION=/opt/test.jks

DS_TRUSTSTORE_PROPERTIES=/opt/properties.txt

• 重啟DataStage

5.在DataStage開發(fā)客戶端中找到File Connector組件

6.配置File Connector組件的屬性

• 通過(guò)WebHDFS接口訪問(wèn)Apache Hadoop
• 采用Kerberos安全認(rèn)證(指定Keytab文件)
• 采用https協(xié)議及相應(yīng)端口
• 將源表數(shù)據(jù)自動(dòng)拆分成多個(gè)文件并行寫入HDFS(為提高性能，利用8個(gè)節(jié)點(diǎn)同時(shí)寫數(shù)據(jù))

7.運(yùn)行DataStage作業(yè)，可看到數(shù)據(jù)已成功寫入Hadoop HDFS

雖然本次測(cè)試是基于虛擬機(jī)環(huán)境，但DataStage所展現(xiàn)出來(lái)的性能依然非常強(qiáng)勁，從Oracle讀取4.64億條記錄并寫入HDFS，僅需10分鐘左右，最高速率達(dá)到619495 行/秒。如果增加CPU以提高并行度，性能更可線性增長(zhǎng)！

在目標(biāo)端生成的HDFS文件列表(8個(gè)子文件)：

詳情請(qǐng)咨詢！

客服熱線：023-66090381