發(fā)展背景

隨著數(shù)據(jù)庫(kù)技術(shù)的廣泛應(yīng)用，企業(yè)信息系統(tǒng)產(chǎn)生了大量的數(shù)據(jù)，如何從這些海量數(shù)據(jù)中提取對(duì)企業(yè)決策分析有用的信息成為企業(yè)決策管理人員所面臨的重要難題。傳統(tǒng)的企業(yè)數(shù)據(jù)庫(kù)系統(tǒng)即聯(lián)機(jī)事務(wù)處理系統(tǒng)（On-Line Transaction Processing,簡(jiǎn)稱OLTP）作為數(shù)據(jù)管理手段，主要用于事務(wù)處理，但它對(duì)分析處理的支持一直不能令人滿意。因此，人們逐漸嘗試對(duì)OLTP數(shù)據(jù)庫(kù)中的數(shù)據(jù)進(jìn)行再加工，形成一個(gè)綜合的、面向分析的、更好的支持決策制定的決策支持系統(tǒng)（Decision Support System，簡(jiǎn)稱DSS）。

企業(yè)的信息系統(tǒng)的數(shù)據(jù)一般由DBMS管理，但決策數(shù)據(jù)庫(kù)和運(yùn)行操作數(shù)據(jù)庫(kù)在數(shù)據(jù)來源、數(shù)據(jù)內(nèi)容、數(shù)據(jù)模式、服務(wù)對(duì)象、訪問方式、事務(wù)管理乃至物理存儲(chǔ)等方面都有不同的特點(diǎn)和要求，因此直接在運(yùn)行操作的數(shù)據(jù)庫(kù)上建立DSS是不合適的。數(shù)據(jù)倉(cāng)庫(kù)（Data Warehouse）技術(shù)就是在這樣的背景下發(fā)展起來的。數(shù)據(jù)倉(cāng)庫(kù)的概念提出于20世紀(jì)80年代中期，20世紀(jì)90年代，數(shù)據(jù)倉(cāng)庫(kù)已從早期的探索階段走向?qū)嵱秒A段。數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)量巨大，為了提高性能，RDBMS一般也采取一些提高效率的措施：采用并行處理結(jié)構(gòu)、新的數(shù)據(jù)組織、查詢策略、索引技術(shù)等等。

聯(lián)機(jī)分析處理（On-Line AnalyticalProcessing，簡(jiǎn)稱OLAP）系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)最主要的應(yīng)用，專門設(shè)計(jì)用于支持復(fù)雜的分析操作，側(cè)重對(duì)決策人員和高層管理人員的決策支持，可以根據(jù)分析人員的要求快速、靈活地進(jìn)行大數(shù)據(jù)量的復(fù)雜查詢處理，并且以一種直觀而易懂的形式將查詢結(jié)果提供給決策人員，以便他們準(zhǔn)確掌握企業(yè)的經(jīng)營(yíng)狀況，了解對(duì)象的需求，制定正確的方案。

體系架構(gòu)

OLAP系統(tǒng)按照其存儲(chǔ)器的數(shù)據(jù)存儲(chǔ)格式可以分為關(guān)系OLAP（Relational OLAP，簡(jiǎn)稱ROLAP）、多維OLAP（Multidimensional OLAP，簡(jiǎn)稱MOLAP）和混合型OLAP（HybridOLAP，簡(jiǎn)稱HOLAP）三種類型。

ROLAP

ROLAP將分析用的多維數(shù)據(jù)存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中并根據(jù)應(yīng)用的需要有選擇的定義一批物理視圖存儲(chǔ)在關(guān)系數(shù)據(jù)庫(kù)中，不必將每一個(gè)SQL查詢都作為物理視圖保存，只定義那些應(yīng)用頻率比較高、計(jì)算工作量比較大的查詢作為物理視圖。對(duì)每個(gè)針對(duì)OLAP服務(wù)器的查詢，優(yōu)先利用已經(jīng)計(jì)算好的物理視圖來生成查詢結(jié)果以提高查詢效率。同時(shí)用作ROLAP存儲(chǔ)器的RDBMS也針對(duì)OLAP作相應(yīng)的優(yōu)化，比如并行存儲(chǔ)、并行查詢、并行數(shù)據(jù)管理、基于成本的查詢優(yōu)化、位圖索引、SQL的OLAP擴(kuò)展(cube,rollup)等等。IBM Cognos BI里的通過多維邏輯模型DMR訪問關(guān)系數(shù)據(jù)庫(kù)進(jìn)行多維分析就屬于ROLAP。

MOLAP

MOLAP將OLAP分析所用到的多維數(shù)據(jù)物理上存儲(chǔ)為多維數(shù)組的形式，形成“立方體”的結(jié)構(gòu)。維的屬性值被映射成多維數(shù)組的下標(biāo)值或下標(biāo)的范圍，而總結(jié)數(shù)據(jù)作為多維數(shù)組的值存儲(chǔ)在數(shù)組的單元中。由于MOLAP采用了新的存儲(chǔ)結(jié)構(gòu)，從物理層實(shí)現(xiàn)起，因此又稱為物理OLAP（Physical OLAP）；而ROLAP主要通過一些軟件工具或中間軟件實(shí)現(xiàn)，物理層仍采用關(guān)系數(shù)據(jù)庫(kù)的存儲(chǔ)結(jié)構(gòu)，因此稱為虛擬OLAP（Virtual OLAP）。IBM Cognos BI里的通過物理的PowerCubes進(jìn)行多維分析就屬于MOLAP。

HOLAP

正是由于MOLAP和ROLAP有著各自的優(yōu)點(diǎn)和缺點(diǎn)（ROLAP數(shù)據(jù)量大，但是處理性能低；MOLAP處理性能高，但數(shù)據(jù)量不能太大）,且它們的結(jié)構(gòu)迥然不同，這給分析人員設(shè)計(jì)OLAP結(jié)構(gòu)提出了難題。為此一個(gè)新的OLAP結(jié)構(gòu)——混合型OLAP（HOLAP）被提出，它能把MOLAP和ROLAP兩種結(jié)構(gòu)的優(yōu)點(diǎn)結(jié)合起來。很明顯，HOLAP結(jié)構(gòu)不應(yīng)該是MOLAP與ROLAP結(jié)構(gòu)的簡(jiǎn)單組合，而是這兩種結(jié)構(gòu)技術(shù)優(yōu)點(diǎn)的有機(jī)結(jié)合，能滿足用戶各種復(fù)雜的分析請(qǐng)求。例如：IBM Cognos BI就可以通過將高度匯總數(shù)據(jù)存在PowerCubes里，而明細(xì)數(shù)據(jù)使用DMR多維邏輯模型的方式，通過穿透鉆取方式無縫的進(jìn)行多維分析就屬于HOLAP了。

現(xiàn)如今，隨著企業(yè)的數(shù)據(jù)量呈指數(shù)級(jí)增長(zhǎng)，而硬件性能的不斷提升及內(nèi)存價(jià)格的下降，一種新的基于內(nèi)存的OLAP體系架構(gòu)出現(xiàn)了。這種新架構(gòu)既能夠保證類似于MOLAP方式的高性能，也能基于更大的數(shù)據(jù)量進(jìn)行分析，還不用定期將數(shù)據(jù)庫(kù)里的數(shù)據(jù)刷新到OLAP服務(wù)器中來保證數(shù)據(jù)的實(shí)效性。它的諸多優(yōu)勢(shì)受到了市場(chǎng)的追捧，這種新的體系架構(gòu)當(dāng)之無愧地成為多維分析環(huán)境搭建的流行選擇，而IBM Cognos BI的Dynamic Cubes就是它的代表作品。

動(dòng)態(tài)立方體（Dynamic Cubes）介紹

為什么要使用動(dòng)態(tài)立方體（Dynamic Cubes）

我們知道，隨著數(shù)據(jù)量的不斷增加，一些的數(shù)據(jù)倉(cāng)庫(kù)原有多維分析技術(shù)架構(gòu)已經(jīng)逐漸不能滿足業(yè)務(wù)用戶的性能需求，特別是針對(duì)一些超大型的數(shù)據(jù)源，比如TB級(jí)的詳細(xì)數(shù)據(jù)。這些客戶通常只能通過使用匯總表、聚合表來提升訪問性能，但仍充滿挑戰(zhàn)。例如：在美國(guó)有一家制藥企業(yè)，分析所有的處方。某銀行對(duì)客戶、家庭及他們的關(guān)聯(lián)客戶進(jìn)行交易模式分析，等等。他們用傳統(tǒng)的解決方案（MOLAP、ROLAP）都是有局限性的，因?yàn)樗麄儾荒芡瑫r(shí)兼顧到大數(shù)據(jù)量與高性能的訪問。

如上圖所示，在IBM Cognos BI對(duì)多維分析的傳統(tǒng)方式中，32位的PowerCubes需要對(duì)詳細(xì)數(shù)據(jù)進(jìn)行大量的聚合，才能保證Cube的數(shù)據(jù)文件不至于太大；64位的TM1cubes能夠處理大數(shù)據(jù)量，但通常設(shè)計(jì)用于需要進(jìn)行回寫的what-if應(yīng)用場(chǎng)景，而非用于純的BI報(bào)表和分析；基于關(guān)系數(shù)據(jù)庫(kù)的OLAP需要可以處理任意數(shù)據(jù)量，但即使使用DQM（動(dòng)態(tài)查詢模式），隨著數(shù)據(jù)量的增加，性能也會(huì)下降。在這種情況下，動(dòng)態(tài)立方體（DynamicCubes）應(yīng)運(yùn)而生。

什么是動(dòng)態(tài)立方體（DynamicCubes）

動(dòng)態(tài)立方體是在傳統(tǒng)ROLAP的基礎(chǔ)上，增加了基于內(nèi)存的OLAP模塊。它直接從關(guān)系型的數(shù)據(jù)倉(cāng)庫(kù)里通過動(dòng)態(tài)查詢模式取數(shù)，并提供一個(gè)多維度的視圖來進(jìn)行性能的加速。動(dòng)態(tài)立方體在Cognos的查詢堆棧里引入一個(gè)性能層，可以滿足用戶對(duì)大型數(shù)據(jù)倉(cāng)庫(kù)進(jìn)行低延遲、高性能的多維分析，它可以支持TB級(jí)的數(shù)據(jù)量。動(dòng)態(tài)立方體是可擴(kuò)展的，它也可以利用緩存、已優(yōu)化的預(yù)聚合（in-memory或in-database）、優(yōu)化SQL來達(dá)到高性能。它具有以下特點(diǎn)：

• 使用簡(jiǎn)單的、多通道的SQL進(jìn)行關(guān)系數(shù)據(jù)庫(kù)的查詢優(yōu)化；
• 能夠最小程度的降低數(shù)據(jù)從關(guān)系數(shù)據(jù)庫(kù)到Cognos動(dòng)態(tài)立方體引擎間的數(shù)據(jù)移動(dòng)；
• 聚合感知，能夠鑒別需要通過in-memory還是通過in-database聚合表進(jìn)行達(dá)到最優(yōu)性能；
• 提供Aggregate Advisor工具，可以通過日志分析預(yù)聚合（in-memory或in-database）的效率來進(jìn)行性能優(yōu)化。

動(dòng)態(tài)立方體（Dynamic Cubes）的工作原理

動(dòng)態(tài)立方體基于上百萬條記錄或者更多的大數(shù)據(jù)量的事實(shí)表與有上百萬個(gè)成員的維表創(chuàng)建多維模型，可以達(dá)到低延遲的數(shù)據(jù)分析。如下圖所示，通過動(dòng)態(tài)查詢模式（DQM），動(dòng)態(tài)立方體將數(shù)據(jù)庫(kù)內(nèi)數(shù)據(jù)加載到服務(wù)器內(nèi)存作緩存，包括維度成員、事實(shí)表數(shù)據(jù)、表達(dá)式、結(jié)果集、聚合表，來提升多維分析的訪問性能。一旦緩存被加載，所有的用戶就能夠通過統(tǒng)一的安全認(rèn)證看到他們能夠看到的數(shù)據(jù)。而聚合感知就是能夠保證數(shù)據(jù)查詢通過選擇最合適的聚合表來達(dá)到數(shù)據(jù)訪問高性能。

下圖展示了動(dòng)態(tài)立方體在整合平臺(tái)上面的位置。

結(jié)束語

Cognos Analytics試用版下載地址

via：華南IBM大數(shù)據(jù)支持團(tuán)隊(duì)

詳情請(qǐng)咨詢！

客服熱線：023-66090381