不久前，在商業(yè)智能實(shí)時(shí)圖表解決方案的選擇中，我們簡(jiǎn)單講了下實(shí)時(shí)分析的工作流程。今天我們就來(lái)詳細(xì)討論一下這個(gè)話題。

如果你已經(jīng)使用過(guò)實(shí)時(shí)dashboard，或者正打算建立一個(gè)，那么，這篇文章可以幫助你理解實(shí)時(shí)dashboard背后的故事以及實(shí)時(shí)數(shù)據(jù)如何展現(xiàn)在你的dashboard中，從而實(shí)現(xiàn)數(shù)據(jù)可視化。

除去端到端之間極短的時(shí)間，數(shù)據(jù)實(shí)時(shí)可視化主要有四大步驟。這里我們用一張圖來(lái)展示。

1、捕獲數(shù)據(jù)流

實(shí)時(shí)數(shù)據(jù)流使用 scrapers、collectors、agents、listeners捕獲，并且存儲(chǔ)在數(shù)據(jù)庫(kù)中。數(shù)據(jù)庫(kù)通常是NoSQL數(shù)據(jù)庫(kù)，例如， Cassandra、MongoDB, 或者有時(shí)候是你只是Hadoop Hive。關(guān)系數(shù)據(jù)庫(kù)不適合這種高展現(xiàn)的分析。NoSQL數(shù)據(jù)庫(kù)的崛起也增強(qiáng)了實(shí)時(shí)數(shù)據(jù)分析向他靠攏的趨勢(shì)。

2、數(shù)據(jù)流處理

數(shù)據(jù)流可以通過(guò)許多方式處理，比如，分裂、合并、計(jì)算以及與外部數(shù)據(jù)源結(jié)合。這些工作由一個(gè)容錯(cuò)分布式數(shù)據(jù)庫(kù)系統(tǒng)，比如， Storm、Hadoop，這些都是比較常用的大數(shù)據(jù)處理框架。但是他們卻不是實(shí)時(shí)數(shù)據(jù)分析的理想選擇。因?yàn)樗麄円蕾嘙apReduce面向批量的處理。不過(guò)Hadoop 2.0允許使用其他計(jì)算算法代替MapReduce，這樣使得Hadoop在實(shí)時(shí)分析系統(tǒng)中運(yùn)用又進(jìn)了一步。處理之后，數(shù)據(jù)就可以很可視化組件讀取了。

3、數(shù)據(jù)可視化組件讀取處理過(guò)的數(shù)據(jù)

處理過(guò)的數(shù)據(jù)以結(jié)構(gòu)化的格式（比如JSON或者XML）存儲(chǔ)在NoSQL數(shù)據(jù)庫(kù)中，被可視化組件讀取。在大多數(shù)情況下，這會(huì)是一個(gè)嵌入到一個(gè)內(nèi)部BI系統(tǒng)的圖表庫(kù)，或者成為像Tableau這種更加廣泛的可視化平臺(tái)的一部分。處理過(guò)的數(shù)據(jù)在JSON/XML文件中的刷新頻率，稱為更新時(shí)間間隔。

4、可視化組件更新實(shí)時(shí)DASHBOARD

可視化組件從結(jié)構(gòu)數(shù)據(jù)文件（JSON/XML）,在圖表界面繪制一個(gè)圖表、儀表或者其他可視化行為。處理過(guò)的數(shù)據(jù)在客戶端展現(xiàn)的頻率叫做刷新間隔時(shí)間。在一些應(yīng)用程序中，比如帶有圖表渲染功能的股票交易應(yīng)用程序,會(huì)預(yù)先設(shè)置基于數(shù)據(jù)流的觸發(fā)功能。

會(huì)不會(huì)覺得很復(fù)雜呢？只不過(guò)這些過(guò)程會(huì)在幾秒鐘內(nèi)，甚至更短時(shí)間內(nèi)完成。這些操作因?yàn)椴粩噙M(jìn)步的數(shù)據(jù)庫(kù)及實(shí)時(shí)功能變成現(xiàn)實(shí)，特別是NoSQL數(shù)據(jù)庫(kù)。再由諸如Storm這種專用于實(shí)時(shí)進(jìn)程處理的工具輔助，可以讓其性能效果更上一層能。現(xiàn)在的可視化數(shù)據(jù)已經(jīng)支持需求場(chǎng)景，在當(dāng)今的大數(shù)據(jù)應(yīng)用程序中建立了一個(gè)實(shí)時(shí)分析生態(tài)圈。

推薦閱讀：

• 商業(yè)智能分析中如何正確地選擇實(shí)時(shí)圖表解決方案
• 商業(yè)智能分析中選擇實(shí)時(shí)圖表解決方案應(yīng)該考慮的四個(gè)因素
• 數(shù)據(jù)預(yù)測(cè)分析中的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)問(wèn)題
• 數(shù)據(jù)預(yù)測(cè)分析模式和影響因素
• 細(xì)說(shuō)數(shù)據(jù)可視化的發(fā)展里程碑
• 數(shù)據(jù)可視化的下一個(gè)標(biāo)準(zhǔn)：自動(dòng)化+交互性