本項目的建設目標主要包含以下三個維度

• 系統維度：立足券商機構整體層面，搭建適應大數據處理分析場景的大數據平臺，并保證足夠的開放性與可擴展性，以滿足急速增長的各類數據應用需求，適時弱化 MPP 構架一體機在數據服務體系中的作用；
• 數據維度：對接現有的公司各類生產數據源，完成 RDBMS 與 Hadoop 間的數據導入同步，實現數據的無縫流轉，并對外提供統一的數據接口；
• 業務維度：在系統與數據建設的基礎上，重點滿足歷史查詢、非結構化數據處理、完善客戶畫像、準實時數據處理等數據使用需求，并對大數據挖掘類應用場景進行研究，以更好地支撐業務的開展。

項目背景

隨著客戶證券業務規模地不斷擴大及相關產品和服務種類地迅速增加，數據總量正在急速增長、數據類型也在不斷增多。同時，隨著互聯網技術不斷引入公司相關業務系統，線上服務占比大幅提升，已逐步成為公司主要的業務受理渠道，客戶觸點也隨之從有形轉為無形，數據成為了解業務和挖掘客戶需求的重要依據。

明略數據幫助國內大型券商機構建設企業級大數據平臺是企業科技發展規劃中的重點任務，通過全面建設大數據及流平臺，不斷完善數據架構體系，發揮協同優勢，為智能化服務、數據化運營、優化數據管理提供基礎。

建設企業級大數據平臺，可以支持集團非結構化數據的存儲及分析挖掘，擴展客戶分析，風險挖掘數據源 , 同時，能夠支持業務系統流數據的實時分流，為業務準實時監控和風控提供支持。

項目歷程

大數據平臺于 2017 年年中正式啟動，通過多方的共同努力，計劃于同年年底正式投入試運行。

以下是對項目實施歷程的回顧，以及每個里程碑式意義的階段介紹。

項目歷程

大數據平臺建設是一個工程，是一個過程。大數據平臺建設涵蓋內容豐富，實施周期緊湊，在半年的時間里，涉及了數倉多個源系統的數據遷移、10 多個數據源的接入，數百個畫像標簽的開發、1 套實時全景業務展示、1 個模型應用驗證、1套畫像功能的部署。下面就項目過程的重點階段進行總結。

大數據平臺建設

利用大數據的流式處理技術，完成 Cloudera 的 CDH 大數據平臺搭建，提供HDFS，HIVE，HBase，Flume，Impala，Kafka，Kudu，Oozie，Solr，Spark，YARN，Zookeeper 等服務組件，實現業務數據的實時接入與計算，并采用豐富的圖表將各指標數據進行可視化展示。

客戶畫像建設

用戶畫像可通過對海量低價值密度用戶數據的深入加工，得到客戶金融特征的一組標簽，在業務運營中能夠有助于更加高效地理解客戶、研究客戶需求、分析客戶潛在意圖，能夠將數據驅動的思想引入到業務運營流程中。此次大數據平臺搭建，共完成了近10大標簽維度，數百個標簽的開發，并提供了便捷的標簽管理功能、可篩選功能等，并與CRM客戶對接，可提供標簽數據服務，幫助營銷和銷售人員定位目標客戶，了解客戶潛在需求，開發需求產品以及向客戶精準營銷。

全景業務展示建設

大數據平臺全景業務展示應用實現 App 活躍客戶，App 裝機，開戶信息，市占率，等業務運營指標的實時展示功能，該版本的上線業務價值:通過大數據流式處理技術，將業務指標的洞察從 T + 1 提升到實時洞察，快速洞悉業務。

指標計算結果的處理考慮到業務對實時性的高要求，采用了構建在 Spark 上的實時計算框架 Spark Streaming 進行業務處理，滿足實現高吞吐量、高實時性及高并發性的需求，對業務數據進行實時指標計算。數據經過計算后存入 HBase，使用內存數據庫 Redis 來緩存計算模塊用到的配置信息和一些高頻使用的中間變量，以提高系統計算效率。計算完的結果數據通過 Kafka 下發，在全景業務展示區進行實時數據的前端頁面展示。

對于存儲在 HBase 中的指標數據結果，會通過 Oozie 編寫 WorkFlow 的方式，每日定時跑批將數據備份到 Hive 中，方便后續的數據查詢治理。

 全景業務展示系統很好的解決了核心業務指標及客戶行為的實時洞察與分析，將數據時效性提高到秒級，并提供了數十種數據展現形式，實現了數據多維展示及趨勢分析，為宏觀決策和快速業務響應提供了良好的支撐。客戶畫像、關聯賬戶分析、輿情分析、文本檢索。

其他功能建設

此次大數據平臺的建立，還包括搭建了爬蟲管理平臺、自然語言處理功能、數據挖掘作業及演示，以及提供包括 CRM 在內的多個應用的標簽數據服務。

項目成效

明略數據為客戶建立大數據平臺，整個企業的 IT 規劃豐富了既有數據平臺的多樣性與可擴展性。滿足了目前數據時代下，對于日益豐富的數據種類，快速增長的數據數量的數據平臺需求，并且大數據平臺提供了面對海量數據的挖掘建模功能，為公司的金融創新提供了數據和技術保障。大數據平臺中存儲了各個業務系統的核心數據，并形成了信息統一，豐富的歷史數據存儲為企業保存了無形數據資產。先進的平臺架構、可線性拓展硬件資源使大數據平臺能夠成為一個高效的運算平臺，為企業創造更多的價值。

精準營銷

通過數百個維度對客戶進行全方位洞察。實時對日志數據進行采集、分析和標簽化。可以對千萬級客戶進行秒級識別、需求感知乃至預判，同時采用場景化智能引擎，精準投放資訊、產品和服務，瞬時達成對客戶的有效響應，大幅提升服務的覆蓋面及專業化程度;

風險識別

對全量客戶進行關聯關系挖掘并建立知識圖譜，可以有效的對關聯性風險進行識別，對風險的傳導進行判斷;

數據服務

提升了數據海量存儲技術水平，通過明確“統一存儲、統一使用”的理念，不斷豐富企業級的邏輯數據模型，實現跨業務條線的數據集中采集、分析和應用，從而可支持海量數據處理、復雜的信息檢索以及在線歷史查詢，支持公司決策分析能力持續提升。

公司介紹

明略公司

明略數據是支持分析決策的行業人工智能解決方案提供商。自 2014 年成立以來，明略數據為公共安全、金融、工業等領域政府機構和企業構建行業知識圖譜，以“垂直行業化 +人機交互重大變革”實現行業人工智能落地，助推從個體賦能到全局智能的產業轉型升級。

Cloudera

Cloudera成立于2008年，由硅谷頂尖企業的優秀人士創立，其中包括Google，Yahoo!，Oracle和Facebook。至今，Cloudera在全球擁有超過1600名員工。Cloudera于2014年進入中國市場，總部位于上海，在北上廣深均有分部。

慧都大數據專業團隊為企業提供Cloudera大數據平臺搭建，免費業務咨詢，定制開發等完整服務，快速、輕松、低成本將任何Hadoop集群從試用階段轉移到生產階段。

歡迎撥打慧都熱線023-68661681或咨詢慧都在線客服，我們有專業的大數據團隊，為您提供免費大數據相關業務咨詢！