IBM Change Data Capture簡介

InfoSphere Change Data Capture（以下簡稱 CDC）的前身是 DataMirror，2007 年由IBM收購后正式更名為 CDC，并發布了收購后的第一個版本 V6.3，現在最新的版本為 V11.3。

CDC是一款基于數據庫日志的產品，可以在跨平臺和異構的數據庫環境中實現變化數據的實時復制，在國內外的各個業務領域中有著廣泛的應用。

CDC提供可保持事務完整性的復制，為客戶在數據遷移，數據整合，數據同步，動態數據倉庫，以及實時BI分析等應用中提供了出色的解決方案。

InfoSphere CDC 產品架構

正如上圖所示，CDC 的關鍵組件主要的組成部分包括：

1. Access Server(AS)：用戶配置和監控 CDC 引擎的安全管理工具，支持圖形化界面及命令行。當用戶登錄 Management Console時，就會連接到 AS。如果在客戶端關閉 AS，并不會影響源服務器到目標服務器的數據復制。
2. Management Console(MC)：CDC 的圖形化界面工具，允許用戶配置、監控和管理在多個不同服務器上的數據復制，可以在客戶端上指定復制的參數，初始化刷新和鏡像復制。MC也允許用戶監控復制操作、延遲、事件消息以及性能相關的統計數據。
3. 源端引擎：讀取源端數據庫的日志文件捕獲變更數據，經過行列過濾，字符編碼轉換后由 TCP/IP 發送給目標端。
4. 目標端引擎：接收源端發送的變更數據，經過數值轉換，字符編碼轉換，沖突檢測后將變更數據應用到目標數據庫。
5. Metadata：存儲 CDC 實例的配置信息，包括數據庫連接信息，預定信息以及表的映射信息等，同時記錄當前的復制進行狀態。
6. 源和目標 Datastore（數據存儲）：存儲的是數據文件和數據復制需要的 InfoSphere CDC 實例信息。每個datastore代表了一個用戶要連接的數據庫，并存儲要復制的表。

多數的 CDC 引擎既可作為源端引擎捕獲變化數據又可作為目標端引擎接收變化數據并將其應用于指定的數據庫。

InfoSphere CDC 工作原理

CDC處理數據的流向圖：

1. CDC 通過日志讀取模塊（Log Reader）讀取源端數據庫中所有活動表的變化日志，并判斷出哪些數據變更日志屬于CDC配置的預定中所涉及的源端表，并將這些與應用有關的變更日志放在事務隊列（Transaction Queue）中
2. 日志讀取模塊讀取的日志包括 redo log，archive log，transaction log 等。由于尚未提交的事務也會被CDC日志讀取模塊讀取并放在事務隊列中，所以事務隊列中記錄了各個事務的進行狀態。而日志解析模塊則負責過濾出事務隊列中已經提交了的事務變更日志，并將其放入變更日志存儲（Staging Store）中。
3. 復制表的事務信息通過 TCP/IP 傳送至目標端，可通過 MC 監控復制的數據情況。
4. 目標段將抽取過來的事務信息經過必要的轉換重新組裝成 SQL 語句。
5. CDC將組裝好的 SQL 語句應用于目標數據庫，并更新bookmark信息
6. （bookmark 信息是為了保證數據的一致性，當由于某種原因復制中斷后，在下次 CDC 重啟后，目標端的 bookmark 信息首先被傳到源端，從而源端從最后一個成功應用到目標數據庫的日志開始復制），整個數據復制過程完成。
7. IBM Change Data Capture簡介

8. 靈活的部署方案

   CDC可采用單向，雙向，并行，級聯，集中，分發等多種拓撲結構及其組合的部署方式進行復制。

   

9. 提供大數據量，低延遲的數據復制

   捕獲實時變化數據，極大地縮短了數據集成窗口！

10. 基于日志，無需改變當前IT架構，對生產系統的影響最小

    僅讀取日志，不訪問生產數據庫，壓力小，無風險！

11. 全面的異構數據平臺支持

    從傳統數據庫到大數據平臺，提供最廣泛的支持。

    

    
    

12. 提供集配置、管理和監控于一體的圖形化界面，管理方便，易于操作

InfoSphere CDC 經典應用場景

1. 實時運營報表

   某運輸能力提供商要求其訂單信息、負載特征、合同和賬單數據與企業的其余部門整合，以便于分配司機負載和分析業務。將這些數據發布和整合到數據倉庫和 Web應用一共需要 30 分鐘。這意味著用戶不僅必須等待數據，還無法掌握實時準確的業務情況。

   通過使用 InfoSphere CDC從源系統低影響、實時地抽取數據更改，InfoSphere DataStage 能夠及時接收數據更改流，并通過 ETL 流程將之應用到數據倉庫以及整個企業的其他 Web應用。這不僅可向數據倉庫提供實時的更改，而且企業內的多個點可以受益于和利用已更改的數據，對源系統的影響卻很小。

2. 最小化批處理時窗

   某消費品制造商將它的制造數據和銷售數字存儲在兩個位于不同地區的單獨 ERP系統上。每天通過夜間批處理作業將數據加載到數據倉庫中用于生成報表。但是隨著業務的增長，數據量也隨之增長，8 小時的夜間批處理時間已明顯不夠用。

   通過使用 InfoSphere CDC 實時地將數據加載到數據倉庫中，制造商就可隨時掌握準確的最新信息，可以做出更好的業務決策，此外還可以將批處理時窗釋放出來用于其他任務. 

3. 電子商務同步

   某商業抵押貸款提供商想使客戶能夠在線訪問他們的貸款和投資狀態。它還想開發一些新的 Web 應用，以便客戶申請抵押貸款、償還汽車貸款以及進行基于Internet 的貸款。

   通過使用 InfoSphere CDC 實時地同步現有系統和新 Web 應用之間的數據，客戶可以通過 Internet 即時訪問信息和服務。