我們正面臨安全關(guān)鍵軟件的成本危機，這意味著所需增加的功能已經(jīng)超出了支付其開發(fā)費用的能力。例如，波音 787 項目需要 650 萬行代碼，設(shè)計、開發(fā)和測試成本達 40 億美元。波音777X項目的成本數(shù)字并未公開披露，波音737 MAX最初估計為36億美元，但后來升至63億美元，這還不包括數(shù)十億美元的故障成本。

Parasoft 產(chǎn)品免費試用

重大安全關(guān)鍵項目的趨勢顯示總成本呈指數(shù)增長，軟件在總開發(fā)預(yù)算中所占比例逐年增加。使用先前項目中使用的相同技術(shù)，下一個大型航空航天項目可能無法負擔。所以，我們能做些什么？

安全認證以及所需的測試和驗證占軟件開發(fā)預(yù)算的很大一部分。軟件的左移測試（在 SDLC 的早期進行測試）在利用自動化的同時，在成本、風險和進度方面帶來了巨大的回報。下圖顯示了商業(yè)航空公司軟件開發(fā)每千行代碼的成本為數(shù)百萬美元，這清楚地顯示了指數(shù)級增長。

了解何時引入和檢測到錯誤

毫不奇怪，大多數(shù)缺陷都是在項目一開始就被引入的，甚至是在編寫第一行代碼之前。大多數(shù)錯誤都是在測試期間發(fā)現(xiàn)并修復(fù)的。但有相當一部分（高達 20%）是在產(chǎn)品銷售和運輸后的運營過程中發(fā)現(xiàn)的。

在經(jīng)過認證的系統(tǒng)中，這要么意味著極其昂貴的修復(fù)-測試-重新認證周期，要么意味著操作員需要解決問題。下圖顯示了軟件開發(fā)生命周期每個階段引入和檢測到的錯誤的相對百分比。

在生命周期的早期修復(fù)缺陷是最便宜的。在項目期間，查找和修復(fù)這些問題的成本會成倍增加。在操作中，產(chǎn)品交付到客戶手中后，修復(fù)成本最高。部署后缺陷修復(fù)成本是保守的，不包括對您的品牌的損害以及現(xiàn)場安全事件的責任。

下圖顯示了在生命周期的每個階段修復(fù)缺陷的相對成本。顯然，目標是將檢測到并修復(fù)的缺陷移至生命周期的早期。換句話說，左移。此外，希望減少交付給客戶的缺陷數(shù)量，這在每個領(lǐng)域都是現(xiàn)實。

通過測試自動化進行左移測試

安全關(guān)鍵的軟件行業(yè)認識到需要改變工作方式。太多的項目都在重新發(fā)明輪子，而認證全新的軟件既耗時又昂貴。新產(chǎn)品的連接性和功能性的增長意味著方法需要改變。在這篇文章中，我們不會涵蓋所提出的所有技術(shù)，而是集中討論測試自動化在減少、檢測和修復(fù)缺陷和安全漏洞方面所扮演的角色。

測試自動化的優(yōu)點

任何安全關(guān)鍵項目的很大一部分都是測試。自動化對于實現(xiàn)安全、保障和質(zhì)量目標是絕對必要的。以下是測試自動化工具如何支持現(xiàn)代軟件開發(fā)方法并提高測試和文檔生產(chǎn)力的示例。

支持敏捷和 CI/CD 管道

瀑布方法的問題已被理解，許多團隊正在使用更現(xiàn)代的開發(fā)方法來提高質(zhì)量和安全性。測試自動化是任何迭代開發(fā)方法的重要組成部分，因為測試套件在模塊、組件等的每次新迭代上運行。

測試自動化通過可重復(fù)的自動化測試支持這些方法，為每個測試提供不同級別的報告，而且隨著時間的推移提供累積結(jié)果。這些工具還旨在通過與工作項跟蹤、需求管理、構(gòu)建系統(tǒng)和源存儲庫服務(wù)集成來與 CI 流程配合使用。動態(tài)分析工具對于檢測難以檢測的運行時錯誤至關(guān)重要。靜態(tài)分析在測試開始前檢測缺陷方面發(fā)揮著重要作用。

支持軟件檢查

在開發(fā)生命周期早期消除缺陷的最佳實踐之一是檢查。檢查意味著審查所有內(nèi)容，而不僅僅是源代碼。例如，檢查需求和設(shè)計對于防止系統(tǒng)中錯誤的主要來源至關(guān)重要。請參見圖 2。許多錯誤實際上是被設(shè)計到系統(tǒng)中的。工具在此階段發(fā)揮的作用較小，但確實提高了代碼審查的有效性。

自動化單元測試、動態(tài)錯誤檢測和靜態(tài)分析大大改進了項目早期編碼階段的錯誤檢測。自動化測試的結(jié)果可以在代碼審查中呈現(xiàn)，從而減少對手動錯誤檢測的依賴，并留出更多時間來檢測不正確的需求和設(shè)計決策。

提高測試效率

手動測試非常繁瑣且可重復(fù)性較差。結(jié)果收集可以是臨時的，盡管結(jié)果是“正確的”，但也可能會錯過錯誤。實現(xiàn)所需的代碼覆蓋率（根據(jù)安全標準和項目的關(guān)鍵性而變化）很難跟蹤。

測試自動化不僅使測試變得不再那么繁瑣和可重復(fù)，而且高級測試工具的報告功能可以創(chuàng)建有關(guān)項目狀態(tài)的重要管理信息。添加動態(tài)分析（在運行時分析代碼以檢測棘手的運行時錯誤）和靜態(tài)分析（在運行前分析代碼）大大提高了測試工具的錯誤檢測能力。

自動遵守編碼標準

許多安全關(guān)鍵項目需要源代碼標準。例如，MISRA 在汽車軟件中很常見，但在其他行業(yè)也得到了認可。某些標準要求代碼符合滿足特定目標的公司標準。在每種情況下，手動強制執(zhí)行編碼合規(guī)性都是乏味且容易出錯的。靜態(tài)分析工具是強制合規(guī)性的理想工具，而高級工具則可以進一步檢測超出格式違規(guī)范圍的錯誤。

自動化認證文檔

實現(xiàn)軟件安全認證的很大一部分工作量是記錄流程、驗證和驗證。測試自動化顯著降低了記錄測試結(jié)果和覆蓋率分析的成本。

加速遺留軟件的重用

提高生產(chǎn)力的一個關(guān)鍵策略是重用軟件。理想情況下，可以使用已經(jīng)認證的組件來降低這些子單元的開發(fā)成本。使用靜態(tài)和動態(tài)分析工具自動評估遺留軟件可以降低使用這些組件的風險。

提高質(zhì)量、安全和保障

即使嚴格的測試方案也可能會遺漏嚴重錯誤。例如，僅代碼覆蓋率不足以確保在安全攻擊或多線程代碼的情況下正確的行為。靜態(tài)分析工具可以在不運行特定測試的情況下檢測源代碼中的錯誤，并且可以發(fā)現(xiàn)在單元或系統(tǒng)測試中難以發(fā)現(xiàn)的錯誤，例如安全漏洞。

動態(tài)分析工具可以檢測測試期間運行代碼中可能反映在測試結(jié)果中的錯誤，例如緩慢的內(nèi)存泄漏。系統(tǒng)測試期間的模糊測試和滲透測試可以發(fā)現(xiàn)正常操作條件下遺漏的錯誤。總的來說，最先進的工具發(fā)現(xiàn)的額外缺陷和安全漏洞有助于降低成本、風險以及投入生產(chǎn)的 20% 左右的錯誤。

左移測試有什么影響？

很明顯，必須采取一些措施來解決圖 2 中清楚顯示的問題。在生命周期開始時引入了太多缺陷并且未被發(fā)現(xiàn)。當產(chǎn)品被制造出來并在客戶手中時，或者在飛機或汽車中（視情況而定）中，有太多的殘留物。采用現(xiàn)代開發(fā)方法、重用組件、利用 COTS 和開源以及工具自動化都是提高開發(fā)效率的關(guān)鍵步驟。

假設(shè)開發(fā)過程使用最先進的工具，其中測試向左移動，并且在生命周期的早期檢測到并修復(fù)更多缺陷，那么單元測試非常有效，有助于減少進入生產(chǎn)的錯誤。在圖 4 中，一個假設(shè)的示例顯示了生命周期中缺陷檢測的變化，其中大部分缺陷檢測和修復(fù)在生命周期的早期移至左側(cè)。

從上面的圖3我們知道，在開發(fā)的每個階段成本都會顯著上升。下面的圖 5 顯示了傳統(tǒng)方法與圖 4 中所示的現(xiàn)代方法修復(fù)缺陷的成本比較。將發(fā)現(xiàn)和修復(fù)錯誤移到左側(cè)，比稍后修復(fù)它們的成本要低。在此所示的情況下，總體成本差異約為 40%，有利于左移方法。

認證工具鏈和資格協(xié)助的重要性

在安全關(guān)鍵項目中使用自動化工具需要對工具本身的信任。產(chǎn)品制造商有責任確信用于創(chuàng)建軟件的流程和工具滿足標準的要求。工具供應(yīng)商可以通過在將工具出售給制造商之前讓工具經(jīng)過安全標準機構(gòu)的認證來幫助解決這一問題，或者在無法進行此類預(yù)先認證的情況下，提供資格協(xié)助。然后，他們可以在自己提交的認證中使用工具供應(yīng)商的認證證據(jù)，并減少所需的工作量。例如，Parasoft C/C++test已獲得 TüV SüD 認證，具有根據(jù) IEC 61508 和 ISO 26262 標準進行安全相關(guān)軟件開發(fā)的資格。

在某些軟件安全標準（例如 DO-178C）中，認證是在系統(tǒng)級別完成的，并且各個工具和軟件不是獨立認證的。在這些情況下，該工具的供應(yīng)商會提供資格認證套件以及文檔和專業(yè)服務(wù)方面的幫助，從而大大減少了對項目中使用的工具進行資格認證所需的成本和工作量。

通過左移策略降低安全關(guān)鍵軟件成本

安全關(guān)鍵軟件無疑面臨成本危機。新的大型安全關(guān)鍵項目的開發(fā)成本變得過于昂貴，甚至可能無法盈利。開發(fā)安全關(guān)鍵型軟件需要現(xiàn)代方法，并且必須減少在軟件開發(fā)生命周期后期發(fā)現(xiàn)的錯誤數(shù)量。向左移動，在生命周期中盡早檢測和修復(fù)缺陷和安全漏洞可以顯著降低成本。測試自動化在提高測試效率和結(jié)果方面發(fā)揮著關(guān)鍵作用。它是現(xiàn)代安全關(guān)鍵軟件開發(fā)方法的重要組成部分。

如果您目前不是Parasoft C/C++test用戶，但希望通過C/C++test 2023.2，為C、C++開發(fā)人員賦能，歡迎聯(lián)系我們。了解更多有關(guān)Parasoft產(chǎn)品咨詢，歡迎咨詢