測試自動化如何加快驗證和確認的速度

確保嵌入式軟件的正確運行、質(zhì)量、安全和保障，是嵌入式系統(tǒng)軟件活動的重要組成部分。在很大程度上，團隊通過軟件測試以及在整個開發(fā)過程中通過分析、可追溯性、文檔等方式來完成。安全關鍵型軟件有嚴格的驗證和確認方法，這些方法通常被編入行業(yè)標準。這就引出了一個問題：有什么區(qū)別？

驗證和審定的區(qū)別是什么？

驗證和審定的官方定義在《IEEE標準軟件工程術語表》中進行了定義。

• 驗證：確定軟件開發(fā)周期中某一階段的產(chǎn)品是否滿足前一階段建立的需求的過程。
• 審定：在軟件開發(fā)周期的某一階段，確定產(chǎn)品是否滿足前一階段建立的需求的過程。在軟件開發(fā)過程結(jié)束時評估軟件的過程，以確保符合軟件需求。
• 驗證： "我構(gòu)建的產(chǎn)品是否正確？"
• 審定："我構(gòu)建的產(chǎn)品是否正確？"我是否構(gòu)建了正確的產(chǎn)品？"

這些定義抓住了這兩個測試關鍵方面的區(qū)別的核心。

驗證和審定的目標

最終目標是打造正確的產(chǎn)品。更多的是要確保產(chǎn)品的質(zhì)量、安全和保障，確保它仍然是正確的產(chǎn)品。

驗證是軟件開發(fā)過程的一部分，它可以確保工作的正確性。軟件核查通常包括：

• 符合行業(yè)標準，確保工藝和工件符合準則。
• 審查、演練、檢查。
• 對開發(fā)過程中產(chǎn)生的工件進行靜態(tài)分析和其他活動。
• 執(zhí)行架構(gòu)、設計和編碼標準。

審定是證明最終產(chǎn)品符合要求。這些要求包括功能加上可靠性、性能、安全和保障。

對于物理產(chǎn)品來說，審定包括客戶親自看到、試用和測試產(chǎn)品。但對于軟件來說，審定包括軟件的執(zhí)行和軟件運行的演示。它通常包括：

• 執(zhí)行代碼以展示正確的功能。
• 在目標環(huán)境中執(zhí)行。
• 壓力、性能、滲透和其他非功能測試。
• 直接并經(jīng)常向客戶進行驗收測試。
• 使用驗證過程中的工件來說明需求到最終功能的可追溯性，特別是針對特定的安全和安保功能。

理解驗證和審定目標之間的區(qū)別很重要，軟件開發(fā)需要這兩個目標。這些活動是軟件開發(fā)工作的主要部分。組織一直在尋求在不影響安全、保安或質(zhì)量的情況下簡化它們。

如何進行驗證和審定

V模型顯示了開發(fā)安全關鍵型軟件所使用的更正式的驗證和審定方法。它說明了開發(fā)的每個階段的活動以及它們之間的關系。

V模型很好地說明了開發(fā)階段和審定階段之間的關系。在每一個測試階段，軟件中更完整的部分都要對照定義它的階段進行審定。然而，V模型可能意味著瀑布式開發(fā)方法。有一些方法可以將敏捷、DevOps和CI/CD融入到這種類型的產(chǎn)品開發(fā)中。另一方面，審定可以確保每個階段都是完整的、正確的。

驗證包括審查、演練、分析、可追溯性、測試和代碼覆蓋率等活動，以確保團隊正確構(gòu)建流程和產(chǎn)品。舉個例子，單元測試的執(zhí)行是驗證活動，確保單元測試的可追溯性、代碼覆蓋率和測試進度就是驗證。驗證的關鍵作用是確保構(gòu)建交付的工件從上一階段到規(guī)范，并符合公司和行業(yè)準則。

驗證和審定命名的混亂

各個組織可能會以稍微不同的方式使用驗證和審定。通常的做法是將審定視為軟件開發(fā)接近尾聲時發(fā)生的活動，在這一過程中，團隊向客戶（或作為其代理的測試人員）展示產(chǎn)品并證明滿足所有需求。嵌入式開發(fā)仍然使用工廠驗收測試（FAT）的概念。

另一個顯著的理念差異是DO-178B/C和相關標準，用于開發(fā)安全關鍵型航空電子軟件，審定不是一個已知的術語。事實上，如果驗證完成，審定被認為是多余的。

"審定是確定軟件需求是正確和完整的過程。DO-178C沒有為軟件驗證測試提供指導，因為按理說，經(jīng)過驗證正確的軟件，理論上在軟件集成測試中應該不會出現(xiàn)審定問題，除非軟件需求不完整或不正確。" - 根據(jù)DO-178C和DO-278A對安全關鍵軟件進行認證，Stephen A. Jacklin，NASA艾姆斯研究中心。

用于安全關鍵型軟件的混合型DevOps管道

在許多嵌入式軟件組織中，完全敏捷流程的實施與行業(yè)安全保障標準對其的限制并不兼容。工件、代碼、測試結(jié)果和文檔通常有要求和設定的交付日期。進展是基于這些可交付成果（里程碑）。

在某些情況下，如大型軍事和國防項目，里程碑式的交付成果被納入合同和付款安排中。雖然這意味著瀑布法，但沒有理由將軟件開發(fā)局限于此。團隊可以使用混合模式，在內(nèi)部使用迭代和敏捷方法來實現(xiàn)交付物的里程碑。

在討論驗證和審定時提出這個問題的原因是，團隊可以在復雜的安全關鍵型應用上使用持續(xù)集成和測試的許多好處。其中一部分是將左驗證和審定轉(zhuǎn)移到開發(fā)過程中盡可能早的位置。例如，沒有理由將單元測試推遲到所有單元都編碼完畢，也沒有理由等著用靜態(tài)分析來分析代碼，直到它準備好進行集成。

同樣，一旦有單元測試的組件準備好，開發(fā)人員就應該盡快嘗試集成測試。將自動化與持續(xù)、迭代的方法結(jié)合起來，可以為軟件驗證和審定帶來巨大的好處。Parasoft擁有在SDLC的所有階段解決測試、質(zhì)量和安全問題的工具，如下所示。

V模型顯示了開發(fā)安全關鍵軟件所使用的更正式的驗證和審定的方法。

加速驗證

驗證包括確保開發(fā)的每個階段都滿足上一步的規(guī)范的工作。在軟件編碼和測試方面，驗證就是確保代碼滿足模塊設計，最終滿足高層設計和上面的要求。

此外，驗證還要確保滿足項目級需求。這些要求包括符合行業(yè)標準、風險管理、可追溯性和指標（代碼覆蓋率和合規(guī)性）。Parasoft的軟件測試自動化工具通過自動化記錄保存、文檔、報告、分析和報告等許多繁瑣的環(huán)節(jié)來加速驗證：

• 在開發(fā)人員編寫代碼時，盡早使用靜態(tài)分析來確保質(zhì)量和安全。此外，靜態(tài)分析可以防止未來的錯誤和漏洞，減少檢查和測試期間遺漏的錯誤對下游的影響。
• 自動化編碼標準合規(guī)性，減少人工勞動，加快代碼檢查速度。
• 所有工件的雙向可追溯性，以確保需求有代碼和測試來證明它們被滿足。指標、測試結(jié)果和靜態(tài)分析結(jié)果可追溯到組件，反之亦然。
• 代碼和測試覆蓋率，以確保所有的需求都得到了實現(xiàn)，并確保實現(xiàn)是按要求進行測試的。
• 報告和分析有助于決策和跟蹤進度。決策需要基于從自動化流程中收集的數(shù)據(jù)。
• 從分析和測試結(jié)果中自動生成文檔，以支持流程和標準合規(guī)性。
• 標準遵從自動化，通過自動化最重復、最繁瑣的流程來降低開銷和復雜性。而且，工具可以跟蹤項目歷史，并將結(jié)果與需求、軟件組件、測試和記錄的偏差進行關聯(lián)。

加速審定

審定是證明產(chǎn)品符合其要求，在這里，代碼的執(zhí)行是必要的，無論是在單元測試中的隔離，還是在集成的各個階段。自動化這些測試套件對于嵌入式軟件的開發(fā)來說是一個巨大的時間節(jié)省。

審定需要在目標硬件上執(zhí)行。優(yōu)化回歸測試可以充分利用現(xiàn)有的資源、人員和硬件。Parasoft測試自動化工具通過減少對手動測試的依賴性來加速審定--保持所有結(jié)果的可追溯性和代碼覆蓋率。

• 所有測試套件的自動化最大限度地減少了手動測試，并降低了因硬件可用性有限而造成的測試瓶頸。
• 基于目標和主機的測試執(zhí)行根據(jù)需要支持不同的審定技術。
• 左移測試在團隊開發(fā)代碼時就開始了。它利用單元測試框架，并在代碼準備好后自動生成線束進行測試。隨著組織流程的成熟，可支持測試驅(qū)動開發(fā)和持續(xù)測試。
• 通過智能測試執(zhí)行來管理變化，只專注于對已更改的代碼和任何受影響的依賴程序的測試。
• 代碼、測試、靜態(tài)分析結(jié)果和需求之間的雙向可追溯性，并支持公司范圍內(nèi)的應用程序生命周期管理（ALM）工具。

軟件審定可確保團隊構(gòu)建正確的軟件，以滿足客戶和市場的需求。驗證是您滿足要求的證明，并且您的產(chǎn)品可靠，安全，可靠，可以保護客戶。

軟件驗證可確保團隊根據(jù)組織自身的流程和標準以及市場要求的標準來構(gòu)建產(chǎn)品。換句話說，驗證可證明產(chǎn)品有效，而驗證可確保您劃過所有t并加點所有i。

驗證和審定會消耗嵌入式產(chǎn)品開發(fā)中的大部分資源。Parasoft的軟件測試自動化套件提供了一套統(tǒng)一的工具來加速測試，方法是幫助團隊將測試移至開發(fā)的早期階段，同時保持可追溯性，測試結(jié)果記錄保留，代碼覆蓋率詳細信息，報告生成和合規(guī)性文檔。