DevOps Metrics（計量標準）之探究和案例簡介

DevOps Metrics（計量方法）顧名思義，就是將DevOps各個環節、各個角色的作業流程，進行科學化的分析和追蹤，藉此掌握DevOps流程並有助於達成產品交付及上線運作。

 

DevOps Metrics重要性

由於不同的DevOps團隊依據不同的企業文化、專案流程、產品導向，採用不同的DevOps策略；因此DevOps業界藉由歸納多種DevOps流程和項目的方式，歸納出具有架構性，流程性的多種DevOps計量方法，以利新創DevOps團隊有脈絡可依循，加速產品開發交付流程、減少維運負擔。

藉由歸納具有系統性、科學化的DevOps計量方法，除了評估DevOps技術和流程成熟度的需求以外，也能評估產品是否能如期交付上線，並改善弱點、調整策略，以利下一階段的DevOps專案規劃和執行。

 

DevOps Metrics各項標準簡介

為了將不同的DevOps方法和策略，以科學化、數據化的方式加以評估，國際各種DevOps相關業界和權威單位，規劃了各項DevOps計量方法，來關注DevOps流程中的關鍵環節、提出開發維運流程最佳化的指引。

1.MITRE AiDA DevOps敏捷專案計量

本項DevOps計量方法為美國聯邦非營利科研機構MITRE組織的AiDA（Acquisition in the Digital Age，數位時代下的需求）團隊，針對五個DevOps要素，所歸納出的DevOps計量項目，用來協助DevOps專案與團隊成員符合產品交付和營運需求。

(1)需求計量：主要探討Sprint階段用戶故事（User stories）的交付完成度。

(2)成本計量：主要探討開發團隊執行用戶故事時的工作時數預估需求。

(3)品質計量：主要探討測試階段的涵蓋率（Coverage）多寡。

(4)效能計量：包含用戶故事的驗收合格數、測試合格率等等。

(5)測試報告與分析：評估前述流程執行後，測試涵蓋率和合格率的綜合數據分析。

 2.美國國防部敏捷計量指南

美國國防部有鑑於傳統線型、瀑布式開發程序，無法應付日漸複雜的軟體功能交付作業，因此導入了敏捷開發機制；除用於國防部自身的軟體專案外，也能套用在國防承包商身上。

(1)敏捷流程：包含用戶故事、工作速度、燃盡圖（Burndown chart）等。

(2)敏捷品質：包含覆蓋率、重複失誤率、缺失數目、首次通過率等。

(3)敏捷產品：包含交付內容、交付時間點、客戶滿意度等。

(4)DevSecOps（安全的DevOps）：包含平均回復時間（MTTR）、前置時間、交付頻率、變更失敗率。

(5)成本計量：包含設備成本、軟硬體授權成本、時間成本、人力成本等綜合評估。

(6)價值評估：代表軟體交付給客戶時，對客戶的貢獻或影響程度，並可用「單位成本」表示。

 3.SAFe大規模敏捷開發項目

本項目為針對大型企業應用場合而設計的敏捷開發項目，旨在確保企業中不同的DevOps子專案能依循主專案的進度順暢執行。

(1)企業敏捷程度自評：包含7類別共21條目，以雷達圖方法初步評估企業內部的敏捷程度。

資料來源： (Scaled Agile Framework (SAFe), 2020)

圖 1 SAFe企業敏捷程度自評雷達圖

(2)組合管理（Portfolio management）：包含價值流KPI、產品組合、組織敏捷程度等指標。

(3)大型專案計量：項目包含計畫面的可預測性、計畫運作效能、企業方案交付等指標。

(4)DevOps要素計量：針對DevOps各種要素進行綜合評量，包含技術敏捷程度、產品效能、部署次數、任務循環（Iteration）等。

小結

隨著DevOps在軟體開發業界開始普及化，但早期沒有業界共識的計量標準，往往會造成協調、交付程序的複雜化，影響整體專案之運行；藉由引進DevOps Metrics，可讓採用DevOps的全新團隊能更有系統性、邏輯性的運作方法，並在開發維運循環中持續監控和修正，以兼顧高效率、高良率，並有機會締造高投資報酬率，為下一階段的專案奠定良好運行基礎。 

參考來源：

1. (2020). Metrics. Retrieved August1 17, 2020, from MITRE: https://aida.mitre.org/agile/agile-metrics/
2. Scaled Agile Framework (SAFe). (2020, June 30). Metrics. Retrieved August 17, 2020, from Scaled Agile Framework (SAFe): https://www.scaledagileframework.com/metrics/
3. S. DoD. (2019, September 23). Agile Metrics Guide. Retrieved August 17, 2020, from U.S. DoD: https://www.dau.edu/cop/it/DAU Sponsored Documents/Agile Metrics v1.1 20191122.pdf