DevOps Metrics(計量標準)之探究和案例簡介

作者: 李啟榮 發佈時間:2020-08-31
產業分類: 資訊安全
文章分類: 技能觀測
文章標籤: 資訊安全、DevOps
瀏覽人數:233

DevOps Metrics(計量方法)顧名思義,就是將DevOps各個環節、各個角色的作業流程,進行科學化的分析和追蹤,藉此掌握DevOps流程並有助於達成產品交付及上線運作。

 

DevOps Metrics重要性

由於不同的DevOps團隊依據不同的企業文化、專案流程、產品導向,採用不同的DevOps策略;因此DevOps業界藉由歸納多種DevOps流程和項目的方式,歸納出具有架構性,流程性的多種DevOps計量方法,以利新創DevOps團隊有脈絡可依循,加速產品開發交付流程、減少維運負擔。

藉由歸納具有系統性、科學化的DevOps計量方法,除了評估DevOps技術和流程成熟度的需求以外,也能評估產品是否能如期交付上線,並改善弱點、調整策略,以利下一階段的DevOps專案規劃和執行。

 

DevOps Metrics各項標準簡介

為了將不同的DevOps方法和策略,以科學化、數據化的方式加以評估,國際各種DevOps相關業界和權威單位,規劃了各項DevOps計量方法,來關注DevOps流程中的關鍵環節、提出開發維運流程最佳化的指引。

1.MITRE AiDA DevOps敏捷專案計量

本項DevOps計量方法為美國聯邦非營利科研機構MITRE組織的AiDA(Acquisition in the Digital Age,數位時代下的需求)團隊,針對五個DevOps要素,所歸納出的DevOps計量項目,用來協助DevOps專案與團隊成員符合產品交付和營運需求。

(1)需求計量:主要探討Sprint階段用戶故事(User stories)的交付完成度。

(2)成本計量:主要探討開發團隊執行用戶故事時的工作時數預估需求。

(3)品質計量:主要探討測試階段的涵蓋率(Coverage)多寡。

(4)效能計量:包含用戶故事的驗收合格數、測試合格率等等。

(5)測試報告與分析:評估前述流程執行後,測試涵蓋率和合格率的綜合數據分析。

 2.美國國防部敏捷計量指南

美國國防部有鑑於傳統線型、瀑布式開發程序,無法應付日漸複雜的軟體功能交付作業,因此導入了敏捷開發機制;除用於國防部自身的軟體專案外,也能套用在國防承包商身上。

(1)敏捷流程:包含用戶故事、工作速度、燃盡圖(Burndown chart)等。

(2)敏捷品質:包含覆蓋率、重複失誤率、缺失數目、首次通過率等。

(3)敏捷產品:包含交付內容、交付時間點、客戶滿意度等。

(4)DevSecOps(安全的DevOps):包含平均回復時間(MTTR)、前置時間、交付頻率、變更失敗率。

(5)成本計量:包含設備成本、軟硬體授權成本、時間成本、人力成本等綜合評估。

(6)價值評估:代表軟體交付給客戶時,對客戶的貢獻或影響程度,並可用「單位成本」表示。

 3.SAFe大規模敏捷開發項目

本項目為針對大型企業應用場合而設計的敏捷開發項目,旨在確保企業中不同的DevOps子專案能依循主專案的進度順暢執行。

(1)企業敏捷程度自評:包含7類別共21條目,以雷達圖方法初步評估企業內部的敏捷程度。

SAFe企業敏捷程度自評雷達圖

資料來源: (Scaled Agile Framework (SAFe), 2020)

圖 1 SAFe企業敏捷程度自評雷達圖

(2)組合管理(Portfolio management):包含價值流KPI、產品組合、組織敏捷程度等指標。

(3)大型專案計量:項目包含計畫面的可預測性、計畫運作效能、企業方案交付等指標。

(4)DevOps要素計量:針對DevOps各種要素進行綜合評量,包含技術敏捷程度、產品效能、部署次數、任務循環(Iteration)等。

小結

隨著DevOps在軟體開發業界開始普及化,但早期沒有業界共識的計量標準,往往會造成協調、交付程序的複雜化,影響整體專案之運行;藉由引進DevOps Metrics,可讓採用DevOps的全新團隊能更有系統性、邏輯性的運作方法,並在開發維運循環中持續監控和修正,以兼顧高效率、高良率,並有機會締造高投資報酬率,為下一階段的專案奠定良好運行基礎。 

參考來源:

  1. (2020). Metrics. Retrieved August1 17, 2020, from MITRE: https://aida.mitre.org/agile/agile-metrics/
  2. Scaled Agile Framework (SAFe). (2020, June 30). Metrics. Retrieved August 17, 2020, from Scaled Agile Framework (SAFe): https://www.scaledagileframework.com/metrics/
  3. S. DoD. (2019, September 23). Agile Metrics Guide. Retrieved August 17, 2020, from U.S. DoD: https://www.dau.edu/cop/it/DAU Sponsored Documents/Agile Metrics v1.1 20191122.pdf