生成式AI風險與日俱增，促使AI風險管理成為新商機

生成式人工智慧（Generative AI）在日漸普及化的同時，由於有很多來自不成熟使用者的良莠不齊資訊，有意無意地被灌輸進AI資料集（Dataset），造成AI有風險暴露的疑慮，甚至會造成一發不可收拾的後果。有鑑於此，生成式AI的風險管理日漸被重視，甚至有IT業界紛紛投入生成式AI風險管理，除了可以預防難以估計的損失外，甚至演變成一種趨勢，讓IT業界和AI使用者都能從中受益。

趨勢發展背景

依據《財星》雜誌引述來自第三方AI產業調查機構Arize，針對「財星500大」的AI風險調查 ，在財星500大企業中，有281家表示有AI方面的風險，且500大企業中呈現的2024年度AI風險數量比2022年多了473.5%。

國際企業界自從擁抱生成式AI之後，雖然享受了生成式AI在產能、效率等方面的莫大便利，卻也帶來了機敏資訊外洩、生成結果錯誤等顧慮，可謂一則以喜、一則以憂。因此IT產業界需要建立AI風險管理的概念和機制，而AI風險管理的顧問和供應商也發產為新興商機。

產業趨勢說明

自從IT業界發覺到生成式AI風險管理的重要性之後，除了要在企業內部實施AI風險管理外，也產生了產業鏈和生態系，結合跨部門、跨專長的力量來共同管控生成式AI的潛在風險。

依據市調機構Grand View Research於今年針對「營運風險」、「安全風險」和「道德風險」三種領域的報告指出，2023年的AI風險管理全球產值為55億美元、2024年底預估達61億美元，2030年預估成長達125.7億美元，2024~2030複合年均成長率（CAGR）為12.8%。 

圖 1：AI風險管理成長趨勢（by Grand View Research）

資料來源：Grand View Research, 2024

另依據市調機構Market.us於今年針對「解決方案」和「服務」兩種領域的AI風險管理成長趨勢報告指出，2023年的AI風險管理全球產值為103億美元、2024年底預估達61億美元，2033年預估成長達399億美元，2024~2033複合年均成長率（CAGR）為14.5%。 

圖 2：AI風險管理成長趨勢（by Market.us）

資料來源：Market.us, 2024

未來展望／挑戰

為有效實施生成式AI的風險控管，AI相關產業希望從源頭把關，例如標準化、法規化，藉由制度規範來確保AI不會因為潛在風險而變成潘朵拉的盒子。

未來生成式AI將從「風險管控」進一步演化到「AI治理（AI Governance）」，從原本的災害防堵為前提的風險抑制策略，變得更主動積極，從源頭打點生成式AI自開發、訓練、推出、維護、安全性等各個環節，期望減少例外狀況和衍生災害發生的機率，藉由積極的AI治理，讓生成式AI發揮使命和關鍵價值。

 

封面圖片來源：123RF

參考資料來源：

1.Arize. (2024, July). The Rise Generative AI In SEC Filings. Retrieved from Arize: https://arize.com/wp-content/uploads/2024/07/The-Rise-of-Generative-AI-In-SEC-Filings-Arize-AI-Report-2024.pdf 

2.Brady, D., & Abrams, J. (2024, August 19). More than half of Fortune 500 companies now cite AI as a business risk. Retrieved from Fortune: https://fortune.com/2024/08/19/over-half-fortune-500-companies-cite-ai-business-risk-chatgpt/ 

3.Goetz, M., & O'Grady, M. (2024, November 13). AI Governance Software Spend Will See 30% CAGR From 2024 To 2030. Retrieved from Forrester: https://www.forrester.com/blogs/ai-governance-software-spend-will-see-30-cagr-from-2024-to-2030/ 

4.Grand View Research. (2024, August 21). AI Model Risk Management Market Size, Share Report, 2030. Retrieved from Grand View Rewearch: https://www.grandviewresearch.com/industry-analysis/ai-model-risk-management-market-report 

5.Ma, J. (2024, August 19). The number of Fortune 500 companies flagging AI risks has soared 473.5%. Retrieved from Fortune: https://fortune.com/2024/08/18/ai-risks-fortune-500-companies-generative-artificial-intelligence-annual-reports/ 

6.Market.us. (2024, August). AI in Risk Management Market. Retrieved from Market.us: https://market.us/report/ai-in-risk-management-market/