探討如何運用MLOps來持續改進GPT模型

ChatGPT的問世，除了展現令人驚豔的回答能力外，卻也有AI模型架構缺乏安全性、資料不真實等隱憂，需要藉由後續的維護和改良，才能讓ChatGPT發揮應有的使命，來造福使用者。若能藉由導入MLOps來改善GPT模型源頭的資料模型和資料集，可以讓AI模型的訓練和改良，導入敏捷化策略，才能讓AI模型與時俱進、去蕪存菁。

技術發展背景

現行ChatGPT以GPT 3.5模型為核心，先準備龐大、未經分類的「訓練前資料集（Pre-training）」，再經由轉化器（Transformer）將資料集的Raw data進行反覆訓練，並基於正確答案來提升再次訓練的準確率和匹配率；最後，這些訓練出來的資料就銜接到「指引式GPT（Instruct GPT）」介面，讓訓練出來的結果結合人類語法來造樣造句，藉此將正確答案的片段，拼湊為完整的對話語句，才會使GPT成為具備模擬真人對話的ChatGPT。

圖 1：ChatGPT運作簡圖

資料來源： (Cuofano, 2023)

技術介紹與應用現況

隨著GPT的資料輸入量不斷膨脹，ChatGPT也面臨到答題失準、失控的狀況；有鑑於此，為逐步糾正ChatGPT的錯誤答案，早期採用人工評分（點讚、倒噓）的方式，提升正確答案的準確度和匹配度。

若要從源頭資料集來強化GPT的品質和準確度，可藉由導入MLOps的方法，在最源頭的ML循環，建立資料模型、打好基礎；接著再進入Dev循環，進行資料模型的正確性測試，同時採CI/CD管線化部署；在部署上線後，就進入對外運作的Ops循環，除了持續監控資料模型和答案之間的匹配結果外，也能依據使用者意見反饋，來協助資料科學家改良資料模型的品質。

圖 2：MLOps運作簡圖

資料來源： (Khomich, 2022)

未來展望／挑戰

MLOps除了可以用自動化測試、自動化部署的方式，降低人工調校GPT資料模型的麻煩之外，也能夠因應日新月異的最新資料、求新求變的客戶需求，讓資料模型和資料集，能時時自我調整、自我校正。

近期，隨著最新版GPT-4上路，MLOps可藉由此一契機嘗試與GPT-4整合，以先進的開發策略搭配全新的AI模型訓練方式，來提高AI模型的品質，強化AI模型不斷追求快、狠、準的回答速度和準度。

圖片來源：123RF

參考資料

1. Chauhan, A. (2021, October 19). MLOps: Basic Standard Principles. Retrieved from Towards AI: https://pub.towardsai.net/devops-e2b28176724d
   
2. Cuofano, G. (2023, February 24). How Does ChatGPT Work? Retrieved from FourWeekMBA: https://fourweekmba.com/how-does-chatgpt-work/ 
   
   
3. Khomich, A. (2022, April 11). Why Machine Learning Solutions are Difficult to Implement without Machine Learning Operations? Retrieved from Product Coalition: https://productcoalition.com/why-machine-learning-solutions-are-difficult-to-implement-without-machine-learning-operations-674385693733