一、前言

　　近年來隨著深度學習在影像分析上亮眼的表現，研究人員瘋狂地投入人力與經費從事相關技術與應用。根據我國政府研究資訊系統的資料庫[1]和統計結果顯示[2]，國內研究單位/學者以「人工智慧」為題的提案計畫數量在2019年達到1045件計畫執行，若依計畫金額分成三類：新臺幣1億元以上、500萬元至1億元、和500萬元以下。經費1億元以上的計畫部分，在2017年數量增加8倍；而經費500萬元至1億元的計畫部分，則在2018年數量增加7.56倍。此外，自2017年起政府的補助計畫，以「物聯網尖端半導體技術計畫」和「人工智慧產業關鍵技術拔尖計畫」，兩項獲得政府最高經費補助。

　　現今深度學習的模型架構多以卷積類神經網路(convolutional neural network)為基礎，結合多種運算，常見的有：池化器(pooling)、線性整流單元(Rectified Linear Unit, ReLU)、標準化(batch normalization)、全連接(fully connected)、歸一化指數函式(softmax)等，這些運算主要是解決過往機器學習以人工方式計算特徵的問題，然後透過末層的分類(classification)運算達成辨識、分類、分割等應用，圖1為現今知名的深度學習的分析模型架構。此外，研究人員亦使用回歸(regression)運算來替換分類器。

(a)

(b)

(c)

資料來源：節錄自[3, 4, 5, 6]

圖1　深度學習的模型架構：(a) VGG-16 [3, 4]，(b) ResNet [3, 5]，和(c) DenseNet [3, 6]

　　研究人員著眼於設計不同的模型架構以便計算適合的特徵，而模型架構的複雜度將逐步提高，從圖1即可看出。此外，越是複雜的模型相對地需要有足夠的訓練數據，同時需要硬體設備的搭配以便訓練高效能的模型參數，如此既耗費時間也需要足夠經費。每種模型可以視為一種決策單元，然而多數研究著重於使用單一決策單元上。現實生活中對於事物的決策多採用共識決(consensus decision-making)，例如：進行疾病嚴重程度判斷時，需要由兩位以上醫師共同決定其結果，若是醫師出現相反的決定時，則建議需要三人以上的奇數人數採取共識決。因此，若無需設計複雜模型，而是收集多個模型的決策結果進行整合，進而建立共識決模型以產生共識決策結果，則可避免上述的問題。

二、多決策架構

　　基於上述的概念，我們提出一種多決策架構(multi-decision framework)應用於分類上[7]，如圖2所示。根據我們的研究多決策架構是多種多樣的，圖2僅是各種多決策架構之一。多決策架構由數個決策運算子(decision operator)所構成，並且通過兩個以上階段執行運作，每個階段則有兩個以上的決策運算子。在本研究中，決策運算子使用的是回歸運算，包括：支持向量回歸(support vector regression, SVR)、高斯程序回歸(Gaussian process regression, GPR)、隨機森林(random forest, RF)、集成學習之裝袋運算(bagging, BAG)、最小平方增強法(least squares-boosting, LS-Boosting)。

資料來源：節錄自[7]

圖2 應用於分類的多決策架構

　　假設初始數據F由M個長度K的特徵向量組成，每個特徵向量的標註都對應L類別的其中之一。令D^k_i和R^k_i分別表示第i個決策運算子及其在第k個階段的結果。在圖2中的多決策架構的第一階段是由三個決策運算子組成，分別採用SVR、GPR和RF生成三個結果，即R¹₁，R¹₂和R¹₃。決策結果是一個實數，表示對L類別的回歸模型的預測結果。隨後，我們在多決策架構的第二階段使用了五個決策運算子，分別為SVR、GPR、RF、Bagging和LS-Boosting。將R¹₁、R¹₂和R¹₃組合後形成長度3的新特徵向量，此特徵向量將輸入到決策運算子D²₁、D²₂、D²₃、D²₄和D²₅，然後將此些運算子生成結果輸入到最終決策運算子。

　　在圖2中，最終決策運算子D_final是由五個閥值鑑別器(thresholding)和投票系統(voting)所組成。在訓練過程中，第i個閾值鑑別器用來判斷輸入決策結果R²_i。令S為R²_i的集合，S={s₁,s₂,...,s_M}，使用Otsu演算法[8]估算第i個閾值鑑別器的適合閾值，然後第i個閾值鑑別器輸出結果為r_i。當r_i＝{0, 1}時，此架構屬於二分類，若r_i＝{0，1，2}，則本架構屬於三分類。最終投票系統輸出最終結果R_final，其公式定義如下：

(1)

     上式中，Φ(i|Ω)表示i個類別的總決策結果的數量，Ω為5個閥值鑑別器輸出結果的集合，Ω={r₁, r₂, …, r₅}。因此，提出的分類執行程序類似於共識決策的過程。

三、模擬實驗

　　我們分別針對二分類(L=2)和三分類(L=3)進行模擬，並且與過往常見的分類器進行效能比較，這些分類器包括：支持向量機(support vector machine, SVM)、適應性增強方法(adaptive boosting, (AdaBoost)、貝氏分類器(naïve Bayes)和隨機森林(random forest, RF)。首先對二分類實驗，圖3(a)顯示兩張400x400大小的影像，我們隨機從影像中取得0.5%的像素進行訓練，其餘像素為測試用，初始數據是像素的座標值(K=2)。圖3(b)紅點和綠點表示選擇類別0(黑色)和類別1(白色)的像素，模擬結果如圖3(c)和圖3(d)所示。所有方法對於第一列影像都可以獲得良好的分類結果，在第二列影像，SVM和naïve Bayes產生嚴重的錯誤分類，AdaBoost和RF在兩個圖像中的兩個類別之間產生了不平滑的邊緣。另外，我們模擬20次的像素選擇程序以訓練不同模型並計算平均準確度，其結果如表1所列，多決策架構在二分類比起其他分類器能夠提升0.6%~19.7%的準確度。

資料來源：節錄自[7]

圖3 二分類結果：(a) 400x400大小的影像，(b)選擇訓練用像素，(c)四種常見分類器的分類結果，和(d)本多決策架構的分類結果

表1　四種影像使用不同分類方法之平均準確度

資料來源：節錄自[7]

　　圖4(a)顯示兩張400x400大小的影像用來做為三分類實驗的數據，同樣地隨機取得0.5%的像素進行訓練，初始數據是像素的座標值(K=2)。圖4(b)紅點、綠點和藍點表示選擇類別0(黑色)、類別1(灰色)和類別2(白色)的像素，模擬結果如圖4(c)和圖4(d)所示。其中，naïve Bayes仍舊產生最差的分類結果，而RF在兩個不同類別之間產生了不平滑的邊緣。我們同樣地執行了20次的像素選擇程序，表1中第三、第四列為兩張圖像的平均準確度值，多決策架構仍舊比其他方法具有更好的性能，在三分類中提升了0.3％〜35.9％的準確度。

資料來源：節錄自[7]

圖4 三分類結果：(a) 400x400大小的影像，(b)選擇訓練用像素，(c)四種常見分類器的分類結果，和(d)本多決策架構的分類結果

四、結論

　　多決策架構是參考生活中人們的共識決所發展出的技術，透過收集多模型的決策結果進行整合，進而利用多決策架構建立共識決模型，進而提升模型效能。從模擬實驗中，我們採用常見的分類器與本方法進行比較，並且針對二分類和三分類進行實驗測試。從模擬結果證明，本方法在二分類較其他分類器能夠提升0.6%~19.7%的準確度，在三分類較其他分類器能夠提升0.3％〜35.9％的準確度，由此足以證明多決策架構具有良好的分類效能。

五、附註

     本專欄文章乃節錄自2020年作者於IEEE Global Conf. on Consumer Electronics發表的文章「A Classification Method based on Multi-decision Framework Using Regression Model」[7]，其實驗方法與數據皆經過嚴格設計與測試。

 六、參考文獻

1.政府研究資訊系統, https://www.grb.gov.tw/search;keyword=人工智慧;type=GRB05

2.人工智慧在醫學影像分析 (二)：我國政府人工智慧政策, https://www.find.org.tw/index/knowledge/browse/1b0d3728e2b99359bf79460e57ffc937/

3.CNN Architectures, a Deep-dive, https://towardsdatascience.com/cnn-architectures-a-deep-dive-a99441d18049

4.VGG Architecture, https://miro.medium.com/max/2244/1*_1DEx3bHlnBApCWWQ0HgcQ.png

5.ResNet Architecture, https://miro.medium.com/max/2800/0*pkrso8DZa0m6IAcJ.png

6.DenseNet Architecture, https://ai-pool.com/m/densenet-1568742493

7.Y.-C. Zeng, “A Classification Method based on Multi-decision Framework Using Regression Model,” IEEE Global Conf. on Consumer Electronics (GCCE), pp.702-705, Kobe, Japan, Oct. 13-16, 2020.

8.N. Otsu, “A threshold selection method from gray-level histograms,” IEEE Trans. Systems, Man, and Cybernetics, vol.9, no.1, pp.62-66, Jan. 1979.