多決策架構的分類技術

曾易聰 2021-02-18 人工智慧大數據 技能觀測
瀏覽人數:435

一、前言

  近年來隨著深度學習在影像分析上亮眼的表現,研究人員瘋狂地投入人力與經費從事相關技術與應用。根據我國政府研究資訊系統的資料庫[1]和統計結果顯示[2],國內研究單位/學者以「人工智慧」為題的提案計畫數量在2019年達到1045件計畫執行,若依計畫金額分成三類:新臺幣1億元以上、500萬元至1億元、和500萬元以下。經費1億元以上的計畫部分,在2017年數量增加8倍;而經費500萬元至1億元的計畫部分,則在2018年數量增加7.56倍。此外,自2017年起政府的補助計畫,以「物聯網尖端半導體技術計畫」和「人工智慧產業關鍵技術拔尖計畫」,兩項獲得政府最高經費補助。

  現今深度學習的模型架構多以卷積類神經網路(convolutional neural network)為基礎,結合多種運算,常見的有:池化器(pooling)、線性整流單元(Rectified Linear Unit, ReLU)、標準化(batch normalization)、全連接(fully connected)、歸一化指數函式(softmax)等,這些運算主要是解決過往機器學習以人工方式計算特徵的問題,然後透過末層的分類(classification)運算達成辨識、分類、分割等應用,圖1為現今知名的深度學習的分析模型架構。此外,研究人員亦使用回歸(regression)運算來替換分類器。

VGG-16

(a)

ResNet

(b)

DenseNet

(c)

資料來源:節錄自[3, 4, 5, 6]

圖1 深度學習的模型架構:(a) VGG-16 [3, 4],(b) ResNet [3, 5],和(c) DenseNet [3, 6]

  研究人員著眼於設計不同的模型架構以便計算適合的特徵,而模型架構的複雜度將逐步提高,從圖1即可看出。此外,越是複雜的模型相對地需要有足夠的訓練數據,同時需要硬體設備的搭配以便訓練高效能的模型參數,如此既耗費時間也需要足夠經費。每種模型可以視為一種決策單元,然而多數研究著重於使用單一決策單元上。現實生活中對於事物的決策多採用共識決(consensus decision-making),例如:進行疾病嚴重程度判斷時,需要由兩位以上醫師共同決定其結果,若是醫師出現相反的決定時,則建議需要三人以上的奇數人數採取共識決。因此,若無需設計複雜模型,而是收集多個模型的決策結果進行整合,進而建立共識決模型以產生共識決策結果,則可避免上述的問題。

二、多決策架構

  基於上述的概念,我們提出一種多決策架構(multi-decision framework)應用於分類上[7],如圖2所示。根據我們的研究多決策架構是多種多樣的,圖2僅是各種多決策架構之一。多決策架構由數個決策運算子(decision operator)所構成,並且通過兩個以上階段執行運作,每個階段則有兩個以上的決策運算子。在本研究中,決策運算子使用的是回歸運算,包括:支持向量回歸(support vector regression, SVR)、高斯程序回歸(Gaussian process regression, GPR)、隨機森林(random forest, RF)、集成學習之裝袋運算(bagging, BAG)、最小平方增強法(least squares-boosting, LS-Boosting)。

多決策架構

資料來源:節錄自[7]

圖2 應用於分類的多決策架構

  假設初始數據FM個長度K的特徵向量組成,每個特徵向量的標註都對應L類別的其中之一。令DkiRki分別表示第i個決策運算子及其在第k個階段的結果。在圖2中的多決策架構的第一階段是由三個決策運算子組成,分別採用SVR、GPR和RF生成三個結果,即R11R12R13。決策結果是一個實數,表示對L類別的回歸模型的預測結果。隨後,我們在多決策架構的第二階段使用了五個決策運算子,分別為SVR、GPR、RF、Bagging和LS-Boosting。將R11R12R13組合後形成長度3的新特徵向量,此特徵向量將輸入到決策運算子D21D22D23D24D25,然後將此些運算子生成結果輸入到最終決策運算子。

  在圖2中,最終決策運算子Dfinal是由五個閥值鑑別器(thresholding)和投票系統(voting)所組成。在訓練過程中,第i個閾值鑑別器用來判斷輸入決策結果R2i。令SR2i的集合,S={s1,s2,...,sM},使用Otsu演算法[8]估算第i個閾值鑑別器的適合閾值,然後第i個閾值鑑別器輸出結果為ri。當ri={0, 1}時,此架構屬於二分類,若ri={0,1,2},則本架構屬於三分類。最終投票系統輸出最終結果Rfinal,其公式定義如下:

公式1(1)

     上式中,Φ(i|Ω)表示i個類別的總決策結果的數量,Ω為5個閥值鑑別器輸出結果的集合,Ω={r1, r2, …, r5}。因此,提出的分類執行程序類似於共識決策的過程。

三、模擬實驗

  我們分別針對二分類(L=2)和三分類(L=3)進行模擬,並且與過往常見的分類器進行效能比較,這些分類器包括:支持向量機(support vector machine, SVM)、適應性增強方法(adaptive boosting, (AdaBoost)、貝氏分類器(naïve Bayes)和隨機森林(random forest, RF)。首先對二分類實驗,圖3(a)顯示兩張400x400大小的影像,我們隨機從影像中取得0.5%的像素進行訓練,其餘像素為測試用,初始數據是像素的座標值(K=2)。圖3(b)紅點和綠點表示選擇類別0(黑色)和類別1(白色)的像素,模擬結果如圖3(c)和圖3(d)所示。所有方法對於第一列影像都可以獲得良好的分類結果,在第二列影像,SVM和naïve Bayes產生嚴重的錯誤分類,AdaBoost和RF在兩個圖像中的兩個類別之間產生了不平滑的邊緣。另外,我們模擬20次的像素選擇程序以訓練不同模型並計算平均準確度,其結果如表1所列,多決策架構在二分類比起其他分類器能夠提升0.6%~19.7%的準確度。

二分類結果

資料來源:節錄自[7]

圖3 二分類結果:(a) 400x400大小的影像,(b)選擇訓練用像素,(c)四種常見分類器的分類結果,和(d)本多決策架構的分類結果

 

表1 四種影像使用不同分類方法之平均準確度

表1

資料來源:節錄自[7]

  圖4(a)顯示兩張400x400大小的影像用來做為三分類實驗的數據,同樣地隨機取得0.5%的像素進行訓練,初始數據是像素的座標值(K=2)。圖4(b)紅點、綠點和藍點表示選擇類別0(黑色)、類別1(灰色)和類別2(白色)的像素,模擬結果如圖4(c)和圖4(d)所示。其中,naïve Bayes仍舊產生最差的分類結果,而RF在兩個不同類別之間產生了不平滑的邊緣。我們同樣地執行了20次的像素選擇程序,表1中第三、第四列為兩張圖像的平均準確度值,多決策架構仍舊比其他方法具有更好的性能,在三分類中提升了0.3%〜35.9%的準確度。

三分類結果資料來源:節錄自[7]

圖4 三分類結果:(a) 400x400大小的影像,(b)選擇訓練用像素,(c)四種常見分類器的分類結果,和(d)本多決策架構的分類結果

四、結論

  多決策架構是參考生活中人們的共識決所發展出的技術,透過收集多模型的決策結果進行整合,進而利用多決策架構建立共識決模型,進而提升模型效能。從模擬實驗中,我們採用常見的分類器與本方法進行比較,並且針對二分類和三分類進行實驗測試。從模擬結果證明,本方法在二分類較其他分類器能夠提升0.6%~19.7%的準確度,在三分類較其他分類器能夠提升0.3%〜35.9%的準確度,由此足以證明多決策架構具有良好的分類效能。

五、附註

     本專欄文章乃節錄自2020年作者於IEEE Global Conf. on Consumer Electronics發表的文章「A Classification Method based on Multi-decision Framework Using Regression Model」[7],其實驗方法與數據皆經過嚴格設計與測試。

 六、參考文獻

1.政府研究資訊系統, https://www.grb.gov.tw/search;keyword=人工智慧;type=GRB05

2.人工智慧在醫學影像分析 (二):我國政府人工智慧政策, https://www.find.org.tw/index/knowledge/browse/1b0d3728e2b99359bf79460e57ffc937/

3.CNN Architectures, a Deep-dive, https://towardsdatascience.com/cnn-architectures-a-deep-dive-a99441d18049

4.VGG Architecture, https://miro.medium.com/max/2244/1*_1DEx3bHlnBApCWWQ0HgcQ.png

5.ResNet Architecture, https://miro.medium.com/max/2800/0*pkrso8DZa0m6IAcJ.png

6.DenseNet Architecture, https://ai-pool.com/m/densenet-1568742493

7.Y.-C. Zeng, “A Classification Method based on Multi-decision Framework Using Regression Model,” IEEE Global Conf. on Consumer Electronics (GCCE), pp.702-705, Kobe, Japan, Oct. 13-16, 2020.

8.N. Otsu, “A threshold selection method from gray-level histograms,” IEEE Trans. Systems, Man, and Cybernetics, vol.9, no.1, pp.62-66, Jan. 1979.