Microsoft Emotion API人臉情緒溫度識別應用案例 -On the Trump Emoto-Coaster


Microsoft Emotion API人臉情緒溫度識別應用案例

-On the Trump Emoto-Coaster

位在美國波特蘭 (俄勒岡州)的資料視覺化公司Periscopic,在2016美國總統大選結束後利用Microsoft Emotion API做了一個有趣的視覺化實驗。

trump face

圖片來源:Periscopic

Periscopic將Donald Trump在總統大選中幾場重要演講的Youtube公開影片匯入Microsoft Emotion API進行臉部情緒識別,並透過API輸出在影片中檢測到的臉部情緒的時間戳記標識,檢測到的情緒可分辨為憤怒、蔑視、厭惡、恐懼、快樂、中立、悲傷和驚訝等幾種主要情緒。點選該成果網站任一場演講的直式橫向Bar Chart,網頁會自動連結該影片演講的臉部情緒時間點。將游標滑至不同的情緒表情上亦會出現該影片的臉部神情解說。

八種表情識別

圖片來源:Periscopic

微軟在其網站上介紹Emotion API,約略有種應用方式。

一、臉部驗證:檢查兩張臉部是屬於同一個人的可能性。API 會傳回信心分數,顯示兩張臉部是屬於同一個人的可能性。

 

圖片來源:微軟認知服務工具網站

二、臉部偵測:偵測影像中的一或多張人臉,並取得影像臉部位置所在的臉部矩形及臉部屬性,該屬性內含以機器學習為基礎的臉部特徵預測。可用的臉部屬性功能 包括:年齡、表情、性別、姿勢、微笑及鬍子,以及影像中每張臉部的 27 個標誌。

 

圖片來源:微軟認知服務工具網站

三、表情辨識:臉部 API 現在與表情辨識整合,並傳回影像中每個臉部之一組表情的信心分數,例如生氣、鄙視、噁心厭惡、恐懼、快樂、中立、悲傷及驚訝。這些表情已知可跨文化普遍地與特定臉部表情溝通。

 

圖片來源:微軟認知服務工具網站

無疑的,分析美國總統Donald Trump的演講影片即屬第三種表情辨識應用,目前共有八種表情可供識別。API以大約半秒的間隔找到影片內的每個臉部表情,並計算出一組包含八個情緒的數值。其產生的數據可用於監測單個測試者,甚至整個人群的主要情緒。

 

Periscopic公司在Behind the Scenes: How we Made the Trump Emoto-Coaster中詳細介紹了整個分析過程的考量。並用Tableau軟體做初步的情緒數據視覺化探索。

圖片來源:Periscopic

續用Processing 繪製圖像,創造出像流蘇般的橫向柱狀圖,並與影片時間戳記連動。

圖片來源:Periscopic

使用Microsoft Emotion API所嘗試的情緒辨識案例,可驗證微軟這個認知服務工具是否能準確的辨識臉部情緒,並提供未來應用的思考。

參考來源:

  1. On the Trump Emoto-Coaster , https://emotions.periscopic.com/ 
  2. Microsoft Emotion API ,  https://azure.microsoft.com/zh-tw/services/cognitive-services/emotion/ 
延伸閱讀