整合AI辨識模組,AI行動應用程式與跨平臺應用和光學感測器

作者: 張閎翰 發佈時間:2021-02-26
產業分類: 生活服務,人工智慧,機器人,交通運輸,智慧製造
文章分類: 產業動態,轉型成果
文章標籤: #TensorFlow#TensorFlow#AI#跨平台AI
瀏覽人數:123

Google五年前推出TensorFlow深度學習框架至今,全球已有超過1.6億的下載次數。為了能夠讓最先進的機器學習工具可以為更多人存取,並讓所有人都能使用TensorFlow模型,推出TensorFlow Lite的深度學習架構,讓行動端用戶也能夠在手機上運行TensorFlow模型,體驗AI應用。

將AI帶到行動應用程式

TensorFlow Lite的深度學習框架,讓使用者可以方便的在行動或小型嵌入式裝置上開發以機器學習為基礎之應用程式,其TensorFlow Lite Micro讓使用者甚至可以在微控制器上運行機器學習模型。TensorFlow提供多項AI應用,使用者亦可透過Teachable Machine訓練專屬自己的手勢模型,體驗無需用手操作的介面和輔助技術。

 跨平臺AI應用

Google於去年釋出跨平臺多模應用機器學習工作管線框架(MediaPipe)開源專案,讓開發者能夠在行動裝置以及邊緣裝置上,透過WebAssembly技術與搭配XNNPack機器學習預測函式庫,在網頁瀏覽器上運行AI應用,並能即時執行MediaPipe圖。此外, MediaPipe網頁版之視覺化工具,提供互動式Playground環境,加速開發者快速迭代圖的設計,且可以即時透過網路攝影機,在每次圖迭代中進行串流測試。

 圖、可視化工具 https://google.github.io/mediapipe/tools/visualizer.html

資料來源:https://google.github.io/mediapipe/tools/visualizer.html

圖、可視化工具 

 

光學感測器取代接觸式感測器

AR/VR帶動深度學習的發展,不直接接觸的感測器為深度學習主要之研究方向,而光學相機為常見之非接觸式感測器。近年電腦視覺因為深度學習(Deep Learning)在(Computer Vision)上的許多突破,推出以光學影像為輸入之AI應用,如:手勢追蹤系統、姿態輸入與瞳孔追蹤。

市面上關於手勢的應用漸漸從以往的手勢辨識(hand gesture recognition)往手姿態估測與追蹤 (hand pose estimation & tracking)發展。比起單純的辨識手勢,如果可以知道整個手的狀態,如每個指節的位置,那我們就可以不透過鍵盤、滑鼠或是遙控器,單純使用雙手得到更自然的遊戲或創作體驗,甚至是更高階的商務或是醫療服務。

圖、MediaPipe Hand的手姿態估測效果 (image from Google AI Blog)

資料來源:Google AI Blog

圖、MediaPipe Hand的手姿態估測效果 

參考來源:

1.https://google.github.io/mediapipe/