Meta發布SAM 2影像處理新突破，這新技術你跟上了嗎？

2024年7月29日Meta 發表Segment Anything Model 2（SAM2），大幅提升影像分割的精準度與靈活性，引發廣泛關注。SAM2 無需額外訓練，即可即時辨識並分割靜態影像與影片中的物件，適應多種場景，且操作直覺、使用便利。此外，SAM2 可與語音、影像等多模態 AI 技術整合，讓物件分割更智能、更全面，相較於第一代的SAM 具備更強的即時處理能力。

圖1 :  Meta AI SAM發布會

圖片來源 : https://www.youtube.com/watch?v=KYD2TafoR6I

【應用說明】

影片編輯與特效製作

SAM 2 透過即時物體追蹤與分割，使影片編輯更直觀。Meta AI 的示範顯示，創作者可快速標記並編輯影片中的特定物件，如替換品牌標誌、修改場景或調整角色服裝，大幅提升後製效率。這項技術可應用於電影、廣告與電玩產業，展現優異的動態場景處理與特效支援能力，為創新行銷注入新活力。

圖2 : 展示 SAM 2 在影片編輯中的動態分割效果，模擬真實場景處理

圖片來源 : https://www.latent.space/p/sam2

醫療影像分析

SAM 2 在醫療領域展現巨大潛力，能自動分割醫學影像中的器官或病變，協助醫生診斷與手術規劃。牛津大學團隊基於 SAM 2 框架開發的 Medical SAM 2 （MedSAM-2），已在真實醫療場景中得到應用。例如，在乳腺癌與肝癌診斷中，MedSAM-2 能快速標註腫瘤範圍，其 3D 影像分割性能超越現有先進模型，顯著提升診斷效率。此外，它還具備單次提示分割的能力，進一步提升醫療影像分析的效率與準確度。

圖3 : 牛津大學開發的 Medical SAM 2，展示其在 3D 醫學影像分割中的應用

圖片來源 : https://arxiv.org/html/2408.00874v1

環境監測

SAM 2 在環境監測領域的應用正在探索中。研究人員已利用其前身 SAM 分析衛星影像，分割森林、水體與城市區域，並將技術推廣至 SAM 2。例如，學術團隊透過 SAM 2 處理無人機連續影像，測試其在巴西雨林砍伐監測中的表現，實現即時偵測環境變化。這項技術有望協助相關機構制定環保決策，目前仍處於研究階段，仍需更多實務驗證。

圖4  :環境監測：SAM 2 在衛星影像分割中的潛在應用

圖片來源 : https://www.ultralytics.com/blog/applications-of-meta-ai-segment-anything-model-2-sam-2

海洋探測研究

SAM 2 的影像分割能力使其在海洋研究中有潛在應用，例如分析聲納影像或水下影片，識別海洋廢棄物與珊瑚礁變化。目前公開的具體應用案例較少，但其即時追蹤功能理論上可支援海洋清理計畫，例如分類水下垃圾，提高環保行動的效率。

圖5:  海洋探測研究：SAM 2 在水下影像處理中的未來可能性。

圖片來源 : https://www.ultralytics.com/blog/applications-of-meta-ai-segment-anything-model-2-sam-2

【FIND觀點】

SAM2 技術已逐漸應用於設計、醫療等領域，但在文化藝術方面仍尚未有明確的應用案例。然而，個人認為 SAM2 在台灣文化推廣上具有極大潛力，特別是在智慧導覽、數位展覽等應用。例如，在原住民族文化方面，SAM2 可用於自動分割並強調傳統服飾與圖騰等，並結合數位導覽與AR/VR互動體驗，讓民眾更認識各族群特色。這些技術應用將有助於文化推廣，使台灣的獨特文化更容易觸及大眾。

封面圖片來源 : The Era of Generative AI: How Large Multimodal Models are Reshaping Industries in 2024

https://www.linkedin.com/pulse/year-large-multimodal-model-lmm-santiago-santa-mar%C3%ADa-morales-r1sse/

參考資料來源 : 

1. Abirami Vina Applications of Meta AI's Segment Anything Model 2 (SAM 2)

   https://www.ultralytics.com/blog/applications-of-meta-ai-segment-anything-model-2-sam-2

2. WIRED Meta: segment ‘anything anywhere all at once’

   https://wired.me/technology/segment-anything-all-at-once/

3. Datature Use Cases and Improvements

   https://www.datature.io/blog/introducing-metas-sam-2-use-cases-and-improvements

4. arXiv The Oxford University team released Medical SAM 2

   https://arxiv.org/html/2408.00874v1

5. Latent Space Segment Anything 2: Demo-first Model Development

   https://www.latent.space/p/sam2