1. FIND
  2. 國際案例
  3. Be My Eyes與OpenAI合作，打造視障者新生活

Be My Eyes與OpenAI合作，打造視障者新生活


在過去，由於視障者視覺能力的缺乏，他們無法輕易辨識周圍的環境和物品，即使有些資訊可以透過語音播報，但對於一些視覺上的細節描述，仍然會面臨到許多挑戰。此外，當視障者需要外出時，他們可能需要依賴視力正常的人，協助辨識周遭的事物和路標等。這些問題不僅對他們的生活造成困擾，也可能對他們的自我價值感和社交參與產生影響。

隨著科技的進步，越來越多創新的解決方案不斷出現，目的在協助視障者克服相關問題。在這樣的時代背景下，Be My Eyes和OpenAI於2023年3月宣布合作，將GPT-4的功能融入Be My Eyes的APP，為視障者帶來更全面、精確的圖片描述和更人性化的服務體驗。以下我們來看看它是如何運作，以及它為視障者所帶來的生活改善。

【使用情境說明】

Be My Eyes是一款專為視障者提供協助的應用程式。原先的功能是讓視障者透過視訊通話與志願者連接，以獲得即時的視覺支援。使用者只需點選「Call a volunteer」按鈕，即可進行配對。當志願者接到求助通知後，可以選擇接聽視訊通話，視障者可以將手機相機對著需要協助的物品、文字或場景，並透過視訊通話與志願者進行溝通，獲得即時的支援和解答。

圖1 視障者透過視訊電話來獲得視覺協助圖1 視障者透過視訊電話來獲得視覺協助
資料來源：Be My Eyes官方YouTube

然而根據Be My Eyes的調查研究指出，視障者可能會出於以下三個原因而猶豫是否要使用APP：

  1. 他們希望避免剝奪其他視障者更需要志願者協助的機會
  2. 有些視障者不習慣與陌生人進行視訊電話，這會讓他們感到不安和不熟悉
  3. 有時候使用APP尋求協助會讓他們感到無法獨立自主，他們希望能夠自己解決問題，減少依賴他人的協助

2023年Be My Eyes與OpenAI合作導入GPT-4技術，並新增Virtual Volunteer的功能。這項功能可以使視障者先獨立自主地辨識物品、環境及閱讀文字資訊，僅在Virtual Volunteer無法解答問題時，才會與正常視力的志願者連線尋求協助。透過應用GPT-4技術，Virtual Volunteer能夠提供更準確、豐富的圖片描述和相關資訊，賦予視障者更大的自主權，使他們能夠更好地參與日常生活、學習和社交活動，進而提升生活品質，並更有自信地面對世界。

圖2 點選Virtual Volunteer，對需要尋求視覺協助的物品進行拍照

圖2 點選Virtual Volunteer，對需要尋求視覺協助的物品進行拍照
資料來源：OpenAI官網

圖3 上傳照片並提出問題，Virtual Volunteer能提供相對應的解釋圖3 上傳照片並提出問題，Virtual Volunteer能提供相對應的解釋
資料來源：OpenAI官網

【應用效益】

  • 詳細的環境及物品描述：GPT-4擁有豐富的語言和資料庫，可以提供更詳盡的環境描述，讓視障者更好理解周遭環境的狀況。
  • 場景應用多元：GPT-4的圖片描述功能可應用於多個場景，如：超商、旅遊導覽、交通等，讓視障人士能更輕鬆地參與戶外活動。
  • 高效的回覆速度：GPT-4具有更高的運算能力和更快的回應速度，視障者使用Be My Eyes可以更快速地得到回答，減少志願者配對協助的等待時間。

 【FIND觀點】

隨著人工智慧技術的快速發展，圖像辨識不僅在提升各產業效能方面發揮著重要作用，同時也為視障者帶來許多便利。這意味著視障者能夠逐漸擴展對周圍事物的辨識能力，包括日常生活中的各種物品、食物和文件等，從而更獨立地獲取資訊和閱讀內容。透過先進的圖片描述功能，視障者也能融入社群媒體上分享的照片，進而參與討論的內容，豐富他們的社交體驗。隨著技術的普及化，未來將有更多創新的數位服務出現，進一步提升視障者的自主權和獨立性，同時也促進社會的包容性和公平性。

 【公司介紹】

Be My Eyes是一家成立於2015年的丹麥企業，由家具工匠Hans Jørgen Wiberg所創立。他本身也是一位視障人士，在「丹麥盲人協會」工作期間，他深刻體悟到視障者時常需要他人協助才能應對日常生活中的各種挑戰。在一次偶然的機會中，他從一位盲人朋友的分享中得知，可以透過視訊電話請家人或朋友協助他完成一些日常事務，而這個方法讓他萌生創建Be My Eyes的想法。

Be My Eyes提供免費的APP，旨在協助盲人或低視力族群更容易融入這個世界。透過APP的視訊通話，視障者可以輕鬆聯繫來自世界各地的視力正常的志工，協助他們解決遇到的各種困境。目前已經有超過六百萬名志工加入Be My Eyes，成為盲人和弱視族群的強力助手。

參考來源：

1. 封面圖片來源
    https://www.bemyeyes.com/blog/introducing-be-my-eyes-virtual-volunteer

2. Be My Eyes官網
    https://www.bemyeyes.com/

3. Be My Eyes YouTube
    https://www.youtube.com/@bemyeyes

4. OpenAI官網
    https://openai.com/customer-stories/be-my-eyes

5. ITV News YouTube - Be My Eyes: How ChatGPT4 is helping visually impaired people picture what they can't see
    https://www.youtube.com/watch?v=cUSeFnZGIzY

延伸閱讀
GPT-4、人工智慧、圖像辨識