ChatGPT的心臟-Nvidia H100晶片

ChatGPT被全球數億人使用，已成為全民工具，但大家不知道的是，ChatGPT的心臟之前是NVIDIA A100晶片，逐漸為NVIDIA H100晶片取代，隨著生成式人工智慧起飛，NVIDIA H100早已成為各方搶奪的重要資源。

圖1：ChatGPT的心臟-Nvidia H100晶片
圖片來源：NVIDIA官網https://www.nvidia.com/zh-tw/data-center/h100/

ChatGPT等人工智慧應用，H100是目前功能最完備的平台

建立在 NVIDIA Hopper™ GPU運算架構上的H100，針對開發、訓練和部署生成式人工智慧、大型語言模型(如ChatGPT)及推薦系統是最佳的選擇。與上一代A100相比，訓練生成式人工智慧的速度快了9倍、生成式人工智慧推論速度快上30倍，原本一個星期的工作量，現在只需要 20 個小時即可完成，特性如下：

1.人工智慧中心的基石：世界第一個的人工智慧基礎架構，完全最佳化的硬體及軟體平台，為NVIDIA人工智慧方案系列提供支援、具備第三方支援的豐富生態系，讓使用者獲得 NVIDIA 專業服務的專家建議。

2.突破大規模操作人工智慧的障礙：提供6倍效能、2倍網路速度，新一代架構大幅提升可執行自然語言處理和深度學習推薦模型等大型工作負載。

3.可量身訂做的頂尖基礎架構：可安裝在本機直接管理，以便於在資料中心主機代管、或透過NVIDIA認證的管理式服務供應商取用。

生成式人工智慧先驅均採用H100來執行各項工作

1.OpenAI先前使用H100的前身A100來訓練執行ChatGPT，被全球數億人使用。OpenAI陸續在Azure超級電腦上使用H100來持續支持其AI研究。

2.Meta以H100開發人工智慧超級電腦Grand Teton系統，多項表現優於上一代的Zion系統，支持高級深度學習推薦模型和內容理解的訓練和生產推理。

3.AWS Stability.ai 計畫使用H100來加速執行其即將推出的影片、3D 和多模態模型。

AI起飛造成H100年底前缺貨，阻礙ChatGPT的發展

2023年4月特斯拉執行長馬斯克因為買不到GPU(指H100)，對媒體抱怨：「現在似乎連狗都在買GPU」、「GPU 現在好像比毒品還要難買到」；不只馬斯克，Open AI創辦人Sam Altaman 6月時也說：「GPU短缺的問題正在阻礙ChatGPT的發展，因此推延了部分功能開發計畫，包括了改善API的可靠性與速度問題，以及推出更長的32k上下文本視窗等」。

GPU Utils預測H100目前巿場還缺少43萬顆。OpenAI需要5萬顆執行ChatGPT，Inflection需求2.2萬顆，Meta2.5萬顆，公有雲廠商4家各需要3萬顆，私有雲10萬顆，而其他的小模型廠商10萬顆需求。New Street Research分析師Pierre Ferragu 研究指出，現階段缺貨因為台積電產能供不應求而受限，預測2024年才能供給需求。

參考來源：

1.封面圖片來源：財訊 https://www.wealth.com.tw/articles/65b2a223-343f-4b15-8d53-f99789a30e04
2.元宇宙日爆：https://www.blocktempo.com/crazy-h100-gpu/
3.Yahoo股巿：https://https://tw.stock.yahoo.com/news/nvidia-h100-%E7%82%BA%E4%BD%95%E7%9F%AD%E7%BC%BA-%E7%9C%8B%E5%B0%88%E5%AE%B6%E8%A9%B3%E8%A7%A3ai%E5%B8%82%E5%A0%B4-gpu-075200294.html