貓奴 ｜ 馬斯克：下一代大模型Grok 3將需要10萬塊英偉達H100
阻止AI發展的最大阻力除了GPU就是電力！馬斯克預計下一代大模型Grok 3將需要10萬塊英偉達H100 GPU，潛在電力消耗相當於一個小城市的用電量。
他認爲：
AGI有可能在未來2年實現超越人類智能的突破，但這一進程需要大量的GPU以及電力消耗。
據馬斯克透露，旗下的人工智能公司xAI目前正在對第二代大語言模型Grok 2進行訓練，預計將在5月完成下一訓練階段。Grok 2的訓練已經耗費了約2萬塊$英偉達 (NVDA.US)$H100 GPU。未來進階版本Grok 3的開發可能需要高達10萬塊英偉達H100 GPU。
馬斯克指出：
當前AI技術的發展面臨兩大難題：一是高端GPU，如英偉達H100的供應短缺，要快速獲得10萬塊GPU並非易事；二是巨大的電力需求。一臺英偉達H100
GPU在全負荷工作時約消耗700瓦電力，因此10萬塊這樣的GPU將消耗高達70兆瓦的電力。若考慮到服務器和冷卻系統的需求，一個配備有10萬塊英偉達H100處理器的數據中心的電力消耗大概會達到100兆瓦，相當於一個小城市的用電量。
這兩大限制因素凸顯了擴展AI技術以滿足不斷增長的計算需求所面臨的挑戰。
儘管如此，計算和存儲技術的進步將使得未來幾年能夠訓練更爲龐大的大型語言模型成爲可能。英偉達在科技盛會GTC 2024上展示的Blackwell B200 GPU平台，旨在支持可擴展至數萬億參數的大語言模型，預示着AGI發展的關鍵一步。
馬斯克預計：
一種比最聰明的人類還智能的人工智能，在未來一至兩年內就會誕生。如果將AGI定義爲智能超過最聰明的人類，我認爲它很可能在明年，或兩年內實現。
編輯/tolk
