马斯克：下一代大模型Grok 3将需要10万块英伟达H100
激石Pepperstone(http://www.paraat.net/)报道：
特斯拉首席执行官埃隆·马斯克最近在接受采访时，做出了关于通用人工智能（AGI）发展的大胆预言。
他认为：
AGI有可能在未来2年实现超越人类智能的突破，但这一进程需要大量的GPU以及电力消耗。
据马斯克透露，旗下的人工智能公司xAI目前正在对第二代大语言模型Grok 2进行训练，预计将在5月完成下一训练阶段。Grok 2的训练已经耗费了约2万块英伟达H100 GPU。未来进阶版本Grok 3的开发可能需要高达10万块英伟达H100 GPU。
马斯克指出：
当前AI技术的发展面临两大难题：一是高端GPU，如英伟达H100的供应短缺，要快速获得10万块GPU并非易事；二是巨大的电力需求。一台英伟达H100 GPU在全负荷工作时约消耗700瓦电力，因此10万块这样的GPU将消耗高达70兆瓦的电力。若考虑到服务器和冷却系统的需求，一个配备有10万块英伟达H100处理器的数据中心的电力消耗大概会达到100兆瓦，相当于一个小城市的用电量。
这两大限制因素凸显了扩展AI技术以满足不断增长的计算需求所面临的挑战。
尽管如此，计算和存储技术的进步将使得未来几年能够训练更为庞大的大型语言模型成为可能。英伟达在科技盛会GTC 2024上展示的Blackwell B200 GPU平台，旨在支持可扩展至数万亿参数的大语言模型，预示着AGI发展的关键一步。
马斯克预计：
一种比最聪明的人类还智能的人工智能，在未来一至两年内就会诞生。如果将AGI定义为智能超过最聪明的人类，我认为它很可能在明年，或两年内实现。
