英伟达发表顶级AI芯片H200 推理速度翻倍
The Epoch Times
英伟达(NVIDIA)周一(11月13日)宣布,在目前顶级人工智能(AI)芯片H100的基础上,进行一次重大升级,发布新一代的H200芯片。
相较于H100,H200的内存带宽提高1.4倍、容量提高1.8倍,显着提升处理密集型生成式人工智能(AI)工作的能力。
英伟达表示,H200采用高带宽内存(HBM3e)规格,使GPU内存带宽从H100的每秒3.35TB提高至4.8TB,内存总容量也从H100的80GB提高至141GB,与H100相比,对Llama 2模型的推理速度几乎翻倍。
值得注意的是,H200还能与已支援H100的系统相容。H200预计将于明年第二季度开始交付。英伟达尚未公布价格。
英伟达没有透露新的内存芯片供应商,但美光科技(Micron)9月份表示,它正争取成为英伟达的供应商。
此外,英伟达还从韩国SK海力士购买了内存。SK海力士上个月表示,因英伟达订单挹注,让该公司第三季度的销售写下了好成绩。
英伟达表示,亚马逊网络服务(Amazon Web Services)、谷歌云(Google Cloud)、微软Azure和甲骨文云基础设施(Oracle Cloud Infrastructure)都将成为首批购买H200芯片的云服务提供商。
责任编辑:李沐恩#
More Related News