Top
首页>热点 > 正文

英伟达AI芯片劲敌来了!AMD推出MI300X,可运行多达800亿参数模型

发布时间:2023-06-14 06:29:47        来源:清一色财经

MI300X提供的HBM密度是英伟达AI芯片H100的2.4倍,HBM带宽是H100的1.6倍,可以运行的模型比H100的更大。


(资料图片)

来源:华尔街见闻

凭借发布的新品,AMD正式向英伟达的AI芯片王者地位发起挑战。

美东时间6月13日周二,AMD举行了新品发布会,其中最重磅的新品当属性用于训练大模型的Instinct MI300。

AMD CEO苏姿丰介绍,生成式AI和大语言模型(LLM)需要电脑的算力和内存大幅提高。AMD的Instinct MI300A号称全球首款针对AI和高性能计算(HPC)的加速处理器(APU)加速器。在13个小芯片中遍布1460亿个晶体管。

它采用CDNA 3 GPU架构和24个Zen 4 CPU内核,配置128GB HBM3。相比前代MI250,MI300的性能提高八倍,效率提高五倍。AMD在发布会稍早介绍,新的Zen 4c内核比标准的Zen 4内核密度更高,比标准Zen 4的内核小35%,同时保持100%的软件兼容性。

AMD推出一款GPU专用的MI300,即MI300X,该芯片是针对LLM的优化版,拥有192GB的HBM3、5.2TB/秒的带宽和 896GB/秒的Infinity Fabric 带宽。AMD将1530亿个晶体管集成在共12个5纳米的小芯片中。

AMD称,MI300X提供的HBM密度是英伟达AI芯片H100的2.4倍,其HBM带宽是H100的1.6倍。这意味着,AMD的芯片可以运行比英伟达芯片更大的模型。

Lisa Su介绍,MI300X可以支持400亿个参数的Hugging Face AI 模型运行,并让这个LLM写了一首关于旧金山的诗。这是全球首次在单个GPU上运行这么大的模型。单个MI300X可以运行一个参数多达800亿的模型。

LLM需要的GPU更少,带来的直接好处就是,可以节约成本。

AMD还发布了AMD Instinct 平台,它拥有八个MI300X,采用行业标准OCP设计,提供总计1.5TB 的HBM3 内存。

苏姿丰称,适用于CPU和GPU的版本MI300A现在就已出样,MI300X和八个GPU的Instinct 平台将在今年第三季度出样,第四季度正式推出。

关键词:

相关新闻