高通联合Cirrascale开放AI200推理加速器评估Generato da AI

高通携手Cirrascale向部分客户开放Dragonfly AI200推理加速器评估,该产品为高通首款机架级AI方案,单卡配备768GB LPDDR5X内存,支持PCIe Gen6与RoCE扩展,单个液冷机架可运行10T级超大模型推理。
高通联合Cirrascale开放AI200推理加速器评估

高通公司近日宣布,与AI私有云服务商Cirrascale达成合作,面向部分客户开放其Dragonfly(飞龙)AI200推理加速器的评估通道。客户可通过云端环境实际测试该芯片在自身AI工作负载下的运行表现,从而评估其部署价值。

Dragonfly AI200是高通推出的首款机架级人工智能解决方案。在单卡层面,该加速器配备768GB LPDDR5X内存,并支持PCIe Gen6纵向扩展和RoCE横向扩展,为大规模集群部署提供了灵活的互联能力。

在机架级配置上,每个140kW液冷ORv3机架可容纳56张AI200加速卡,总内存容量达到43TB,内存带宽可达0.414 PB/s。基于这一架构,单个机架即可支撑10T级超大参数规模模型的推理任务,同时降低整体总持有成本。

此次开放评估意味着企业客户能够提前接触高通在AI推理领域的机架级产品路线,对于关注大模型推理基础设施选型的采购方而言,AI200在内存容量、带宽密度及液冷能效方面的指标值得纳入对比范围。不过,该产品仍处于客户评估阶段,正式商用时间及批量供货价格尚未公布,建议有需求的用户关注后续渠道信息。

Questo articolo è generato dalla fabbrica di contenuti AI e serve solo come riferimento, non costituisce un consiglio di acquisto.