高通推出 Cloud AI 100 Ultra 云推理卡,可运行千亿参数大模型
作者:网络 •更新时间:2023-11-15 16:39:51•阅读 0
据 DoNews 11 月 15 日报道,高通发布云 AI 推理加速卡 Cloud AI 100 Ultra,专为生成式 AI 和大型语言模型而设计。 这款产品可提供相当于上一代产品四倍的性能,可以在单张 150 W 的卡上部署 100B 参数模型,在两张卡上部署 175B 参数,通过堆栈还可以支持更大尺寸的模型。高通表示,Cloud AI 100 平台在**基准测试结果的所有加速卡中均处于**地位。
