2025年3月18日,基于开源KTransformers架构的 CPU/GPU 异构推理能力,沐曦在曦云C500单卡GPU上成功实现DeepSeek-R1-671B满血版单并发解码吞吐16.5 tokens/s的优异成绩,相比社区官方数据提升20%以上。

图片来源:沐曦Meta公众号

相比国际高端GPU八卡满血版部署方案,本项目在单并发性能上具有极高的性价比。

图片来源:沐曦Meta公众号

沐曦和KVCache.AI团队合作,通过对KTransformers模型框架进行细致的分析和调整,团队成功达成了曦云C500与KTransformers的无缝对接,为进一步性能优化奠定了坚实的基础。

更多相关信息

  • 普超新闻 | 普超资本荣登甲子光年「2025-2026 年度人工智能活跃投资机构」榜单

  • 普超投资组合 | 国内首个临床级语音抑郁 AI 诞生,宇音数康参与研究成果登顶《Nature Communications》

  • 博雷顿:与泰凯英战略合作升级,共建零碳智能矿山新生态