中科曙光将发布大模型推理存储新技术
中科曙光将发布推理存储新技术
8月26日,中科曙光相关人士透露,公司将发布面向大模型推理的新一代词元加速方案,重点解决推理过程中的重复计算和数据调度问题。
核心进展
- 新一代词元加速方案已进入发布准备阶段
- ParaStor 分布式存储已应用于国内首个全国产十万卡 AI 超集群曙光 8000(登峰)
- 赛迪顾问报告显示,中科曙光在 AI、教育、具身智能和自动驾驶四个细分行业排名第一
行业意义
该方案聚焦推理环节的算力效率优化,将提升大规模模型推理场景下的数据吞吐与弹性扩展能力。