8GB内存跑2.78T参数模型

8月8日，开发者开源项目 kimi-k3-in-c，实现 2.78 万亿参数的 Kimi K3 模型在仅 8GB 内存设备上运行。

核心方案

  • 项目仅 176KB，纯 C99 编写，无需 GPU、CUDA、PyTorch 或 BLAS

  • 利用 MoE 架构特性，每层 896 个专家仅激活 16 个

  • 专家权重存于 NVMe 硬盘按需读取，密集层采用流式加载


性能限制

8GB 内存模式下生成 1 个 token 需约 32.7 秒，需近 1.7TB 高速存储。

开发者表示，该方案目前不具备生产使用价值，但为低成本运行超大规模模型提供了新思路。