开发者开源 Strata 引擎，支持 12GB 显存运行 125B 模型

开发者 Niko1221 开源推出 Strata 推理引擎，支持在 12GB 及以上显存的消费级显卡上运行量化的 1250 亿参数 Qwen3.8-Flash-Next 模型。 该引擎通过将高频专家模型载入显存和投机解码技术降低资源占用。在 RTX 5070 显卡下，其 2 比特量化版推理速度可达 94 token/秒。 运行该模型需满足最低配置：12GB 以上显存的 NVIDIA 或 AMD 显卡、32GB 以上内存、80GB 以上存储空间（推荐 SSD），以及 Windows 10/11 或 Linux 系统。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。