跳到正文
IT之家·· 13 小时前精选AI 评分81

开发者开源 Strata 引擎,支持 12GB 显存显卡运行 125B Qwen3.8 模型

12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒

AI 导读

开发者 Niko1221 开源推出 Strata 引擎,支持在 12GB 及以上显存的消费级显卡上运行量化的 125B 参数 Qwen3.8-Flash-Next 模型。该引擎通过将高频专家模型载入显存和投机解码技术降低资源占用。在 RTX 5070 显卡下,其 2 比特量化版推理速度可达 94 token/秒。

推荐理由

原文介绍了 Strata 引擎通过内存调度和投机解码技术,使 12GB 显存显卡能够运行 125B 参数模型,为开发者提供了极低成本的本地部署方案。

来源:IT之家 · ithome.com