IT之家·· 13 小时前精选AI 评分81
开发者开源 Strata 引擎,支持 12GB 显存显卡运行 125B Qwen3.8 模型
12GB 显存显卡跑 125B Qwen3.8 模型:Strata 登场,单张 RTX 5070 跑出 94 词元 / 秒
AI 导读
开发者 Niko1221 开源推出 Strata 引擎,支持在 12GB 及以上显存的消费级显卡上运行量化的 125B 参数 Qwen3.8-Flash-Next 模型。该引擎通过将高频专家模型载入显存和投机解码技术降低资源占用。在 RTX 5070 显卡下,其 2 比特量化版推理速度可达 94 token/秒。
推荐理由
原文介绍了 Strata 引擎通过内存调度和投机解码技术,使 12GB 显存显卡能够运行 125B 参数模型,为开发者提供了极低成本的本地部署方案。
来源:IT之家 · ithome.com