跳到正文
MarkTechPost· Asif Razzaq·· 1 天前AI 评分72

Aleph Alpha 发布 Kolibri:78.1B 参数英德双语 MoE 模型,每 token 仅激活 3.46B

Aleph Alpha Releases Kolibri: A 78.1B Open-Weight English-German MoE Model With Only 3.46B Active Parameters

AI 导读

Aleph Alpha 发布开源权重模型 Kolibri-1,总参数量 78.1B,每 token 仅激活 3.46B(4.4%),支持最长 1,048,576 token 上下文,采用 Apache 2.0 许可证并在 Hugging Face 上线。

来源:MarkTechPost · marktechpost.com