端侧 AI 最新动态

使用 AWS IoT Greengrass 和 Strands Agents 规模化部署小型语言模型

AWS 发布教程，介绍如何利用 AWS IoT Greengrass 和 Strands Agents 在边缘设备上规模化部署小型语言模型。该方案结合 Ollama 的本地推理与多智能体编排能力，以 OPC-UA 工业协议为例，展示了在受限硬件上实现离线设备状态查询与文档检索的完整流程。开发者可通过提供的模板快速构建混合云与边缘计算的 AI 智能体系统。