如何使用 Ray LLM Deep Learning Containers 运行多节点推理工作负载

AWS 推出面向多节点部署的 Ray LLM DLC，支持在 Amazon EKS 上的两个 GPU 节点间部署单个大语言模型并提供兼容 OpenAI 的统一端点。该方案集成了 Ray Serve LLM、NVIDIA Inference Transfer Library (NIXL) 与 EFA 栈，通过预填充与解码阶段的分离提升大规模推理性能。