我们需要给几乎所有服务加上默认硬性预算上限
Simon Willison 呼吁按用量付费的 API 和服务默认设置硬性预算上限，即超过 $X/月就切断服务并返回错误，而非只发警告邮件。他指出 AWS 已在 9 月 16 日推出月度支出上限功能，项目达到上限后当月暂停，但该新体验目前仅向有限客户开放；Google Cloud 则在 7 月推出了 Spend Caps。
#部署/工程
Simon WillisonAI 评分3838
Berkeley AI ResearchAI 评分4242 自适应并行推理：高效推理扩展的下一个范式
自适应并行推理让模型自行决定何时分解并并行化独立子任务、生成多少并发线程以及如何协调它们，被视为高效推理扩展的下一个范式。现有并行推理方法（如 Self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink、Hogwild!