综合
推理 INFRA 方法论（2）：分布式推理：TP、DP、EP、CP 与 PP 的取舍
掘金0 次浏览
围绕权重、KV、激活和通信预算，分析 TP、DP、EP、CP 与 PP 的容量、通信及吞吐取舍，讨论注意力与 MoE 的并行组合，以及长上下文和流水线的额外约束。
原文：https://juejin.cn/post/7703513208040357914上一篇Kestrel_VLLM - 29 · CUDA Graph 接到 hybrid 路径下一篇WorkBuddy 怎么做网页小游戏：深海钓鱼游戏 43 次对话、301 积分从一句话做到发布（附手机横屏踩坑）
