Megatron Core 最近三个月发布了什么？
五条主线各接到哪道基础题？
先弄清楚：每个概念是什么
- Megatron Core、Megatron-Bridge、NeMo-RL
- Megatron Core 是训练库。Megatron-Bridge 放各模型在各硬件上的 recipe。NeMo-RL 是 RL post-training 框架，0.8.0 的容器装的是 Megatron-Core 0.20.0 和 Megatron-Bridge 0.7.0。
- Experimental
- release notes 和文档里的标注。GTP 文档的原话是 API、配置和行为 "may change in future versions without notice"。
- NVLink domain
- 一组互相用 NVLink 直连的 GPU，domain 内的通信比跨 domain 快得多。
- All-to-all
- EP 里把 token 发到 expert 所在的卡、算完再收回来的通信（见 MoE 与 Expert Parallel）。
看图：五条主线各建立在哪个已有概念上
30 秒回答
From the core 0.19 and 0.20 release notes, I'd group the work into five threads. Megatron-FSDP v2 adds ZeRO-style sharding that can differ inside and across NVLink domains. Generalized Tensor Parallelism adds ZeRO-3-style weight sharding on the model-parallel axis. For MoE, the NCCL EP backend and ShortcutMoE overlap speed up expert-parallel communication, plus fused MegaMoE kernels on main. Bitwise-deterministic training targets under ten percent overhead. And there's MXFP8 and NVFP4 training with full-iteration CUDA Graphs. Most of this is experimental, so I'd quote any limit with the version I read.
版本时间线
| 仓库 | 版本 | 发布日期 | 有关内容 |
|---|---|---|---|
| Megatron Core | 0.19.0 | 2026-08-19 | NCCL EP 首次加入；MXFP8 training path；MFSDP v2 还写着 "under development" |
| 0.19.2 | 2026-09-18 | 小版本，1F1B A2A overlap 支持 FP4 | |
| 0.20.0 | 2026-10-29 | MFSDP v2 接入；GTP 加功能；ShortcutMoE；NVFP4 training | |
| Megatron-Bridge | 0.7.0 | 2026-10-30 | GB300 的 MoE recipe 默认换成 NCCL EP |
| NeMo-RL | 0.8.0 | 2026-11-06 | NCCL reshard refit |
五条主线
| 主线 | 是什么 | 先会的基础题 | 细节页 |
|---|---|---|---|
| MFSDP v2 | Megatron 自己的 FSDP，能切到 ZeRO-1/2/3。NVLink domain 内外可以用不同级别。0.20.0 的 adapter 要求 TP=1 | ZeRO | MFSDP v2 |
| GTP | GTP = TP × GTP_remat。GTP_remat 把 weight 切开存，GEMM 前 all-gather 拼回来。文档说它是切在 model-parallel 轴上的 ZeRO-3 | TP、overlap | GTP |
| MoE 的 EP communication | NCCL EP 是新的 dispatcher backend。ShortcutMoE 让 all-to-all 和 attention 重叠。MegaMoE 把 dispatch、expert 计算、combine 融成一个 kernel，它在 main 上，不在 0.20.0 的 highlights 里 | EP | EP communication |
| Bitwise determinism | 目标是固定环境下 bit-exact，steady-state overhead 低于 10%。0.20.0 把它列为 "multi-release effort" | all-reduce | determinism |
| Low precision 和 CUDA Graph | MXFP8 和 NVFP4 training，选定的 tensor 留 FP32。MFSDP v2 的 dense 配置支持 full-iteration CUDA Graph | mixed precision、CUDA Graph | low precision |
题库里还没有的主题
- Muon：0.20.0 加了 layer-sharded 的 distributed Muon（PR #6683）
- Sequence packing 和 dynamic CP：0.20.0 加了 DP-balanced sequence packing。Dynamic CP 在 main 上改用标准的 train 和 eval schedule，旧名字是 hybrid CP（PR #7047）
- RL 的 weight refit：NeMo-RL 0.8.0 的 NCCL reshard refit 把 DeepSeek-V3 671B 在 H100 上的 refit 从 14.9 s 降到 2.6 s（release notes）
必答点
- 依据是 core 0.19.0（08-19）和 0.20.0（10-29）的 release notes
- 五条主线和各自的基础题：MFSDP v2（ZeRO）、GTP（TP）、MoE 的 EP communication（all-to-all）、bitwise determinism（reduction order）、low precision 和 CUDA Graph（mixed precision）
- 多数功能是 experimental，引用限制时带版本。0.20.0 写 MFSDP v2 的 optimizer checkpoint 不含 EP layout，main 上已经修掉了（PR #8230）
- HybridEP 没有被弃用，Megatron-Bridge 0.7.0 的原话是 "HybridEP deprecation and full migration are deferred."（见 EP communication）
追问
接下来一个季度团队要做什么？
Q4 roadmap #9232 的目标版本是 26.12，写着 "scope may change"。和这五条有关的有 "Tune MFSDP v2 for Nemotron and DeepSeek workloads" 和 "Benchmark NCCL EP recipes against DeepEP v2, including on AWS."，determinism 要扩到更多 kernel。
五条里挑哪两条讲透？
没有证据说哪条被问的概率高。五条各说一句，再按自己能接上的基础题挑两条，比如熟 ZeRO 和 TP 就讲 MFSDP v2 和 GTP。
GPTModel 还能用吗？
0.19.0 的 release notes 有一条 "GPTModel: deprecation announcement"，并把 HybridModel 叫作 "next-gen model class"。0.20.0 里 DeepSeek V4 由 HybridModel 支持。
来源core 0.20.0 release notes · core 0.19.0 release notes · core 0.19.2 · Megatron-Bridge 0.7.0 · NeMo-RL 0.8.0 · GTP 文档 · determinism tracker #5785 · MegaMoE 状态页 #8427 和 PR #8210 ·Q4 roadmap #9232 · PR #8230 · PR #7075 · 全部链接和原话见 更新笔记第 3 节 · 题库条目是 ml-八股 06 的第 0 题