首页
大模型学习路线图
图解大模型
从零手写大模型
大模型论文研读
关于我
大模型论文研读
学习与思考,记录读懂一篇论文的过程。
Transformer · 1 篇
Switch Transformer · 3 篇
Transformer
Attention Is All You Need · 2017
01
一张图看懂 Transformer — Figure 1 动态架构图
Switch Transformer
已完结 · 共 3 篇 · 从路由机制到实验结论与局限
01
MoE 与单专家路由 — Mixture of Experts & Top-1 Routing
02
专家容量与负载均衡 — Expert Capacity & Load Balancing
03
训练稳定性、实验结论与局限 — Training Stability, Results & Limitations