模型训练稳定性：从训练链路到排障手册 - 石头开会

【摘要】模型训练稳定性：从训练链路到排障手册 我写这篇手册，不是为了追求一条毫无波动的 loss 曲线，而是为了回答一个更实际的问题：怎样让模型在训练预算内持续、有效、可控地学习，并在出现异常时尽快找到真正原因？ 导读：先把目标说清楚——什么才算训练稳定 0.1 loss 有波动，不等于训练不稳定 大模型训 阅读全文