MindSpeed 训练框架

CP 是什么并行？

整体的并行策略是？

模型规模:40 层、hidden 4096、ffn 13696、32 head、GQA ， GQA是什么？