发布于 2025-02-15
摘要
0. 引言 本篇讲讲deepseek在MoE（Mixture-of-Experts）上的演进过程。DeepSeek是MoE稀疏模型 …
deepseek
发布于 2025-02-15
摘要
0.引言 最近整理deepseek的技术线，针对MTP（Multi-Token Prediction）方法做了些扩展的阅读和学 …
发布于 2025-02-15
摘要
deepseek最近比较出圈，本人也一直关注deepseek发布的一些技术报告。在模型训练、推理性能和计算成本上一直能给大家惊喜。 …