site stats
别人犯错是因为没读paper,这位是能把paper读错这是说蒸馏的目标小模型是qwen和llama,意思是把R1蒸馏到他们上面去,而不是从他们身上蒸馏下来DeepSeek V3 用到的改进过的MoE,DeepSeek独创的MLA,n=1的MTP,这些llama都没有啊。当然他们都是transformer架构了。
发布时间:
1
数据加载中
Markdown支持
评论加载中...
您可能感兴趣的: 更多