首页
大模型
人工智能
Simple学院
首页
大模型
人工智能
登录
注册
登录
注册
大模型算法实战训练营
第30任务： 【LLaMA】16 混合专家模型 (4) MOE的专家权重损失函数
查看课程
任务列表
第1任务： 【LLaMA】1 LLaMA中的Decoder架构详解
第2任务： 【LLaMA】2 LLaMA中的Embedding层
第3任务： 【LLaMA】3 RMSNorm均方根层归一化
第4任务： 【LLaMA】4 旋转位置编码ROPE(1)
第5任务： 【LLaMA】4 旋转位置编码ROPE(2)
第6任务： 【LLaMA】4 旋转位置编码ROPE(3)
第7任务： 【LLaMA】4.5 旋转位置编码的Q&A
第8任务： 【LLaMA】5 KV缓存的原理与初步实现
第9任务： 【LLaMA】5.5 时间复杂度、机器翻译等Q&A
第10任务： 【LLaMA】6 注意力的代码实现(1-1) 注意力计算流程
第11任务： 【LLaMA】6 注意力的代码实现(1-2) 注意力计算流程
第12任务： 【LLaMA】7 注意力的代码实现(2-1) Flash Attention与掩码
第13任务： 【LLaMA】7 注意力的代码实现(2-2) Flash Attention与掩码
第14任务： 【LLaMA】7.5 有关掩码和算力的Q&A
第15任务： 【LLaMA】8 注意力的代码实现(3-1) KV缓存下QKV矩阵的生成
第16任务： 【LLaMA】8 注意力的代码实现(3-2) KV缓存下QKV矩阵的生成
第17任务： 【LLaMA】9 注意力的代码实现(4) KV缓存下的编码与注意力输出(4-1)
第18任务： 【LLaMA】9 注意力的代码实现(4) KV缓存下的编码与注意力输出(4-2)
第19任务： LLaMA】9 注意力的代码实现(4) KV缓存下的编码与注意力输出(4-3)
第20任务： 【LLaMA】10 大语言模型评估方法 + KV缓存效果验证
第21任务： 【LLaMA】10.5 Q&A+科研指导+大模型发论文方向指南(1)
第22任务： 【LLaMA】10.5 Q&A+科研指导+大模型发论文方向指南(2)
第23任务： 【LLaMA】11 门控前馈网络 (1) GLU与Silu激活函数(1-1)
第24任务： 【LLaMA】11 门控前馈网络 (1) GLU与Silu激活函数(1-2)
第25任务： 【LLaMA】12 门控前馈网络 (2) FFN层的代码实现
第26任务： 【LLaMA】13 混合专家模型 (1-1) MOE模型的架构与训练流程
第27任务： 【LLaMA】13 混合专家模型 (1-2) MOE模型的架构与训练流程
第28任务： 【LLaMA】14 混合专家模型 (2) 瓶颈问题与辅助损失
第29任务： 【LLaMA】15 混合专家模型 (3) 常见的辅助损失函数
第30任务： 【LLaMA】16 混合专家模型 (4) MOE的专家权重损失函数
第31任务： 【LLaMA】17 混合专家模型 (5) 代码实现MOE的门控机制
第32任务： 【LLaMA】18 混合专家模型 (6) 代码实现MOE的控机制数据流(1-1)
第33任务： 【LLaMA】18 混合专家模型 (6) 代码实现MOE的控机制数据流(1-2)
第34任务： 【LLaMA】19 混合专家模型 (7) MOE联用FFN层与LLaMA
第35任务： 【LlaMA】20 混合专家模型的Q&A + 面试题 + 学习方法分享
第36任务： 【LlaMA】21 LLaMA架构复现 (1) 大模型架构适配deepspeed与hf
第37任务： 【LlaMA】22 LLaMA架构复现 (2-1) TransformerBlock与打包器
第38任务： 【LlaMA】22 LLaMA架构复现 (2-2) TransformerBlock与打包器
第39任务： 【LlaMA】23 LlaMA架构复现 (3-1) 自回归推理函数与网络配置
第40任务： 【LlaMA】23 LlaMA架构复现 (3-2) 自回归推理函数与网络配置
第41任务： LLaMA原理精讲与架构复现课件
