Day 4 ✅ 今天做了：学习了第三章大模型崛起与前言技术 ⏰ 明天计划：进行第四章 提示词工程的学习 📚 今日感悟：1. 大模型是怎么训练出来的，预训练（预测） -> 指令微调（指定回答的模式） -> 后训练 RLHF（根据人类反馈优化结果） 2. 三项前言技术分别解决的问题，稀疏注意力（三种，局部，全部，随机位置的注意力）、混合专家 MoE（多个专家但每次只激活少数）、量化（降低数据精度）+ 蒸馏（用大模型教小模型）