云释离
Java后端
·04-15 20:13
Day 1 ✅ 今天做了:学习第二章 Transformer架构 ⏰ 明天计划:学习第三章 大模型崛起与前沿技术 📚 今日感悟:1. Transformer抓住了RNN的两个根本问题,用注意力机制从底层思路上重构了解决方案。 2. 注意力机制的本质是信息筛选的能力,学会对信息分配权重。 3.Transformer的语言理解能力主要是靠注意力、前馈网络、位置编码等模块反复堆叠。
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP