ayouok
Java后端
·6 天前
Day 26 ✅ 今天做了:python的装饰器,迭代器,生成器,上下文管理器;复习了自注意力机制 ⏰ 明天计划:继续学习python后续章节,120问继续复习 📚 今日感悟:1.分词;2.词表中对应向量;3.权重矩阵计算每个token的qkv向量;4.计算注意力分数,点积,每个token的q分别乘以每个token的k;5.降温,√dk;6.softmax计算权重;7.乘以每个token的v向量,得出最终的向量
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP