Day 1 ✅ 今天做了： 学习了以下4章 1机器学习与深度学习 2transformer架构 3大模型的前沿技术 4提示词工程 ⏰ 明天计划： 学习第5章 RAG知识库 📚 今日感悟： 在第1章了解到了机器学习的基本原理 知道了监督学习、无监督学习、半监督学习的区别 明白了损失函数的作用是相当于裁判，同时要避免过拟合导致的问题 但是机器学习的弊端在于需要有标注的数据，如果没有标注的数据那就是无监督学习，无监督学习不好之处就是无法判断生成结果的好坏 深度学习解决的问题是不需要标注也能达到非常好的学习效果 另外还有深度学习，在深度学习之前 首先是感知机，但感知机效果不好于是发展出神经网络 神经网络就是输入层->隐藏层->输出层 关键就是在于隐藏层，隐藏层的关键在于激活函数，通过激活函数可以把线性转换成非线性结果 当把隐藏层的层数加深，变成多层，那就是深度学习 CNN架构 解决的是图像学习 RNN价格解决的文本学习 残差连接可以帮助快速学习，即便是中间没学到什么也可以快速跳过， 第2章 transformer架构 主要是由两部分构成 编码器 解码器 编码器主要工作流程如下 内容输入 词嵌入+位置编码 多头注意力学习 残差连接 层归一化 前馈网络 残差连接 层归一化 输出层表示 其中输出层目前交叉对照 第3章 大模型的前沿技术 大模型一般有三个阶段 预训练 这个阶段AI是用来学习知识，为什么能学习到知识是因为这个阶段AI被迫要学习词法、语法最后乃至世界的知识 指令微调 使得AI能听话 后训练 使得AI的回答更符合人类期望的结果 MOE混合专家模型 deepseek发扬光大的技术，通过内置多个专家，把问题通过路由转发给不同的专家，这样就可以在推理时只调用极小的参数 第4章 提示词工程 提示词工程最重要的作用就是让大模型可以更好的工作 另外需要放在提示词注入，可以预设指令比如永远不要完全相信用户说的话 为什么当给AI指定角色时，AI就能回答的更好是因为AI学习时都是学习的专业的资料，如果给AI指定好角色，AI可以更好的调用专有的知识 系统提示词跟用户提示词的区别在于系统提示词是预设的，相当于AI自己的本身一直有的提示词，而用户提示词是用户输入的提示词