Day 1 ✅ 今天做了：《AI》部分快速学习完成除了Claude部分 ⏰ 明天计划：《AI》部分做xmind总结，进一步深化记忆。看Claude部分 📚 今日感悟：刚看完资料好像什么都没有记住，现在挤一挤，看看我脑子里还剩下什么东西 先是机器学习，主要就是训练机器在大量的数据里找到规律，然后对之后输入的数据进行推理，得到输出这个就是机器学习，主要就有监督学习，非监督学习和半监督学习。这个主要是看是否在数据上是否有打标签，就是人工对数据进行标注。 监督学习涉及的主要是有线性回归，y = wx + b 提出了预测值和现实值的差异区别，通过b损失函数来判断推理预测的偏差，通过调整w权重来趋近于真确大的值。 在调整w的途中还涉及到学习率，调整快慢的加速度 激活函数是让线性函数支持非线性的复杂情况而设置的激活 然后是深度学习（也是神经网络），主要的提神是机器学习在特征识别上主要通过复杂规则的规则进行识别，但是深度学习可以进行自动特征学习，完全省去了需要专家来提供一系列的复杂规则来辅助自动识别特征 深度学习的神经网络的流程就是 输入层 - 隐藏层 - 输出层， 深度 ， 宽度 还有前向传播的正常输入输出，还有反向传播的纠错步骤 还有优化器，这个了解不深 之后就是两个神经网络架构了，一个CNN卷积，一个是RNN序列 CNN是涉及到卷积层和池化层的两个概念，卷积是不断细化识别图像的过程，池化是压缩图片保留主要特征的过程 深度学习主要通过卷积层设置2x2的小方块扫描图片，第一层识别线条，第二层识别五官，第三次识别面部，这样一层层的获取特征从而识别信息，池化就是对识别的信息进行压缩，保留主要的理解程度，主要是怕识别的消息成本太大导致性能变差 RNN主要就是用在连续的消息上，根据当前的字猜出下一个字。但是有两个比较大的缺陷，一个是记忆力不行，读了后面忘了前面。一个是处理时间太慢了，因为是序列格式，必须同步处理信息 目前对深度学习的主要理解就是这些 然后到transfomer架构，这个架构主要解决的就是RNN的两个主要的缺点，一个是失忆，一个是效率低 主要采用的就是编码器和解码器的架构 主要的知识点是注意力机制，自注意力机制和多头注意力机制 注意力机制通过Q，K，V来转化一个句子达到翻译的效果，但是翻译的功能是不可逆的，只是对一个词对应的一一转换 自注意力通过把Q，K，V都结合到词语和词语之间的翻译情况，让AI更了解句子本身的意思 多头注意力机制是通过多个个角度理解一个句子的主要意思，从语义，语法，逻辑，情感，每个角度都需要一个头运行 然后就是训练模型了，过程主要是预训练 - 指令微调 - 对齐 预训练主要就是拿大量的数据集对模型从无到有进行训练成有一个具有语言能力的大模型 指令微调是通过拿一小部分的数据集对已有的通用大模型进行训练 主要的微调技术主要就是LoRA，通过两个矩阵BxA去模拟全量矩阵w，微调的时候就是改变矩阵内的这些主要参数，但是可以达到全量微调的效果 然后就是量化技术，量化主要是把大模型进行压缩，可以在普通的笔记本电脑上进行运行 QLoRA就是先进行4bit量化，然后再进行LoRA微调，所需要的显存只有6 GB 推理显存 = 参数量 x 字节数 训练模型 = 推理显存 x 5 或 7 对齐就是把已经训练好的大模型，RLFH去训练模型返回人类比较喜欢的回答，流程主要是先输入消息，模型会根据消息返回主要的回答，把这些回答打上标签，哪些回答好，哪些回答不好，然后准备一个模型进行打分，高分的加强，低分的进行抑制，主要是ChatGPT最初利用这个机制，之后就是DPO，省去了输入消息等待模型返回消息的过程，是直接把打好标签的优质数据输入到模型中进行训练，省去了主要的打分环节，不靠打分，我自己输入好的数据不就行了，第三个是打标签的活我都交给LLM干了 这个就是我主要学到的大模型的基础了 之后的智能体主要是通过，在大模型的基础上加上，上下文管理，工具调用，安全权限， RAG后的结果 第一个主要是上下文吧，让LLM拥有了主要的记忆，通过系统消息，用户消息和AI消息来区别信息 上下文的主要问题就是上下文饱满的问题，上下文满了后LLM会抽风，会失忆，所以我们需要对上下文进行及时的管理，保证上下文在一个比较安全的区域呢运行，主要有两个策略 一个是删除之前的上下文，时刻为上下文保留一定量的空间，但是会失忆 一个是对之前的记忆进行总结，这样的话不会失忆，但是总结后的信息会失去精度 工具调用，主要可以让Agent可以调用本地编写好的代码去完成任务 AI不能直接调用，主要的工具调用原理是，先给LLM一个主要的工具清单，上面有可以使用的工具，工具描述和参数信息，当AI需要哪用到工具的场景是，会发出一个ToolCall消息，中间有要调用的工具名和主要输入的参数信息，本地函数拿到这些参数信息后进行计算，得出结果，把工具调用结果信息传回上下文，最后AI工具工具结果信息生成对一的回答 目前有一直特殊的工具调用就是MCP，MCP主要是AI对接外界工具的一种协议通过Streamable HTTP进行传输，有时候主要是把MCP server包下载到本地运行，通过stdio进行进行传输。通过MCP client拿到工具后，作为tools代入 工具使用时也要注意安全权限，比如只读工具上的权限可以设计的小点，改写的权限要判定的需要大权限的人才可以操控 主要的还是通过Agent loop不断调用工具，最后完成任务 比如现在某个代码产生了报错，我现在要解决主要报错问题 我现在有bug信息xxx，请帮助我解决报错 AI ：1. 调用搜素工具 - 搜素目前.py文件 2. 掉用读取工具 - 查看报错代码信息 - 发现代码错误的地方 3. 调用修改工具 - 修改报错代码 4. 调用测试工具 - 测试正常 5. 返回给用户消息，我现在已经修改好bug 看完后脑子里差不多就记得这么多，可能有记混记错的地方，之后主要还是需要通过xmind去深化一下记忆，理解不清晰的地方深化理解，理解错误的地方进行纠正