Day 1 ✅ 今天做了：《第四章：提示词工程》+《第五章：RAG》的大部分 ⏰ 明天计划：第五章全部学完，并巩固第四、五章 📚 今日感悟：今天课从早上到晚，我利用上课的部分时间和晚上回寝的时间快速过了一遍提示词工程和RAG的大部分内容，因为之前学过一些相关概念，也做过基础的demo，这次相当于是巩固与补充。虽说是重温一遍，但还是发现了很多新颖的技术和思路，比如提示词工程中： 1.对于复杂问题可以让它展开思维链，把过程写出来，就好像用笔算写出每一步比直接心算更准确。后面的思维链提示和分布指令，思路原理其实是一样的，都是展开每一个步骤，化大为小。 2.用分隔符划清界限，这里主要为了安全，而我猜想Langchain中的SystemMessage和HumanMessage等也是用来区分的。 在比如RAG中： 1.我重新认识了文档的重要性，也就认识到了检索的重要性，因为文档（数据）决定了模型的上限，所以是否能检索出最相关的文档，以及文档的质量如何，就对大模型最终生成回答影响很大了。 2.传统的Embedding是双编码器，即用户问题和文档分开编码成向量，所以精细度比较粗，而重排序用交叉编码器，即同时关注用户问题和文档（底层好像是将二者拼接后由Transformer的自注意力进行相关性检验） 3.检索优化的方法，除了重排序（即二次检索），还有混合检索和查询重写扩展，一个是优化检索本身，一个是优化用户输入端。其中查询重写其思路也被用于管理上下文会话。 4.文档元数据的重要性，不仅可以用来优化检索，还能用于权限过滤、更新文档班本等。 5.RAG的高级架构，主要用来优化检索，力求检索出高质量、最相关的文档，包括自省式、自纠错、树状检验、Agentic。 以上也算是个小总结吧