Day17 funsearch记录与分享

Day 16 ✅ 今天做了： 修改奖励函数，今晚运行，等明天结果；了解funsearch ⏰ 明天计划： 学习funsearch，并推动项目进展；验收运行结果

Day 15 ✅ 今天做了： 1、5491：马尔可夫决策过程；5489作业 2、astrbot插件：主动消息、表情包管理 ⏰ 明天计划： 项目推进

Day 14 ✅ 今天做了： 1、6007复习以及期中考 2、使用astrbot和snowluma给qq小号接入ds ⏰ 明天计划： 1、5491上课 2、5489作业 3、ds活人感增强：能使用表情包、拉入qq群、可以更多互动、发动态和签名 4、了解astrbot和snowluma原理，以及了解b站是如何接入ds的 5、尽量去做：马里奥项目推进、5491项目推荐 📚 今日感悟： 1、期中考现在完全结束了，考完还是觉得有些压抑。感悟就是：记住公式很重要，哪怕不理解，记住公式样子再多猜一下也能做出部分题。 2、给qq小号接入ds，感觉比网页版更像人，但人机感还是强，比如回复总是“唔”开头，虽然会把一段话分成多段来回复，但还是太冗长了。明天看插件能不能拯救一下。

Day 13 ✅ 今天做了： 6007复习：动态规划、最短路径、马尔可夫决策。 ⏰ 明天计划： 1、6007复习、练习题、期中考 2、5489作业 3、学一下把ds接入qq 4、优化马里奥项目，参考别人的参数进行优化

Day 12 ✅ 今天做了： 1、5487：均值漂移聚类、谱聚类 2、6007复习及练习题 ⏰ 明天计划： 6007复习

Day 11 ✅ 今天做了： 1、力扣刷题：118杨辉三角，198打家劫舍，322零钱兑换(完全背包问题)，474一和零(二维01背包问题) 2、6007小组代码跑通 ⏰ 明天计划： 1、6007复习 2、5487上课认真学习 📚 今日感悟： 1、动态规划中的背包问题，一般目标函数都是dp[容量]的形式，转移函数为dp[容量] = Min/Max （dp[容量-元素分量]+增量）的形式，其中列表里的元素分量要逐个遍历。总体上背包问题都要2层for循环解决，01背包问题内层必须逆序遍历，完全背包问题内层必须正序遍历： 1) for i in range(容量)；for j in 列表。意味着挨个求不同容量的最优解。 2) for i in 列表；for j in range(容量)。意味着每次都从列表拿出一个元素，挨个放进背包里，直至列表里的元素全都取完。 DP问题太烧脑了，暂且这么记。 2、今天强化学习训练的时候闹了个乌龙：对于一个PVP游戏，训练一个模型AI去打游戏自带的脚本人机，训练的时候没有一次打赢，但是测试的时候居然每一次都赢了。原因大致如下： 1）PPO算法在训练时，往往是根据行为action的概率分布进行采样，不一定会选到概率最大的action，这种训练方式是为了让模型能探索更多的可能。但是训练完测试的时候，模型会直接选择概率最大的action。于是在测试时，模型AI只会边往右走边平A，这种看起来很傻的打法却钻了脚本人机的漏洞，一直把脚本人机卡在墙角里打，人机每次倒下重新起身的时候，不会快速脱离墙角的位置，所以毫无反抗之力地被模型AI堵在墙角打。 2）在训练时，由于不同action的概率差别不是很大，模型采样时倾向于随机出招，可能是训练的不够久吧，导致前期的概率分布都很均匀。这就有个尴尬的地方，可能训练久了，模型AI变聪明之后，反而会打不过脚本人机，毕竟现在能打过其实是相当于逃课了。

Day 10 ✅ 今天做了： 1、6007作业：动态规划、标签修正法；5489作业 2、马里奥训练效果更差了，先保留学习率衰减函数，其它参数变回之前的样子 3、确定6007小组项目选题，配置环境 ⏰ 明天计划： 1、6007复习 2、完整运行6007项目参考代码 3、了解funsearch

Day 9 ✅ 今天做了： 1、5486期中考 2、马里奥项目优化：学习率线性衰减、调整参数 ⏰ 明天计划： 1、6007作业+复习、5489作业、5489小组作业组队 2、根据马里奥项目结果继续优化，多了解一些评估函数和参数 3、5491项目作业：了解一下funsearch是什么，然后看情况看展项目 📚 今日感悟： 1、现在发现比起直接让AI生成代码，让AI在生成代码的时候提供技术路线进行选择再写代码，会让我更有参与感，学到更多东西，而且也更好把控项目的整体情况，以后就用这种方式的prompt来让AI写项目了。 2、关于学习率的调整，还了解了退火算法。余弦退火算法本质上是模拟cos(pi*x)函数，x从0到1变化时，学习率一开始下降得慢，之后下降得快，前期探索强，后期求稳；而模拟退火算法是一种通用的随机全局优化算法，在迭代的过程中，以一定概率接受比当前更差的解，从而有机会跳出局部最优。

Day 8 ✅ 今天做了： 1、5491期中考 2、5486复习（难受，完全没头绪，PPT上只有含糊不清的理论，一道例题都没有，完全不知道会考什么☹） ⏰ 明天计划： 1、5486期中考 2、6007作业 3、优化马里奥项目，继续训练 📚 今日感悟： 今天的训练结果出来了，虽然训练时间是之前的2倍，但效果没有任何提升，依旧和之前一样卡在1-2的柱子里了。应该是陷入局部最优解了，明天试试调整学习率，让学习率随着时间衰减。