qpeter
Java后端
·昨天 23:33
Day 5 ✅ 今天做了: 1. 复习昨日内容 2. 零代码:应用模块-应用部署 3. 零代码:应用模块-前端开发 4. AI 速通第四章 ⏰ 明天计划: 1. 复习今日内容 2. 零代码:对话历史模块-后端开发 3. 零代码:对话历史模块-前端开发 4. 零代码:对话历史模块-对话记忆 5. AI闯关答题小程序第9期-AI生成题目优化联网搜索 6. AI速通第五章 📚 今日感悟: 1. 感觉今天没学啥,但是时间花的却不少,时间应该是花在了自己摸索开发上,然后对比鱼皮的方案,这个没必要了,更重要的是开发思路,后续直接对比开发思路即可,代码部分过一遍 2. 今天也排了一个不算 bug 的 bug,算是搞清楚了开发 AI 应用的一件事:大模型是有一个思考的过程的,因为流式输出用的是 v4 pro 不是 flash 所以思考的时间比较长,导致用户等待模型吐词的时间很长。思考模式可以关闭,但对于代码生成这类需要多步推理的任务,关闭会导致输出质量明显下降,因此不建议关闭 a. 发现 bug 的现象:输出流使用 ServerSentEvent 包装后,模型的响应时长明显变成,甚至不响应 b. 猜测:估计模型思考时也就是非吐词的时候的思考流也被 ServerSentEvent 包装了,严重拉长了等待时间、 c. 结论:思考阶段的 token 没有被转发,用户在这段时间内看不到任何反馈,真正拉长等待的是思考 token 根本没有被包装和推送。 d. 解决:调整 max-tokens 为 8k(缓兵之计) e. 后续优化:考虑将模型思考的内容也作为 token 输出,AI 超级智能体是做了模型思考输出的 3. 没学零代码之前,一直以为前端文件的部署是用了一种第三方代码托管平台,没想到是用的 Nginx
0个评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
下载 APP