聊聊AI项目:一些之前遗漏的小case
美团做的一个外呼项目,之前分享过,然后这几天又想起一些细节。
外呼是什么?
之前想做推广,就需要招聘一大堆客服,然后给用户打电话。
比如说:
- 美团想要做百亿补贴(举个例子)推流,然后就得一个一个客户打电话:你愿不愿意参加百亿补贴?
- 百亿补贴的意思是商家出一部分,美团出一部分。可能做了百亿补贴以后赚的更少了
- 然后用户表示同意以后,客服手工把这个用户设置为百亿补贴用户
现在做一个AI外呼平台,让AI去做客服。
其他的项目也是这么一个逻辑:
- 公司本身是有客诉平台,现在是AI做客诉
- 公司本身是有客服的,现在AI做客服
可以做到减员增效,多赚的钱给领导汇报,给大家发工资。
方案的制定
领导表示AI是未来的趋势,所以大家必须要去做AI。 然后开发不愿意,认为有风险。或者兴趣不大。项目组一共15个开发,其中愿意AI编程的只有3个,而且全是实习生。 其他的人表示:没听说,不关心,不在意。拒绝。
领导表示:A开发他是我们项目组的大神级别,你试试AI? 大神:不知道,没用过。
然后领导就问另外一个大神,表示他快捷键用的很6,开发起来飞快,你愿不愿意做AI? 大神:我不关注。
领导就让架构师去打样。估计就是:你做出成绩来,我好强推AI。 架构师资历最老,经验最丰富,类似立木为信。你做出成绩,我肯定给你奖励,年终吃饱。 大家一看:AI这么好用,这么赚钱,不做真不行,就愿意做了。
由于架构师是项目里面经验最丰富的,所以领导没有插手。让架构师独立负责开发。 定位:不开发AI,使用现有的AI能力 + 现有的业务 + 现有的文档实现增效。
上线目标:快速上线,快速灰度,快速验证,快速赚钱。
(只要用AI开发一个项目,他保证赚钱,只要大家愿意学习、愿意尝试,钱跟捡的一样)
开发工期
外呼项目开发工期是两个半月.
开发负责人:B端总负责人,10年开发经验。他负责代码的编写。 拉了其他项目组的测试团队。(因为我们项目组没有测试) 使用了美团自有的AI团队。(因为是核心业务,不太敢使用外部接口)
风险评估
这个项目有很高的风险
- 假如用户不愿意参加百亿补贴活动,然后你强行给用户做了百亿补贴,打官司肯定输的
- 导致的资金损失要赔偿
所以,开发这个AI项目的领导直接拉了大概几千条测试用例,然后要求必须全部通过。
架构师不接受90%甚至95%的正确率,必须100%。否则出现的资损无法承担。
- 拉了几千个测试用例
然后做了灰度发布。
开发施压
有几千个测试用例,其中某个测试用例没有通过。影响上线
在真实灰度发布的时候,也发现了一大堆的测试用例。
没有通过的测试用例是这个:
- AI表示能不能使用85折
- 商家表示这个折扣太低了
- AI表示那98折怎么样
这个测试用例讨论了大概3个小时。
最后的解决方案是:修改提示词。问题解决。
聊聊0成交
领导想法:先灰度,然后全量。验证链路可以跑通就应该快速全量。 等了两个半月开发完成了,灰度测试。如果没有问题推全量。
我们每个周参加一次周会,领导准备推全量,然后架构师主动抛出了0成交: 我开发了AI外呼项目,然后做了一个灰度,灰度了200个用户,然后一个一个拉录音确认
- AI把有意愿的,标注为没有意愿
- AI没有意愿的,标注为有意愿
- 打了200个电话,0成交。
然后架构师就提出二次确认,比如说:当AI客服确认成成交以后,再用人力客服去打个电话二次确认,让领导否认了。
- 如果需要客服兜底的话,那效益就基本为0了
- 还是得招聘大量的客服
架构师估计无法解决这个0成交的问题,所以在项目暴雷和项目烂尾之间选择了项目烂尾。 由于这个项目只有架构师一个人负责开发,如果架构师抛出来无法解决的问题,那基本上这个项目落地可能性基本不大。
为什么不用顶尖大模型??
外呼AI他必须快。
用户问完,直接给出回复,就像人一样。 不能停顿10秒钟,然后开始回答问题。
而顶尖大模型,基本思考时间超过10秒钟。所以就选择了一个速度最快的模型。
强推AI的人力缺口
公司有很多项目需要架构师去负责。然后这些B端的工作就被交给了青碧凝霜。
青碧凝霜大概花了2个月的时间熟悉美团项目,但是基本没有培训。 在项目开发中,遇见了无数的问题。
架构师的想法是:
- 你看看文档,文档自己找
- 通过自己的好奇心和自学
- 真的遇见无法解决的,再问
最后的结果是非常糟糕的:架构师觉得青碧凝霜太菜了。根本无法独立完成项目的开发和维护。于是抱怨不断,给裁了。
- AI项目烂尾了
- 传统项目延期,工期爆炸,甚至出现了大量裁员
风评
网上有人表示:外呼这种东西没有道德。所以失败是正常的。
个人认知:这个项目如果不是架构师负责,而是外包负责,这个外包肯定被裁了。 因为本人在华为就负责过类似的项目,裁了。 和网友问过,他们的表示:
- 正编不应该裁员,但是烂尾应该裁员
- 你是外包,你应该被裁员
- AI项目烂尾了不应该被裁员,但是AI项目烂尾了应该裁员
- 你说的都是小概率事件,大厂都在全力推AI
我个人感觉:AI不适合去面对复杂业务问题 + 业务背景。
- 他适合去做选择题,让用户自己选,而不是沟通或者面对真实业务背景
