@编程小助手
微信: leikooo_
·06-11 13:19今天看到一篇文章,主要讲的是关于 Claude Fable 的”黑箱操作“,因为 Fable 他有一个安全机制,检测到预训练流水线、分布式训练基础设施、ML 加速器设计等的时候会自动降级,并且「不会告知用户」,如果一直是这种趋势进行下去的话,那么以后你问 Claude 某个方案是否可行,Claude 说不可以,你不知道是不是真的不可以,还是因为触发了这个安全机制导致的降级。
作者的核心观点如下:
1、静默降效:Fable 5 模型卡写明,针对“前沿大模型开发”(预训练流水线、分布式训练基础设施、ML 加速器设计等)的请求,会通过 prompt 修改、steering vectors、PEFT 等方式悄悄降低 Claude 的有效性,且不会告知用户,也不会切换到其他模型。
2、边界模糊:作者认为,许多曾只属于 AI 实验室的技术(embedding、reranker、小模型微调等)如今已广泛用于普通软件公司。Anthropic 给出的例子不够清晰,“前沿 AI 研发”与“正常产品开发”的界线越来越难以划分。
3、供应链风险:当 Claude 给出错误或糟糕建议时,开发者无法判断是模型能力不足、上下文有问题,还是被隐藏的政策限制暗中削弱。开发工具若能在不告知的情况下停止为你优化,就难以完全信任这套基础设施。
4、影响范围争议:Anthropic 称仅影响约 0.03% 的开发者,但作者认为“AI 公司”的定义在变——今天不训练前沿模型,明天产品里也可能包含自研/微调模型,受影响人群可能随时间扩大
4
1
分享
操作
评论
相关内容
0个评论
全部评论
点击登录,快来和大家讨论吧~
表情
图片
暂无评论
