近期关于OpenAI的ChatGPT性能下滑的讨论持续升温。有知情人士爆料称,OpenAI可能在12月底前发布GPT-4.5。此前,ChatGPT出现了指令遵循能力下降等问题,一些用户认为是RLHF(增强学习与人类反馈)导致模型性能下降。
自从11月6日OpenAI的开发者大会以来,ChatGPT似乎变得越来越懒。一些用户发现,在过去一个月中,ChatGPT在指令遵循能力方面出现明显下滑,经常避免处理一些重复性的任务,只提供一个启发性的框架,让用户自行填写。例如,有用户要求ChatGPT帮助完成一段代码,但ChatGPT生成的答案却留下了大量的"TODO"占位符,让用户自己完成。还有用户发现,在要求ChatGPT将图表转换为UML代码时,ChatGPT起初回答无法做到,只能提供与任务类似的相关代码。但在多次尝试后,ChatGPT才给出了正确的输出。
面对质疑声浪,OpenAI官方昨日发表声明承认了ChatGPT变懒的问题,但强调他们从11月11日起并未更新模型,目前还不清楚出现这种问题的原因,他们正在组织人力进行进一步调查。
除了回应用户,OpenAI还发布了一系列帖子强调训练模型的过程。他们指出,训练一个Chat模型与传统软件工程不同,即使使用相同的数据集,在不同的训练方式下也会产生完全不同的模型,涉及个性、写作风格、拒绝行为等方面的差异。而更新模型也不是简单的加法模式,需要多人手工规划、创建和评估新的行为模式。
尽管OpenAI表示正在排查原因,但评论区涌现出各种原因的无厘头猜测。一些网友认为是RLHF导致模型性能下降。另外,根据一位推特用户@apples_jimmy的消息,OpenAI可能在12月底前发布GPT-4.5。
总之,ChatGPT模型内部的问题尚不清楚,作为终端用户,我们能做的只是对GPT进行激励和反馈。