ChatGPT威力加强版体验:强大与不足并存

发表时间: 2023-03-16 10:31



今天凌晨,OpenAI 发布了最新的 GPT-4


根据发布会披露的内容来看,这个新一代比早先大家使用的 ChatGPT 的 GPT-3.5 内核强悍了一大截,再次刷新了编辑部对 AI 的认知。


首先,非常非常重要的一点是,GPT-4 可以接受文字以外的内容输入了,目前支持文字与图像的混合输入。


在官方的示例中,用户给 GPT-4 上传了一张梗图,问 GPT-4 这张图为什么好笑:


GPT-4 非常详细且精准地描述出了图片上的内容。


并且有思维条理的解释了,为什么这张图会让人觉得好笑。


这还不算完,就算是十分抽象的 Meme,它也能一本正经地给你解释笑点在哪里。


只不过么,GPT4 也还没到能通过图灵的程度。


当然,这个功能并不只是能解释梗图那么简单,它拥有无限的想象空间,比如:


在今天凌晨的官方直播视频中,GTP 的开发人员演示了 GPT-4 可以识别他手绘的一张网页草图,并且根据草图写出网页的前端代码。


手绘的网页草图,非常抽象 ▼


GPT-4 给出的网页以及代码 ▼


虽然这个示例里的网站非常简单,但 GPT-4 的理解能力和创造力还是让人觉得不可思议:


重要的不是它能不能做得很好,而是它能做到,这是一个质的飞跃。


甚至,目前已经有公司在搞这项技术的落地应用,打算把它和导盲服务结合起来。


这样一来,盲人只需要拍张照,GPT-4 就能立即复述出面前物品的信息。


而在文字问答方面,GPT-4 也有非常大的提升,输入字增加到了 2.5 万。


在专业领域上的回答,特别是 “ 问题复杂度足够高的时候……GPT-4 比老版本更细、更可信、更富有创造力 ”。


比如,在统一律师考试( Uniform Bar Exam )中,GPT-4 可以超过 90% 的人类考生,而老版本只能超过 10% 的人类考生,妥妥学渣学霸的区别。


在 GRE 数学和语文

( 阅读与填空 )考试中 ,GPT-4 的考试成绩已经是哈佛、麻省理工、斯坦福大学生的水平了。


不仅自己回答问题能力变强了,GPT-4 还会人格扮演。


比如你提出一个问题,ChatGPT 只会机械式地回答,而 GPT-4 可以按你的要求以苏格拉底风格给你作答。


那这个玩法就多了呀。


向下滑动▼


不过,说了这么多,百闻不如一试。


即使已经是凌晨 2 点,编辑部依旧花重金( 20 美元/月 ),连夜让美国同事帮忙升级试用了一波。


遗憾的是,OpenAI 考虑到用户们搞幺蛾子的能力太狠,所以目前 GPT-4 的图片输入功能暂时不对公众开放,也没有说啥时候可以用上。


不过,我们还是可以试试它聪明的小脑瓜子。


先是给了一个全网疯传的“ 华为、阿里入职面试题 ”,挑战大获成功。


而隔壁的 ChatGPT 就有点拉了。


作为击败了 90% 人类的大律师,GPT-4 的推理能力应该强无敌吧。


所以我们又搞了道法考的经典案件,想掂量掂量 GPT-4 到底有几斤几两。


问:乙去甲家吃饭,结果电动车被偷了。于是乙准备偷辆别人的电动车,此时,喝醉的甲来帮忙撬锁,帮乙成功得手。结果调查后发现,乙偷的是甲的电动车,问甲算不算是盗窃罪?


虽然新旧两款结论都是正确的,但是旧版的解题过程,就有点乱来了。。


而在一些更需要 “ 创造性 ” 或是 “ 思考 ” 的问题,比如:


关于最近一次特斯拉投资者大会上 “ 实现全球可持续能源 ” 的计划,你觉得是可行的吗?为什么可行?


GPT-4 的表现就更让人吃惊了。


虽然 GPT-4 的知识库停留在 2021 年 9月,并没有覆盖半个月前的那场投资者大会,但它却神奇地未卜先知了。


而老版本 ChatGPT 的回答就逊色了很多,没有条理,还有一堆车轱辘话,没有建设性观点。


随后,我们又问了一个行业思考相关的问题:


你如何看待全球的碳排放战略,它能成功吗?


老版只能浮于表面笼统地给点泛泛的概念,而 GPT-4 的回答明显维度更宽、思考更深,洋洋洒洒列了 10 点,更加细致有条理,并且含有更多专业词汇与内容,可以说几乎完美地回答了这个问题。


上面这些,还仅仅只是我们编辑部的试验,在一些大佬们手上,GPT-4 令人恐惧的表现就更多了。


比如仅仅只用了 60 秒,就做出了一款 Pong 游戏,20 秒就能做出贪吃蛇游戏。


不可否认,GPT-4 比起旧版来说,强的不是一点半点。不过我们试出来的问题,其实也不少。


我们搞了套高中数学竞赛试卷来考它,结果,一试就尴尬了。。第一道选择题,新旧两个版本就都解错了。


难道说,斯坦福、麻省理工还不如。。?


因为 GPT-4 可以支持更长的输入文本,所以我们就又测试了它的总结概括能力。


这下馅露得更大了。


我们甩给它的是,差评君之前发过的一篇文章的链接,其实 GPT-4 是没有联网的,正常来说是没法总结的。


结果,它愣是凭空捏造了两个文章总结,而且和我们给的文章没有任何关系


直到在我反复指正两次,语气都加重了,它才承认自己的错误。


直到后面我们把原文直接贴进去后,GPT-4 才展露了它超强的总结能力。


说实话,这个胡编乱造的能力让我们心里一惊,于是就又想了个测试方法。


前两天,小黑胖把“ 手拿把攥 ”记混成“ 手拿把蒜 ”,被编辑部嘲笑了很久,于是我们就问 GPT-4 “ 手拿把蒜什么意思?”


结果牛掰了,GPT-4在理解了一部分“ 把蒜(攥) ”是形容事情轻而易举的基础上,引经据典地胡编乱造,颇有种当年我写作文时,引用的俄罗斯文学家“ 沃兹基索德 ”的味道了。


要知道,如果是真实场,这个半真半假、引用权威的胡说八道的后果将是非常严重的,堪称最高级的谎言。


明明连更老的 ChatGPT 也不敢这么捏造来源地胡说,更高级的 GPT-4 怎么会这样呢?


我们猜测,就是因为新版本更倾向于表现出 “ 更具有深度思考 ”,这么一来,在回答很多问题的时候,GPT-4 会自己给自己加戏,才会出现这些闹剧


虽然我们试了这么多漏洞,但总的来讲,这次发布的 ChatGPT,无论是基础功能、想象空间、逻辑能力、思考能力,都比之前强了一大截。


明明距离老版本 ChatGPT 颠覆我们的认知才没几个月,它们就又掏出了一个船新版本,我们只能说:恐怖如斯。


更恐怖的是,其实 GPT-4 诞生时间,可能比我们想的还要早很多,之前 OpenAI 发布基于 GPT-3.5 的 ChatGPT 时,内部员工就质疑过为啥发个这么古早的版本。


而我们也早就接触过 GPT-4 了,New Bing 官方今天发了个公告,承认了 New Bing 其实就是 GPT-4。


所以这么说的话,有没有种可能,GPT-5 也已经近了呢?


我已经开始期待除了文字、图片以外,视频、音频等形式的输入了。