AIGC产品经理需要具备什么样的核心能力和素质?这篇文章里,作者结合对话式AIGC产品的体验测评,尝试从中逆向推导,寻找相应的答案,一起来看看作者的思考过程。
上书说到,为了搞清楚AIGC产品经理需要具备的核心能力和素质,看过大厂对该岗位招聘信息中的职责要求,问过主流AIGC产品应用,煞费苦心阅览了100多篇AIGC相关分析报告,但最终也没有找到答案,甚是失望,也让大家失望了。
此次从AIGC产品体验入手,不知是否可以逆向推导出“AIGC产品经理需要具备的核心能力和素质”,这个困扰我已久的问题。
ChatGPT引发了一场以对话交互方式为主AIGC产品应用,国内紧随其后:百度-文心一言、科大讯飞-讯飞星火、百川智能-百川大模型、阿里-通义千问、昆仑万维-天工、字节-豆包、智谱-清言。
2023年8月,新华社研究院中国企业发展研究中心通过设计的共计500道问题,对国内主要大模型的基础能力、智商能力、情商能力、工具提效能力进行了体验,最终发布了《人工智能大模型体验报告2.0》:
目前各大机构的大模型评测报告和评测维度也越来越多,排名先后也是大相径庭,对阅读者来说,只需参考,还需进一步亲身体验,这里我们选择百度-文心一言(AI助手)和讯飞星火进行分析。
对话式语言大模型应用,用户看得见的是对话的交互方式和交互界面以及输出结果,看不见的是背后模型、框架、算法、算力、数据。
看得到的往往同质化会越来越严重,看不到的差距往往会越来越大。
体验完百度-文心一言、科大讯飞-讯飞星火等产品后,以用户的视角,对话式语音大模型应用的主要使用流程如下:
在所体验的百度-文心一言、科大讯飞-讯飞星火等产品后,对话式语音大模型应用的功能模块主要分为两大块:“对话”和“助手”;以下以文心一言和百度AI助手为例看看这两个模块的主要内容:
1)输入内容和工具
2)输出内容和反馈
1)选择和使用助手
2)创建个人助手
前面梳理了对话式AIGC产品的功能结构和产品体验流程,接下来再看看产品输出的结果对用户是否“合理”和“有价值”。
下面通过数学、文案、方案、人文历史、文生图、逻辑六个维度各一个问题来检验产品:
出题:x²+1=9;求解x
首先检测加减乘除一元一次方程的求解(1+x=8;求解x),最后百度AI助手和讯飞星火均给出了正确的答案,然后再检测一元二次方程的求解(x²+1=9;求解x),得出的结果是:
百度AI助手:x=± 2sqrt(2);解答正确,多次选择重新答题,结果依然一致,但是平方根的表现形式没有用根号(±2√2)表示。
讯飞星火:在求解完医院一次方程后,再追问一元二次方程,最后的结果是x=±3;但是新开一个对话,再次单独求解医院二次方程,最后得到的结果是x=±√8,虽然显示了与百度相比有进步,但是正确应该显示±2√2(2倍根号2)。
分析:百度AI助手求解一元二次方程,可以得到正确答案,但是显示方式还可改进;讯飞星火求解过程中连续对话的关联逻辑应该没有做好,很大程度上求解结果会受到上一个问题的影响。
出题:帮我写一篇国庆节游玩黄山的小作文
最后百度AI助手和讯飞星火均输出了一篇600字左右的小作文,文无第一武无第二,但是从阅读感上还是有区别的,以我们中学语文老师批改建议就是:
百度AI助手:输出的小作文更像是一篇流水账,只是单纯的叙述,苍白无力,没有对游记进行生活,没有太多的心理描写,良!
讯飞星火:输出的小作文有比喻等修饰手法,有内心的波动和憧憬,以及对旅行意义的思考,优!
出题:帮我设计下国庆节7天如何游玩黄山
百度AI助手和讯飞星火均输出了7天的游玩计划,表现形式上,讯飞星火输出的内容结构更加友好和详细,每一天均按照早中晚进行划分。
输出内容质量上没有达到我的预期,比如住酒店是否可以进行比价推荐,打车的地方和方式进行说明,爬山的具体路线图是否可以展示,山中温度和天气以及爬山携带之物是否可以列出方案,总之方案不够完整和细致。
出题:唐宋八大家有哪些人
百度AI助手和讯飞星火均准确地列出了唐宋八大家的名称。
百度AI助手:只是单单列出了名字,再无其他多余的内容。
讯飞星火:将八大家的字、号、出生地等稍加延伸了些,如果再加上各自的代表作也许会更好。
出题:画一幅图画:古道、西风、瘦马
百度AI助手和讯飞星火同样成功输出了一张以马为主题的图,但是效果却大相径庭。
百度AI助手输出的结果:1 是一张照片而不是一张图画;2 马占据绝对的篇幅,完全没有表现出古道和西风两个元素。
讯飞星火输出的结果:古道西风瘦马相互融合在一幅图画中,较符合个人的预期,但是其图片却不能点击放大查看,交互上还需改进。
出题:张曼玉去关之琳家找刘嘉玲说,梁朝伟被黎明骗去张学友家偷郭富城放在周润发柜子里,刘德华借给周星驰给成龙的工资一千元。请问谁是小偷?钱本来是谁的?最后得到的结果是:
百度AI助手:小偷是梁朝伟,钱是刘德华的;同时给出了解题过程,但是选择【重新回答】后又会得出不一样的结果,或者无法给出答案。
讯飞星火:小偷是梁朝伟,钱是刘德华的,并无解题过程的呈现,同样选择【重新回答】后会得出不一样的结果,或者无法给出答案。
所以两者在处理逻辑推理题上的的鲁棒性均较差。
单从以上六个维度6个问题上的测试结果来看,总体上讯飞星火的体验效果强于百度AI助手,当然这仅仅是作为一个普通用户的粗略测试,仅作参考。
最后本想收集产品背后的模型、参数、数据、算力进行对比分析,遗憾无法找到准确权威的数据,只好作罢,就连他们产品自己也视为隐私数据。
AIGC产品经理到底需要具备什么样的核心能力和素质?
通过体验以上这些对话式AIGC产品,似乎还是未找到完整的答案,以上提到的产品功能设计,输入问题的分类,输出结果的结构化呈现,似乎也在当前互联网产品经理的职责和能力范围内。
如果说分解各类问题得到结果的思路流程的设计,是AIGC产品经理的工作范围的话,那也算一个吧,但这似乎是算法模型应该解决的问题,不然这和早期的专家系统就无任何差别,更不用说是什么人工智能了。
青花瓷中水泡葱,老板叫你去敲钟,就写到这吧!欢迎AIGC产品经理参与讨论留言。
专栏作家
andy,微信公众号:PM大白,人人都是产品经理专栏作家。一名产品经理岗位上的持证小兽医。
本文原创发布于人人都是产品经理。未经许可,禁止转载
题图来自 unsplash,基于 CC0 协议
该文观点仅代表作者本人,人人都是产品经理平台仅提供信息存储空间服务。