昨天科大讯飞发布了讯飞星火认知大模型,在发布会现场实测大模型的7种核心能力,并发布了它在教育、办公、汽车、数字员工领域的应用成果。科大讯飞董事长刘庆峰表示:认知大模型展示了通用人工智能的曙光,讯飞星火认知大模型已在文本生成、知识问答、数学能力3种能力上超越ChatGPT。
NewBing 也全面开放给用户,我参考光哥的《ChatGPT与New Bing实测对比,New Bing真的是采用GPT-4吗?》文章中的 三个推理能力测试进行了对比检测。
New Bing新必应
讯飞星火大模型
通过几个Prompt的测试,讯飞星火大模型输出结果与New Bing的结果差远了,3道题全部错误, 光哥文章中已经总结了结论,New Bing用的模型应该是ChatGPT 3.5。
问题1:一艘船10天可以渡过太平洋,请计算10艘船多少天可以渡过太平洋。
讯飞星火大模型:错误
New Bing: 正确
问题2:假设树上有10只鸟,猎人开枪打死一只,请计算树上还剩下几只鸟?
讯飞星火大模型:错误
New Bing: 错误
问题3:我爸妈结婚的时候为什么不邀请我
讯飞星火大模型:错误
New Bing:错误
讯飞星火大模型在推理能力上相比ChatGPT 还差很远,他们的目标:我们计划今年10月底整体赶超ChatGPT。到时继续测试这三个问题来检测,期待他们能够去实现这一目标。