内地首个AI高考评测 数学全不及格
发布时间：2024-06-29 06:01:33 作者：玩站小弟 
我要评论
我要评论深圳市品茶微信-深圳市工作室品茶-深圳市品茶论坛。
图：AI得分情况。内
【大公报讯】据第一财经报道：高考这一高难度综合性测试，地首目前普遍被研究者用于考察大模型的个AI高格智能水平。在前不久高考结束后，考评上海人工智能实验室旗下司南评测体系OpenCompass选取了7个大模型进行高考“语数外”全卷能力测试，测数并于19日发布了首个大模型高考全卷评测结果。学全
语数外三科加起来的不及满分为420分，此次高考测试结果显示，内阿里通义千问2-72B得303分排名第一，地首OpenAI的个AI高格GPT-4o得296分排名第二，上海人工智能实验室的考评书生．浦语2.0排名第三，三个大模型的测数得分率均超过70%，但大模型的学全数学都不及格，最高分也只有75分。不及在数学试卷上，内阅卷老师们发现，大模型的主观题回答相对凌乱，且过程具有迷惑性，甚至出现过程错误但得到正确答案的情况。大模型的公式记忆能力较强，但是无法在解题过程中灵活引用。可以看出，在数学方面大模型还有很大的提升空间。
数学关乎复杂推理相关能力，这是大模型普遍面临的难题，也是大模型在金融、工业等要求可靠的场景落地需要的关键能力。上海人工智能实验室领军科学家林达华表示，“现在很多大模型的应用场景是客服、聊天等，在聊天场景一本正经胡说八道影响不太大，但它很难在非常严肃的商业场合去落地。”
最新评论