ChatGPT挑战公务员考试:80%准确率、强势与劣势

公务员考试是我国筛选公职人员重要标准,考察了考生的知识积累、逻辑推理能力、归纳总结能力和阅读写作能力等综合素质。作为目前最火热的人工智能ChatGPT,如果参加这样的考试,会有怎样的表现呢?

我从网络中收集了一些公认比较难的文字题(GPT4目前还没开放图片输入),测试下ChatGPT的表现怎么样,关注他的能力水平已经达到哪个程度,哪些方面又还有欠缺。试验不算太规范,仅仅作为娱乐。

设置提示词

首先,我让ChatGPT扮演一名非常优秀的具有强大逻辑推理能力的中国大学生,回答公务员考试题目,给答案和推理过程。

好的,挑战正式开始!

Round1

ChatGPT,请看题!

回答正确!从回答来看,GPT4似乎能分清楚部分原因和全部原因的区别,能够理解太过绝对的推理错误,还不错。

Round2

ChatGPT,请看题!

这道题答错了!它甚至知道可以用设未知数来解题,思路还是很清晰的,可惜自己列出来的方程式都算错了,看来数学还是比较欠缺,或者说连续推理能力还有待提高。

ChatGPT来,你好好看看解析!

解析:本题采用代入法。代入A,显然该同学不答得的题数要超过6道题,矛盾;代入B,那么该同学答对的题目数不是整数,矛盾;代入C,该同学所得分数显然超过20分,矛盾;代入D,那么该同学答对2题,不答2题,符合要求。

Round2

ChatGPT,请看题!

回答正确,推理过程也很清楚。

Round4

ChatGPT,请看题!

回答正确!这道题主要在于分析收益和成本,从一道题来看,至少它能判断出什么是成本,什么是收益。

Round5

ChatGPT,请看题!

回答正确!这题考验的是概念之间的关系,包含、交叉还是独立,看来GPT4表现出不错的概念区分能力。

总结

结果:5道公务员考试题目中,GPT4答对了4道(4/5),正确率80%。

分析:总体来看,GPT4的能力表现出“文强理弱”的特点。一方面,在回答中表现出比较强的逻辑判断、概念区分、归纳总结和因果推断能力,有了社科专业大学生的基础水平。另一方面,虽然它能针对问题列出方程式,但是在一个初中级别的方程式求解中,出现了错误,可以它数学水平不太好。

本文不足:这里只选取了5道来自网络的公务员考试题目,题目数量不多。因此,结果可能不具有代表性。其次,公务员考试题目本身文科属性强,因此对于理科能力的评价不够全面。

# ChatGPT版本号:GPT4

# 所用提示词:假设你是一名非常优秀的具有强大逻辑推理能力的中国大学生,请你回答我后续给出的公务员考试题目,给你的答案和推理过程。

# 试题来源于网络

对了封面图也是用AI生成的,一共生成3种风格的,挑了一张醒目的。

绘图AI:stable diffusion online

提示词:Robots take human exams.

#chat GPT##ChatGPT看世界##头条创作挑战赛#

举报
评论 0