GPT-4通过律师资格考试:排名高于90%人类考生

添加书签

美国伊利诺伊理工大学-芝加哥肯特法学院在官网发布了消息,GPT-4通过了统一律师资格考试。该考试一共7项,GPT-4在民事诉讼、合同法、刑法、物权法、证据法5个学科考试中,得分率高于人类考生。

芝加哥肯特法学院的Daniel Martin Katz教授与多位业内专家合著了一篇名为《GPT-4 Passes the Bar Exam》的论文并发表在SSRN上,深度剖析了多模态大语言模型GPT-4,在复杂的法律推理方面有着非常出色的表现,这对法律界产生了深远的影响。(论文地址:https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4389233)

值得一提的是,从2019年开始GPT家族的其他大语言模型就开始挑战统一律师资格考试,但7项考试成绩非常差全部没有通过。

本次GPT-4考试的平均得分率为75%,高于平均的68%,整体排名高于90%考生,总得分为297分。即便是放在录取门槛最高的亚利桑那州(273分)和伊利诺伊州(266分),GPT-4依然能轻松通过考试。

官方消息

大语言模型GPT系列在如此短的时间获得神速进步,让Daniel教授非常震惊。他表示,对于人类来说掌握专业的“法律术语”是一件极其困难的事情,还要用非常严谨的逻辑来回答问题,可AI机器人非常轻松地做到了这些

Daniel教授特别指出,民事诉讼在律师资格考试中一直是相当难考的一个项目,很多学生考生、大语言模型在该学科的考试表现很不理想,而GPT-4以出色的推理获得了绝佳的表现。

此外,GPT-4不仅参加了选择题,还参加了作文等较难的考试题。其自动生成的答案与标准优秀答案几乎一样,并且“胡说八道”的情况也越来越少,这是GPT家族其他模型所无法做到的。

Daniel Martin Katz教授

在Daniel教授发布的《GPT-4 Passes the Bar Exam》论文中显示,除了GPT-4之外,早在2019年,GPT家族的GPT-2、ChatGPT TEXT-DAVINCI-003、TEXT-DAVINCI-001、TEXT-CURIE-001、TEXT-BABBAGE-001、和TEXT-ADA-001参加了同样的统一律师资格考试。

不过全军覆没,尤其是GPT-2第一次参加考试几乎全部回答错误。这也就是说,GPT-4确实是GPT家族里目前最强的模型。

在具体科学考试得分率方面:

  • 民事诉讼GPT-4得分率61.1%,人类考生59%;

  • 宪法GPT-4得分率69.4%,人类考生72%;

  • 合同法GPT-4得分率88.1%,人类考生70%;

  • 刑法GPT-4得分率81.1%,人类考生71%;

  • 证据法GPT-4得分率85.2%,人类考生65%;

  • 物权法GPT-4得分率79.7%,人类考生65%;

 

  • 侵权行为法GPT-4得分率64.9%,人类考生71%。

一共7项考试,GPT-4有5项全面领先人类考生,其中,合同法、证据法大幅度领先。而之前的ChatGPT、GPT-3.5连及格线都达不到。

左面为GPT-4每科考试平均分,右侧为学生平均考分

《GPT-4 Passes the Bar Exam》论文中「AIGC开放社区」还发现一个惊喜,早在2022年7月GPT-4就参与了统一律师资格考试,这也就是说Open AI已经在去年就完成了GPT-4的研发与训练。

Daniel教授表示, GPT-4展现出了前所未有的强大功能,这对于法律界来说是一把双刃剑。如果法官、律师、立法者合理的运用GPT-4,那么整个法律界的工作效率将获得极大提升。同时对法律教育也产生了很大的影响,将帮助学生快速查找各种法律资料,为学习带来很大的便利。

关于美国律师资格考试

美国律师资格考试是按州来划分,每个州的司法都是独立的,都有自己的律师资格考试。一般考试内容包括:合同法、侵权行为法、宪法、刑法、证据法、民事诉讼和物权法7个大项。通常有五分之一的考生无法一次通过,整个考试过程相当有难度。

关于芝加哥肯特法学院

芝加哥肯特法学院成立于1888年,隶属于伊利诺伊理工大学。芝加哥肯特法学院位于美国第三大法律市场,处于法律行业的前沿,为学生提供出色的法律教育和大量实践机会。

END

加入AIGC开放社区交流群

添加微信:13331022201 ,备注“职位信息&名字”

管理员审核后加入讨论群