在去年的一篇雷帕霉素抗老应用的论文中,ChatGPT被列为改论文的一作,引发了业内的争议。人工智能实验室OpenAI于去年11月发布ChatGPT,这种聊天机器人能根据简短的提示生成文采斐然的文字。现在,人们用它来写情书、诗歌、小说,甚至还有他们的课程作业。ChatGPT的爆火,显然已经对高校教育工作者带来了挑战。
在去年的一篇雷帕霉素抗老应用的论文中,ChatGPT被列为改论文的一作,引发了业内的争议。人工智能实验室OpenAI于去年11月发布ChatGPT,这种聊天机器人能根据简短的提示生成文采斐然的文字。现在,人们用它来写情书、诗歌、小说,甚至还有他们的课程作业。ChatGPT的爆火,显然已经对高校教育工作者带来了挑战。
这不,北美密歇根大学哲学系教授Antony Aumann就遇到了这样的教学问题。
ChatGPT写了一篇“全班最好的论文”
上个月,Aumann在为他的世界宗教课程批改论文时,惊喜地读到了一篇他所谓的 “全班最好的论文”。
这篇论文以简洁的段落、恰当的例子和严谨的论证,探讨了罩袍禁令的道德问题。但,Aumann对这篇文章存在质疑。
随后,Aumann质问学生这篇论文是否他本人所写。最终,这名学生承认使用了ChatGPT。
这令Aumann大为震惊。最终他决定改变他的课程论文写作方式,他要求学生们使用受访问限制的浏览器,并且在教室里完成初稿。在随后的草稿中,学生们必须解释每一次修改的理由。
Aumann表示,他可能会在以后的学期中放弃论文的考核方式,他还计划将ChatGPT纳入课程,比如要求学生评估ChatGPT的回答。
Aumann遇到的问题绝不是个例。
在全美范围内,很多大学教授、系主任和行政人员正在开始全面改革教案,以应对ChatGPT对教学活动的影响。一些教授正在重新设计他们的课程,更多地采用口试、小组合作和手写文章作为考核方式,而不是在电脑上撰写文章。
超过89%的学生曾使用ChatGPT作弊
随着ChatGPT的发展,学生和教师都开始意识到它在学术界的用途。目前,TikToks推广其在论文写作和其他学校作业中的应用,话题已经转向这种开创性的AI对高等教育造成的影响,导致许多人考虑禁止其使用。
近日,Study.com调查了100多名教育工作者和1000多名学生对使用ChatGPT的看法。调查显示,其中超过89%的学生曾使用ChatGPT帮助他们完成家庭作业。
除此之外,48%的学生承认使用ChatGPT来完成家庭测试,53%的学生使用它写论文,22%的学生使用它写论文提纲。
令人惊讶的是,72%的大学生认为ChatGPT应该在学校中被禁止,表明学生同样担心作弊成为常态。此外,超过三分之一(34%)的教育工作者认为ChatGPT应该在学校中被禁止。
教育工作者担心AI对学生的教育产生重大影响是可以理解的,他们正在求助于AI检测应用程序,试图检测出学生是否使用ChatGPT作弊。
斯坦福团队推出DetectGPT
为应对大型语言模型(LLMs)生成文本工具的“入侵”,斯坦福大学的一个研究团队提出了名为DetectGPT的新方法,旨在成为首批打击高等教育中LLMs生成文本工具之一。
研究团队基于“LLM 生成的文本通常徘徊(hover around)在模型的对数概率函数的负曲率区域的特定区域周围”这一发现,提出了一种用于判别 LLM 生成文本的新指标,这一方法既不需要训练单独的分类器,也不需要收集真实或生成的段落的数据集。
该团队在假新闻文章的数据集上测试了DetectGPT,它在检测机器生成的文本方面的表现优于其他方法。他们发现DetectGPT 可以将20B参数GPT-NeoX生成的假新闻文章的检测从0.81 AUROC提高到0.95 AUROC。
研究团队表示,这一方法在检测机器生成的文本方面优于其他零样本方法,或在未来的机器生成文本检查方面非常有前途。另外,他们也将尝试将这一方法用于 LLM 生成的音频、视频和图像的检测工作中。
随着LLMs的不断使用,检测机器生成文本的相应系统的重要性将变得越来越关键。总之,DetectGPT是一种不需要任何额外数据或训练的零散方法,是识别机器生成文本的有效工具。
参考链接:
https://www.nytimes.com/2023/01/16/technology/chatgpt-artificial-intelligence-universities.html
https://www.neowin.net/news/stanford-introduces-detectgpt-to-help-educators-fight-back-against-chatgpt-generated-papers/
https://arxiv.org/abs/2301.11305