当你被AI无辜扣上「作弊」的帽子,作何感想?
这件事恰恰发生在了一位高三学生Lucy Goetz身上。原本她写的一篇社会主义原创论文得了最高分。
但是,Turnitin公司的AI写作检测器竟说,Goetz论文结尾是用ChatGPT生成的。
Goetz震惊道,「我很高兴能和老师们保持良好的关系」。
简言之,还好老师了解我,不然跳进黄河都洗不清了。
而更令人惊讶的是,这个ChatGPT检测器现在已经被210万名教师使用。
Goetz的论文中被标记出的部分属于异常情况,但这表明检测器有时会出错。
显然,AI是无法打败AI的。这对许多学生来说可能产生灾难性的后果。
为了测试Turnitin的检测器,记者Geoffrey A. Fowler对Goetz在内的5名高中生进行了测试。
他们创作了16篇涵盖真实、AI生成,以及混合来源的论文样本。
结果如何呢?
Turnitin的检测器至少在一半以上的样本中出现错误,仅是准确识别出了其中6篇,但在3篇上的检测都失败了。其中就包括对Goetz原创论文中8%内容的标记错误。
对于剩下的7篇,Fowler称,「我只会给它部分分数,因为它的判断大致正确,但错误识别了一些ChatGPT生成或混合来源的写作部分。」
然而,Turnitin声称其检测器的整体准确率达到98%。该公司还表示,在其自身测试中,类似Goetz论文的情况(即假阳性)发生的概率不到1%。

Turnitin的AI检测器详细页面会分配一个总分,并突出显示疑似AI生成的句子。该公司表示,它故意用蓝色而非红色标记疑似AI生成的段落,并在得分下方链接教师资源。
加州康科德市Goetz的AP英语课老师Rebecca Dell表示,Turnitin标记AI文本的系统并不总是有效,这令人担忧。
与抄袭指控不同,AI作弊没有源文件作为证据,这最容易让老师对学生带有偏见。

或许并不是每个人都像Goetz那么幸运。
Goetz表示,「对于学生来说,被指控AI作弊尤其令人恐惧。除非你的老师了解你的写作风格,或者对你非常信任,否则没有办法证明你没有作弊」。
自ChatGPT面世以来,已经被许多高校的学生和老师用在日常的作业和教学中。
然而,如果不加以限制,ChatGPT将会变成史上最强大的作弊工具,可以帮助学生们写作业,甚至是完成考试论文。
为了反侦察,一款简单易用的检测器成为老师期盼的东西。一位22岁普林斯顿大学的学生Edward Tian,就自行开发了一款检测器——GPTZero。
甚至,OpenAI官宣推出一个新工具,名为AI Text Classifier的文件检测器。
但是,这些检测器的表现并不如人意。
检测出AI创作的内容听起来很简单。但当给你一封手写邮件和ChatGPT生成的邮件后,我们几乎无法辨别。
Turnitin的人工智能副总裁Eric Wang称,用软件检测人工智能写作涉及统计学。从统计学的角度来看,人工智能与人类的区别在于它极其稳定地处于平均水平。
直白点讲,AI水平很稳定。然而,实际上并非这样一个道理。
「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」
Turnitin的检测器便会「识别出书写过于一致的平均情况」。挑战就在于,有时候有时人类的写作可能确实看起来处于平均水平。
在经济学、数学和实验室报告中,学生倾向于遵循固定的写作风格,这意味着他们更有可能被误认为是AI写作。
这可能就是为什么Turnitin错误地标记了Goetz的论文,因为它的内容涉及到经济学。
Wang表示,Turnitin努力调整其系统,在标记某个句子为AI生成之前需要更高的置信度,以便在这方面犯错。
并称,自己家的软件已经有了很大的进展。「我首次在1月下旬测试Goetz的论文时,该软件识别出其中大约50%是AI生成的。Turnitin在3月下旬再次通过其系统运行我的样本,那时只标记了Goetz论文中的8%为AI生成的。」
Turnitin的检测器也面临其他重要的技术限制。

在它完全检测正确的6个样本中,它们都明显是100%的学生作品,或由ChatGPT生成的。
但是当用混合AI和人类来源的论文进行测试时,它经常错误识别单个句子,或完全漏掉人类部分。而且它无法在通过Quillbot(一个可以重新组合句子的改写程序)处理的论文中发现ChatGPT的痕迹。
此外,Turnitin的检测器可能已经落后于当前的人工智能技术水平。
因为就拿ChatGPT来说吧,现在已经得到了GPT-4的加持,而且具有更多的创造性和风格化能力。
英伟达科学家Jim Fan称,我认为检测器在长期内是不可靠的。人工智能会变得越来越好,并且会以越来越像人类的方式进行写作。可以肯定地说,随着时间的推移,这些语言模型的小怪癖都会减少。

既然有出错的潜在可能性(即使只有1%),为什么还要发布人工智能检测器呢?
Chechitelli说,「教师希望有威慑作用」。然而,一些教育工作者担心这实际上会提高学生的紧张程度。

4月4日,Turnitin已经为大约10,700所中等教育和高等教育机构激活了这款ChatGPT检测器,对学生作业进行「由AI生成」的评分以及逐句分析。
密歇根大学迪尔伯恩分校的数字教育副教务长Mitchel Sollenberger请求Turnitin不要在初始发布时为其校园激活AI检测。
他担忧的是,每学期约2万份学生论文,通过Turnitin进行检测的教师可能会因误报,从而导致毫无根据的学术诚信调查。教师不应该成为第三方软件系统的专家。
我在从html页面生成PDF时遇到问题。我正在使用PDFkit。在安装它的过程中,我注意到我需要wkhtmltopdf。所以我也安装了它。我做了PDFkit的文档所说的一切......现在我在尝试加载PDF时遇到了这个错误。这里是错误:commandfailed:"/usr/local/bin/wkhtmltopdf""--margin-right""0.75in""--page-size""Letter""--margin-top""0.75in""--margin-bottom""0.75in""--encoding""UTF-8""--margin-left""0.75in""-
我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在
我尝试运行2.x应用程序。我使用rvm并为此应用程序设置其他版本的ruby:$rvmuseree-1.8.7-head我尝试运行服务器,然后出现很多错误:$script/serverNOTE:Gem.source_indexisdeprecated,useSpecification.Itwillberemovedonorafter2011-11-01.Gem.source_indexcalledfrom/Users/serg/rails_projects_terminal/work_proj/spohelp/config/../vendor/rails/railties/lib/r
我正在尝试在我的centos服务器上安装therubyracer,但遇到了麻烦。$geminstalltherubyracerBuildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingtherubyracer:ERROR:Failedtobuildgemnativeextension./usr/local/rvm/rubies/ruby-1.9.3-p125/bin/rubyextconf.rbcheckingformain()in-lpthread...yescheckingforv8.h...no***e
我花了三天的时间用头撞墙,试图弄清楚为什么简单的“rake”不能通过我的规范文件。如果您遇到这种情况:任何文件夹路径中都不要有空格!。严重地。事实上,从现在开始,您命名的任何内容都没有空格。这是我的控制台输出:(在/Users/*****/Desktop/LearningRuby/learn_ruby)$rake/Users/*******/Desktop/LearningRuby/learn_ruby/00_hello/hello_spec.rb:116:in`require':cannotloadsuchfile--hello(LoadError) 最佳
我在pry中定义了一个函数:to_s,但我无法调用它。这个方法去哪里了,怎么调用?pry(main)>defto_spry(main)*'hello'pry(main)*endpry(main)>to_s=>"main"我的ruby版本是2.1.2看了一些答案和搜索后,我认为我得到了正确的答案:这个方法用在什么地方?在irb或pry中定义方法时,会转到Object.instance_methods[1]pry(main)>defto_s[1]pry(main)*'hello'[1]pry(main)*end=>:to_s[2]pry(main)>defhello[2]pry(main)
我使用的是Firefox版本36.0.1和Selenium-Webdrivergem版本2.45.0。我能够创建Firefox实例,但无法使用脚本继续进行进一步的操作无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055)错误。有人能帮帮我吗? 最佳答案 我遇到了同样的问题。降级到firefoxv33后一切正常。您可以找到旧版本here 关于ruby-无法在60秒内获得稳定的Firefox连接(127.0.0.1:7055),我们在StackOverflow上找到一个类
当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub
GivenIamadumbprogrammerandIamusingrspecandIamusingsporkandIwanttodebug...mmm...let'ssaaay,aspecforPhone.那么,我应该把“require'ruby-debug'”行放在哪里,以便在phone_spec.rb的特定点停止处理?(我所要求的只是一个大而粗的箭头,即使是一个有挑战性的程序员也能看到:-3)我已经尝试了很多位置,除非我没有正确测试它们,否则会发生一些奇怪的事情:在spec_helper.rb中的以下位置:require'rubygems'require'spork'
我正在学习http://ruby.railstutorial.org/chapters/static-pages上的RubyonRails教程并遇到以下错误StaticPagesHomepageshouldhavethecontent'SampleApp'Failure/Error:page.shouldhave_content('SampleApp')Capybara::ElementNotFound:Unabletofindxpath"/html"#(eval):2:in`text'#./spec/requests/static_pages_spec.rb:7:in`(root)'