jjzjj

ChatGPT插件刚火了不到一天,就被爆出严重问题了

不会写文档的程序员 2023-07-25 原文

当地时间,24日晚9点,一位推特上昵称“rez0”的技术骇客( 同时也是一位prompt工程师),在研究破解新的ChatGPT API时发现了一个非常有趣的事情:通过从API调用中删除特定参数就能获得80多个秘密插件,包括:DAN插件、加密货币价格插件、Wolfram插件、Instacart插件等等。

API还显示了本不需要向用户展示的“模型描述”部分,这是非常有安全风险的:因为这部分暴露了模型是如何被告知使用插件的。

此前,rez0曾怀疑未发布的插件可以通过HTTP代理设置“匹配和替换”规则来使用,只有客户端会检查你是否有权使用这些插件,并可以绕过该审查。但很快rez0澄清了,这个猜测不正确。因为——API要么返回的是未经审查的插件,要不就不返回。

这下网友炸锅了:明明拥有最强大的技术,但行为却像是个业余选手~~

Rez0声称目前这个Bug已经被修复,时长00:17

此前,周一就被曝出ChatGPT存在用户隐私漏洞,部分功能被限制使用,许多人的历史对话标题会出现在其他人聊天框内。

ChatGPT之父Sam也为此事发推道歉,声称问题出现在一个开源库,并删除了ChatGPT当天的10个小时聊天记录来修复这场Bug。

ChatGPT插件的风险,还有很多

OpenAI近日推出了ChatGPT 插件,通过授予机器人访问第三方知识源和数据库(包括网络)的权限来扩展机器人的功能。OpenAI向waitlist上的ChatGPT用户和开发人员提供alpha版,OpenAI表示,在推出更大规模和API访问之前,它****会优先考虑少数开发人员和使用其高级ChatGPT Plus计划的订阅者

网络浏览插件:引用来源容易误导

最吸引人的插件无疑是OpenAI的第一方网络浏览插件,它允许ChatGPT从网络上提取数据以回答向它提出的各种问题。(以前,ChatGPT的知识仅限于2021年9月之前的日期、事件和人物。)该插件使用Bing搜索API从网络上检索内容,并显示它在制作答案时访问过的任何网站,并在ChatGPT的回复中引用其来源。

OpenAI自己的研究成果也认为风险不会消除。该公司于2021年构建了一个名为WebGPT的实验系统,该系统有时会引用不可靠的来源,系统还会被激励从能够让用户会觉得有说服力的网站中挑选数据——即使这些来源客观上并不是最有信服力的。Meta已解散的BlenderBot 3.0也可以访问网络,并迅速偏离正轨,在出现特定文本提示时,会明显显示出阴谋论和令人反感的内容。

实时数据组织程度差,结果容易被玩弄

与静态训练数据集相比,实时网络的数据组织程度、过滤清洗程度只会更少。谷歌和Bing等搜索引擎使用自己的安全机制来减少不可靠内容出现在结果顶部的可能性,但这些结果可以被玩弄。它们也不一定代表整个网络。而且,Google的算法会优先考虑使用加密、移动支持和模式标记等现代网络技术的网站。结果,许多具有其他优质内容的网站在“洗牌”中渐渐埋没了。

也就是说,搜索引擎可能会对连接互联网的语言模型的答案,产生很大的影响。谷歌往往在搜索中优先考虑自己的服务,例如,使用来自谷歌地方的数据,而不是像第三方如TripAdvisor这样更丰富、更社交的来源来回答旅行查询。与此同时,搜索算法也为不良分子打开了大门。2020 年,Pinterest利用谷歌图像搜索算法的一个“怪癖”,在谷歌图像搜索中展示了更多内容 。

OpenAI的承诺犹在耳

OpenAI承认,支持网络的ChatGPT可能会执行所有类型的不良行为,例如发送欺诈性和垃圾邮件、绕过安全限制以及通常“增加欺诈、误导或滥用他人的不良行为者的能力”。但该公司还表示,它已根据内部和外部“红队”通知“实施了几项保障措施”以防止这种情况发生。时间会证明它们是否足够应对这些。

除了网络插件之外,OpenAI还为ChatGPT发布了一个代码解释器,它为聊天机器人提供了一个在沙盒、防火墙环境、磁盘空间中工作的Python解释器。它支持上传文件到ChatGPT并下载结果;OpenAI表示,它对于解决数学问题、进行数据分析和可视化以及在格式之间转换文件特别有用。

OpenAI的许多早期合作者为ChatGPT构建了插件,包括Expedia、FiscalNote、Instacart、Kayak、Klarna、Milo、OpenTable、Shopify、Slack、Speak、Wolfram和Zapier。

至于插件的用途,不言自明。例如,OpenTable插件允许ChatGPT跨多个餐厅,搜索可用预订,而Instacart 插件允许ChatGPT从本地商店下订单。迄今为止,Zapier是同类产品中最具可扩展性的,它可以与Google表格、Trello和Gmail等应用程序连接,以触发一系列生产力任务。

为了方便新插件的创建,OpenAI开源了一个“检索”插件,使ChatGPT能够通过用自然语言提问来访问来自文件、笔记、电子邮件或公共文档等数据源的文档片段。

“我们正在努力开发插件,并将它们带给更广泛的受众,”OpenAI在一篇博文中写道。“我们有很多东西要学,在大家的帮助下,我们希望打造出既有用又安全的东西。”

写在最后

插件是ChatGPT开发时间表中一个相当新奇的补充。一旦仅限于其训练数据中的信息,ChatGPT有了插件,突然变得更加强大——而且承担的法律风险也可能更低。
一些专家指责OpenAI从训练ChatGPT的未经许可的任务中获利;ChatGPT的数据集包含各种公共网站。但是插件可以通过允许公司保留对其数据的完全控制来解决这个问题。
总之,希望ChatGPT能够尽快完善,尽量少犯些“初级错误”吧。而使用者也要客观对待新事物,谨慎使用。

有关ChatGPT插件刚火了不到一天,就被爆出严重问题了的更多相关文章

  1. ruby - 在 64 位 Snow Leopard 上使用 rvm、postgres 9.0、ruby 1.9.2-p136 安装 pg gem 时出现问题 - 2

    我想为Heroku构建一个Rails3应用程序。他们使用Postgres作为他们的数据库,所以我通过MacPorts安装了postgres9.0。现在我需要一个postgresgem并且共识是出于性能原因你想要pggem。但是我对我得到的错误感到非常困惑当我尝试在rvm下通过geminstall安装pg时。我已经非常明确地指定了所有postgres目录的位置可以找到但仍然无法完成安装:$envARCHFLAGS='-archx86_64'geminstallpg--\--with-pg-config=/opt/local/var/db/postgresql90/defaultdb/po

  2. ruby - 通过 rvm 升级 ruby​​gems 的问题 - 2

    尝试通过RVM将RubyGems升级到版本1.8.10并出现此错误:$rvmrubygemslatestRemovingoldRubygemsfiles...Installingrubygems-1.8.10forruby-1.9.2-p180...ERROR:Errorrunning'GEM_PATH="/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/ruby-1.9.2-p180@global:/Users/foo/.rvm/gems/ruby-1.9.2-p180:/Users/foo/.rvm/gems/rub

  3. ruby - 如何每月在 Heroku 运行一次 Scheduler 插件? - 2

    在选择我想要运行操作的频率时,唯一的选项是“每天”、“每小时”和“每10分钟”。谢谢!我想为我的Rails3.1应用程序运行调度程序。 最佳答案 这不是一个优雅的解决方案,但您可以安排它每天运行,并在实际开始工作之前检查日期是否为当月的第一天。 关于ruby-如何每月在Heroku运行一次Scheduler插件?,我们在StackOverflow上找到一个类似的问题: https://stackoverflow.com/questions/8692687/

  4. ruby-on-rails - 无法使用 Rails 3.2 创建插件? - 2

    我对最新版本的Rails有疑问。我创建了一个新应用程序(railsnewMyProject),但我没有脚本/生成,只有脚本/rails,当我输入ruby./script/railsgeneratepluginmy_plugin"Couldnotfindgeneratorplugin.".你知道如何生成插件模板吗?没有这个命令可以创建插件吗?PS:我正在使用Rails3.2.1和ruby​​1.8.7[universal-darwin11.0] 最佳答案 随着Rails3.2.0的发布,插件生成器已经被移除。查看变更日志here.现在

  5. ruby - 通过 RVM (OSX Mountain Lion) 安装 Ruby 2.0.0-p247 时遇到问题 - 2

    我的最终目标是安装当前版本的RubyonRails。我在OSXMountainLion上运行。到目前为止,这是我的过程:已安装的RVM$\curl-Lhttps://get.rvm.io|bash-sstable检查已知(我假设已批准)安装$rvmlistknown我看到当前的稳定版本可用[ruby-]2.0.0[-p247]输入命令安装$rvminstall2.0.0-p247注意:我也试过这些安装命令$rvminstallruby-2.0.0-p247$rvminstallruby=2.0.0-p247我很快就无处可去了。结果:$rvminstall2.0.0-p247Search

  6. ruby - Fast-stemmer 安装问题 - 2

    由于fast-stemmer的问题,我很难安装我想要的任何ruby​​gem。我把我得到的错误放在下面。Buildingnativeextensions.Thiscouldtakeawhile...ERROR:Errorinstallingfast-stemmer:ERROR:Failedtobuildgemnativeextension./System/Library/Frameworks/Ruby.framework/Versions/2.0/usr/bin/rubyextconf.rbcreatingMakefilemake"DESTDIR="cleanmake"DESTDIR=

  7. ruby - 安装 Ruby 时遇到问题(无法下载资源 "readline--patch") - 2

    当我尝试安装Ruby时遇到此错误。我试过查看this和this但无济于事➜~brewinstallrubyWarning:YouareusingOSX10.12.Wedonotprovidesupportforthispre-releaseversion.Youmayencounterbuildfailuresorotherbreakages.Pleasecreatepull-requestsinsteadoffilingissues.==>Installingdependenciesforruby:readline,libyaml,makedepend==>Installingrub

  8. java - 从 JRuby 调用 Java 类的问题 - 2

    我正在尝试使用boilerpipe来自JRuby。我看过guide从JRuby调用Java,并成功地将它与另一个Java包一起使用,但无法弄清楚为什么同样的东西不能用于boilerpipe。我正在尝试基本上从JRuby中执行与此Java等效的操作:URLurl=newURL("http://www.example.com/some-location/index.html");Stringtext=ArticleExtractor.INSTANCE.getText(url);在JRuby中试过这个:require'java'url=java.net.URL.new("http://www

  9. ruby-on-rails - 简单的 Ruby on Rails 问题——如何将评论附加到用户和文章? - 2

    我意识到这可能是一个非常基本的问题,但我现在已经花了几天时间回过头来解决这个问题,但出于某种原因,Google就是没有帮助我。(我认为部分问题在于我是一个初学者,我不知道该问什么......)我也看过O'Reilly的RubyCookbook和RailsAPI,但我仍然停留在这个问题上.我找到了一些关于多态关系的信息,但它似乎不是我需要的(尽管如果我错了请告诉我)。我正在尝试调整MichaelHartl'stutorial创建一个包含用户、文章和评论的博客应用程序(不使用脚手架)。我希望评论既属于用户又属于文章。我的主要问题是:我不知道如何将当前文章的ID放入评论Controller。

  10. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

随机推荐