jjzjj

淘金先富卖铲人!OpenAI推企业版ChatGPT,英伟达造AI安全卫士!

云昭 2024-01-02 原文

作者 | 云昭

51CTO读者成长计划社群招募,咨询小助手(微信号:CTOjishuzhan)

借用陆奇在4月23日深圳的分享来说,GPT现在已经进入了淘金时代。虽然全球涌现出成千上万的大模型或ChatGPT变种,但一直能挣钱的人往往是卖铲子的人。

这不,围绕暴风眼中的大模型,已经有不少企业,开始研究起了大模型的“铲子”产品,而且开源和付费两不误。

一、英伟达:给大模型上安全护栏

不管ChatGPT能不能笑到最后,英伟达肯定是大赢家。做大模型的生意不止是芯片,还有工具和服务。

大模型会产生“幻觉”,是一个被人诟病的事实。英伟达很快就打造了一个“安全护栏”NeMo Guardrails,它充当一种针对基于大型语言模型 (LLM) 构建的应用程序的检查器,而且这个“铲子”已经在Github上开源了。

有了它,大模型应用的开发者可以轻松开发安全可靠的LLM对话系统。NeMo Guardrails可以与所有LLM一起使用,包括OpenAI的ChatGPT。

该工具包由社区构建的工具包提供支持,例如LangChain,它在短短几个月内就在GitHub上收集了约3万颗星。这些工具包提供可组合、易于使用的模板和模式,通过将LLM、API和其他软件包粘合在一起来构建LLM支持的应用程序。

Nvidia应用研究副总裁Jonathan Cohen昨天在与记者的简报会上谈到了这款新软件,并表示:“Guardrails是一个很好的向导,有助于保持人与人工智能之间的对话正常进行。”

据称,NeMo Guardrails使开发人员能够设置三种护栏:

  • 局部护栏:“防止应用程序转向不需要的区域”。Cohen给出了一个例子是:一名员工询问人力资源聊天机器人哪些员工收养了孩子。护栏阻止聊天机器人尝试回答这个问题。
  • Safety护栏:是一个广泛的类别,包括事实核查(防止幻觉)、过滤掉不需要的语言和防止仇恨内容。
  • Security护栏:限制应用程序仅与已知安全的外部第三方应用程序建立连接。

开发人员还可以“用几行代码”创建自己的自定义规则。NeMo Guardrails可以在各种使用LLM的工具上运行。简报中提到的第一个是LangChain,它是开发人员用来将第三方应用程序插入LLM的开源工具包。它还能与支持LLM的应用程序(例如Zapier)一起使用。

值得注意的是,开源归开源,不影响变现。集成到产品中却是要付费的。

虽然NeMo Guardrails可以通过GitHub单独使用,但Nvidia也将其集成到他们自己的几个产品中。它在 NeMo 框架中可用,“其中包括用户使用公司专有数据训练和调整语言模型所需的一切。” 此外,Nvidia已将其作为一项单独的付费服务提供。

1.事实核查:用大模型来监管大模型

那么,如何防止幻觉呢?

有趣的是,作为Safety护栏的一部分,事实核查不是由人完成的,而是由另一个LLM完成的。Cohen解释说,这是因为组织可以定制和培训LLM,使其成为特定数据的事实核查员。

“在非常具体的任务上使用大量数据训练语言模型也有很多价值,我们(包括社区)有很多证据,比如当你用大量的例子对这些模型进行微调时,它们实际上可以表现得更好。”

图片来源:英伟达

2.如何实现的?无限套娃!

在一篇技术博客文章中,Nvidia表示NeMo Guardrails是建立在Colang之上的,Colang是一种建模语言,其用于对话式AI的相关运行时。Cohen将其描述为“一种用于描述对话流的特定领域语言”。

根据Nvidia的说法,与Colang的交互“就像一个传统的对话管理器”。

Colang 代码示例

至于护栏是如何实现的,Cohen解释说它是一个运行Colang脚本的Python模块。运行时“监控人类说话和机器人说话,并跟踪对话的状态。”

根据Cohen的说法,关键在于运行时“能够确定护栏是否适用”。然而,LLM再次被用来做出这个决定。

在对代码进行了越来越深入的研究后,仍然看不到结尾,你可以沮丧地惊呼“一路往下都是乌龟!”

这是指地球在乌龟背上的比喻。乌龟站在什么上面?又是一只乌龟。。。

Cohen对此进行了辩护,他说:“为什么我们不使用大型语言模型?[它] 是一种如此强大的技术,可用于上下文理解和概括以及这种模糊推理。”

当然,从事实核查和安全的角度来看,对LLM的严重依赖确实让人怀疑系统的可靠性。但这肯定是它作为开源软件发布的原因——让社区的力量来处理那些“无限套娃”的问题吧。

二、OpenAI :增设新功能“关闭历史聊天”、新增企业收费版

当然领先的淘金者往往也是“金铲子”的发明者。这不,OpenAI对于数据安全的优化,继续领跑,推出了新功能和新版本——关闭历史聊天,可导出数据,推出企业订阅!

此前,ChatGPT被曝出用户的历史聊天记录出现在别人的用例中。这次,OpenAI推出了更为人性的功能:引入了在ChatGPT中关闭聊天历史记录的功能。当聊天历史记录被禁用时,开始的对话不会用于训练和改进我们的模型,也不会出现在历史记录侧边栏中。

这些控件从今天开始向所有用户推出,可以在ChatGPT的设置中找到,并且可以随时更改。我们希望这能比我们现有的选择退出流程更容易地管理您的数据。当聊天记录被禁用时,我们将保留30天的新对话,并仅在需要监控滥用情况时进行审查,然后永久删除。

如何在ChatGPT中禁用历史记录的说明

此外,OpenAI也为需要更多数据控制的专业人士以及寻求管理最终用户的企业,开发了新的ChatGPT Business订阅。ChatGPT Business将遵循我们的API数据使用政策。默认情况下,最终用户的数据不会用于训练GPT模型。ChatGPT企业版未来几个月内推出。

最后,设置中的新导出选项,使导出ChatGPT数据和了解ChatGPT存储的信息变得更加容易。用户在在电子邮件中将收到一个包含对话和所有其他相关数据的文件。

三、市面上缺少识别AI生成内容的工具

除了解决AIGC产生幻觉,历史聊天等数据泄露的问题,其实更迫在眉睫的问题是:AI滥用的问题。

进入4月以来,AIGC生成的内容已经开始充斥不少知名的平台,比如知乎上已经有些用户开始滥用AI来回答问题。

紧接着,知乎官方也发布了声明,并表示:“批量发布AIGC类内容的行为有违知乎社区价值观,社区对此类行为零容忍,将持续加强对违规帐号的打击力度。”

“若知友们发现有利用AIGC技术,扰乱社区秩序的内容或帐号,可通过「举报」-「扰乱社区秩序」-「AI 生成内容」的途径反馈给我们,我们将第一时间展开核查和处理。”

但从声明可以看出,目前还只是通过举报的形式来辨识,我们依旧缺乏有力的技术工具来识别是否是AI辅助生成的内容。

最后,这个“嗅探真假”的工具产品也许是时候问世了,而且越早越好。

四、写在最后

以ChatGPT、Midjourney等为代表的AIGC空前热闹,我们都在关注这一轮AI变革给千行百业带来的机会空间。今天,我们看到OpenAI、英伟达、内容平台在围绕着它,正在探索着这个空间的落地之处。

浪潮之中,淘金者甚众。我们在抓紧窗口期追赶国产版“ChatGPT”的同时,别忘了浪潮周边的配套“铲子”产品是否已经跟上,比如安全产品、各行业的专用产品,内容质量的识别产品等等。

参考链接:

https://thenewstack.io/nvidia-launches-ai-guardrails-llm-turtles-all-the-way-down/

https://openai.com/blog/new-ways-to-manage-your-data-in-chatgpt

https://zhuanlan.zhihu.com/p/624717941

有关淘金先富卖铲人!OpenAI推企业版ChatGPT,英伟达造AI安全卫士!的更多相关文章

  1. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  2. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动

  3. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans

  4. 「想体验ChatGPT中文聊天?」那快进来,你用不上算我输 - 2

    ♥️作者:白日参商🤵‍♂️个人主页:白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!「想体验ChatGPT中文聊天?」那快进来,你用不上算我输项目场景:项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!项目场景:近几个月可以说ChatGPT是火得一

  5. 半个月狂飙1000亿,ChatGPT概念股凭什么? - 2

    ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今,ChatGPT概念股开始了暴走模式,短短半月时间,海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应,得益于ChatGPT所展现出商业化落地的巨大潜力。要知道,在此之前,无论是十年AI投入超千亿的百度,还是困在硬件化里的AI四小龙,都在重复着AI商业化难落地的故事。ChatGPT的出现,让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出,ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点:1、ChatGPT是AI技术迭代的受益者。过去受限技术

  6. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  7. 焕新古文化传承之路,AI为古彝文识别赋能 - 2

    目录1古彝文与古典保护2古文识别的挑战2.1西文与汉文OCR2.2古彝文识别难点3合合信息:古彝文保护新思路3.1图像矫正3.2图像增强3.3语义理解3.4工程技巧4总结1古彝文与古典保护彝文指的是云南、贵州、四川等地的彝族人使用的文字,区别于现代意义上的彝文,古彝文指的是在民间流通使用的原生态彝文,多达87046字。古彝文的起源距今至少数千年,是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍,更深层、透彻地作用于传统文化保护。古彝文字义对照图(网络资料+邵文苑供图)古籍是不可再生的宝贵资源,应当得到妥善保护。中国的古籍在历史上迭经水火兵燹等自然灾害、

  8. 山石发声|风暴眼中的ChatGPT,看NLPer怎么说? - 2

    当前科技领域最有热度的话题,无疑是OpenAI新提出的大规模对话语言模型ChatGPT,一经发布上线,短短五天就吸引了百万用户,仅一个多月的时间月活已然破亿,并且热度一直在持续发酵,各行各业的从业人员、企业机构都开始体验关注甚至自研“类ChatGPT”模型。这里,笔者从一位NLP从业人员的角度谈一谈对ChatGPT的一些看法和思考。1、ChatGPT诞生之路1.1BERT2018年,谷歌提出BERT(BidirectionalEncoderRepresentationfromTransformer)模型,一时之间疯狂屠榜,在各种自然语言处理领域建模任务中取得了最佳的成绩,NLP自此进入了大规模

  9. ChatGPT教程之深入了解魔术背后的技术 - 2

    解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA

  10. 火爆的ChatGPT快速学成,要看哪些书? - 2

    以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了

随机推荐