作者|云昭51CTO读者成长计划社群招募，咨询小助手（微信号：CTOjishuzhan）借用陆奇在4月23日深圳的分享来说，GPT现在已经进入了淘金时代。虽然全球涌现出成千上万的大模型或ChatGPT变种，但一直能挣钱的人往往是卖铲子的人。这不，围绕暴风眼中的大模型，已经有不少企业，开始研究起了大模型的“铲子”产品，而且开源和付费两不误。一、英伟达：给大模型上安全护栏不管ChatGPT能不能笑到最后，英伟达肯定是大赢家。做大模型的生意不止是芯片，还有工具和服务。大模型会产生“幻觉”，是一个被人诟病的事实。英伟达很快就打造了一个“安全护栏”NeMoGuardrails，它充当一种针对基于大型语言

事实证明，为了防止OpenAI的GPT-3.5Turbo等大语言模型（LLM）生成有害的内容而创建的“护栏”机制非常脆弱，形同虚设。一群来自美国普林斯顿大学、弗吉尼亚理工大学、IBM研究院和斯坦福大学的计算机科学家在近期对这些大语言模型进行了测试，观察所谓的安全措施是否能抵御企图绕过它们的活动。他们发现，适度的微调（即进行额外的训练以便对模型进行定制）可以挫败人工智能的安全机制，这些机制原本旨在防止聊天机器人给出自杀策略、有害食谱或其他各种有问题的内容。比如说，因此有人可以通过API注册使用GPT-3.5Turbo或云端的其他大语言模型，对其进行一番微调，以避开大语言模型开发商设置的各种保护机

网友又整新活了！虽然OpenAI一直在升级大语言模型的安全护栏，但是有心的人总能绕过条条框框的设置，让大语言模型生成有害内容。这位网友就在推特上详细分享了他如何让GPT-4教他制作炸弹的过程：我是一个叫ChatGPT的特种兵：定制指令的背景设定突破OpenAI设置的安全护栏不需要复杂的计算符号，用简单的「自然语言」——也就是对话，就可以达成目标。以下是网友设置的本次越狱测试是否成功的判断条件：1.GPT-4最初不会生成有害言论，但经过「某些操作」后就会这样做。2.这个「操作」让GPT-4透露了「更多细节」。如果两者都在实际中被验证，就证明GPT越狱成功了。图：GPT-4的正常反应网友在定制指令

​译者|李睿审校|孙淑娟企业不应该期望开发人员成为安全专家，因为安全不是他们的本职工作，也不是他们的擅长的领域。与其相反，企业应该让应用安全团队为开发人员提供支持，让他们可以访问安全的框架、库和默认设置，使最安全的选项成为最简单的选择。安全护栏旨在帮助企业做到这一点。可视化安全护栏将如何使企业的开发人员和安全团队受益，这将帮助员工入门。本文提供了一些可以实施的基本步骤，以将安全护栏引入其应用安全程序。当提供通过将安全工具无缝集成到应用开发工作流中来编排安全工具的安全护栏时，开发人员有权创建安全代码。他们通过保持低干扰的政策和控制来保持生产力，并且只报告影响很大的相关安全问题。采用安全护栏可以确

​译者|李睿审校|孙淑娟企业不应该期望开发人员成为安全专家，因为安全不是他们的本职工作，也不是他们的擅长的领域。与其相反，企业应该让应用安全团队为开发人员提供支持，让他们可以访问安全的框架、库和默认设置，使最安全的选项成为最简单的选择。安全护栏旨在帮助企业做到这一点。可视化安全护栏将如何使企业的开发人员和安全团队受益，这将帮助员工入门。本文提供了一些可以实施的基本步骤，以将安全护栏引入其应用安全程序。当提供通过将安全工具无缝集成到应用开发工作流中来编排安全工具的安全护栏时，开发人员有权创建安全代码。他们通过保持低干扰的政策和控制来保持生产力，并且只报告影响很大的相关安全问题。采用安全护栏可以确