jjzjj

ChatGPT之父最新观点：通用人工智能是全人类的赌注

轻风博客 2023-03-28 原文 

让人类成功过渡到一个拥有超级智能的世界，可能是有史以来最重要、最有希望、最可怕的项目。
近日，ChatGPT之父阿尔特曼在OpenAI官网发布了他对AGI（通用人工智能）的看法和未来的计划。
阿尔特曼说，AGI可能带来严重的滥用、重大事故和社会混乱的风险。OpenAI希望通过制定一些原则来确保AGI的好处最大化，并控制它的潜在风险。原则包括：
*让AGI成为放大器，促进人类最大程度繁荣；
*确保AGI的访问权和治理得到广泛和公平的分享；
*通过部署功能较弱的版本来不断学习和适应，减少押宝“一次性成功”。
阿尔特曼说，成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。AGI距离成功还很遥远，但赌注之大（好处和坏处都是无限的）有望让我们所有人团结起来。
以下是创业邦整理的全文，内容经编辑处理：
我们的使命是确保AGI（即比人类更聪明的AI系统）能够造福全人类。
如果AGI得以成功创建，这项技术可以通过增加丰富度、赋能全球经济、以及助力发现能带来无限可能的科学新知，来帮助人类提升能力。
AGI有赋予每个人不可思议的新能力的潜力。我们可以想象有这样一个世界，所有人都可以获得几乎所有认知的帮助，为人类的才智和创造力提供巨大的力量倍增器（force multiplier）。
但另一方面，AGI也会产生严重的滥用、重大事故和社会混乱的风险。由于AGI对社会产生的价值如此之高，我们认为，永久性地终止它的发展是不可能的，也是不可取的。相反，社会和AGI的开发者必须想办法把事情做对。
虽然我们无法准确预测会发生什么，而且目前的进展也可能会受挫，但我们可以阐明我们最关心的原则：
我们希望AGI能够为人类在宇宙中最大程度的繁荣赋能。我们不希望未来是一个不合格的乌托邦，我们希望将好的方面最大化，将坏的方面最小化，让AGI成为人类的放大器。
我们希望AGI的好处、访问权和治理得到广泛和公平的分享。
我们希望能够成功地应对那些巨大的风险。在面对这些风险时，我们承认，理论上看似正确的事情，在实践中往往比预期更奇怪。我们认为，我们必须通过部署功能较差的版本来不断学习和适应，最大程度地减少指望获得“一次性成功”（one shot to get it right）的情况。
短期来看
为了迎接AGI，我们认为现在有几件事非常重要。
第一，随着我们不断创建更强大的系统，我们希望部署它们，并获得在真实世界中操作它们的经验。我们相信这是谨慎导入和管理AGI的最佳方式——逐渐过渡到AGI世界比急速过渡要好。我们期望强大的AI能够加速世界的进步，但我们认为一个逐步适应的过程更好。
渐进的过渡，让民众、政策制定者和机构有时间了解正在发生的事情，亲身体验系统的好处和缺点，让经济做出相应的调整，并实施监管。它还允许社会和AI共同进化，并允许大家在风险相对较低的情况下弄清楚自己想要什么。
目前，我们认为，成功应对AI部署挑战的最佳方法，是采用快速学习和谨慎迭代的紧密反馈循环。社会将面临一些重大问题，包括AI系统被允许做什么、如何应对偏见、如何处理工作岗位流失等。最佳决策将取决于所采用的技术路径。与任何新领域一样，目前为止大多数专家预测都是错误的。在真空中做规划非常困难。
总体来说，我们认为世界更多地使用AI会带来好处，我们希望推广它（通过将模型放入API，将它们开源等）。我们相信，民主化的访问权也会带来更多和更好的研究、分散的权力、更多的益处，以及更多的人会贡献新的想法。
随着我们的系统越来越接近AGI，我们对模型的创建和部署变得越来越谨慎。相较于社会通常对新技术应用的态度，以及许多用户的希望，我们的决定更加谨慎。AI领域的一些人认为AGI（和后继系统）的风险是虚构的。如果结果证明他们是对的，我们会很高兴，但我们会把风险当作真实的存在。
在某些时候，利弊之间的平衡可能会发生变化。比如，在发生授权恶意行为者、造成社会和经济破坏以及加速不安全的竞赛的情况下，我们将实质性地改变我们的部署计划。
其次，我们正在创建更加一致和可控的模型。一个早期的例子是我们从GPT-3的第一个版本到InstructGPT和ChatGPT的转变。
我们认为重要的是，社会就使用AI的极其广泛的边界达成共识，在这些边界内，个人用户有很大的自由裁量权。我们最终的希望是全世界的机构就这些广泛的边界应该在哪里达成一致。但在短期内，我们计划对外部输入进行实验。世界上的机构需要加强其能力和经验，以便为有关AGI的复杂决策做好准备。
我们产品的“默认设置”（default setting）可能会相当克制，但我们计划让用户能够轻松地更改他们正在使用的AI的行为。让每个人自己做决定，观念多样性有巨大的内在力量，这两点是我们的信仰。
随着我们的模型日益强大，我们需要开发新的对齐技术（alignment technology）。我们的短期计划是使用AI来帮助人类评估更复杂的模型的输出，并监控复杂系统。从长远看，使用AI来帮助我们提出新的想法，以实现更好的对齐技术。
重要的是，我们认为经常需要在AI安全和能力两方面共同进步。将它们分开讨论是错误的二分法，因为在很多方面它们是相关的。我们最好的安全工作来自与我们最有能力的模型一起工作。换句话说，提高安全与能力进步的比率很重要。
第三，我们希望就三个关键问题开展全球对话：如何治理这些系统，如何公平分配它们产生的收益，以及如何公平共享访问权限。
除此之外，我们还尝试以一种让我们的激励与良好结果保持一致的方式来建立我们的架构。我们的章程中有一个条款是关于协助其它组织提高安全性，而不是在后期AGI开发中与他们竞争。我们对股东获得的回报设定了上限，这样我们就不会冒险和无节制地获取价值。我们有一个非营利组织来管理我们自己，让我们为人类的利益而经营（并且可以凌驾于任何营利利益之上），包括让我们做一些事情，比如在安全需要的情况下，取消我们对股东的股权义务，并资助世界上最全面的UBI（Universal Basic Income，普遍基本收入）实验。
我们试图完善我们的架构，以便让激励措施与良好结果保持一致。
我们认为在发布新系统之前提交独立审计是很重要的。我们将在今年晚些时候更详细地讨论这个问题。在某些情况下，在开始训练未来系统之前获得独立审查可能很重要，最终，同意限制用于创建新模型的计算能力的增长率。我们认为一些关于AGI的公共标准很重要，包括何时应停止训练、确定模型可以安全发布，或从生产使用中撤出模型。最后，我们认为重要的是世界主要国家的政府对超过一定规模的训练有洞察力。
长远来看
我们认为人类的未来应该由人类自己来决定，而且与公众分享进展的信息非常重要。所有试图建立AGI的努力都应该接受严格的审查，重大决策需要进行公众咨询。
第一个AGI将只是智能连续体上的一个点。我们认为进展很可能会从那里继续下去，可能会在很长一段时间内保持我们在过去十年中看到的进展速度。如果这是真的，世界可能会变得与今天截然不同，风险可能会非常大。一个错位的超级智能AGI可能会对世界造成严重的伤害；一个拥有超级智能的不好的政体也会导致这种情况发生。
有足够能力加速自身进步的AGI，可能会导致重大的变化以惊人的速度出现（即使过渡开始缓慢，我们预计它在最后阶段也会很快发生）。我们认为慢慢起飞，安全更容易得到保证。而且，在关键时刻如何协调让AGI各方共同减速可能很重要（即使在不需要这样做来解决技术对齐问题的世界中，也要给社会足够的时间来适应）。
成功过渡到一个拥有超级智能的世界可能是人类历史上最重要、最有希望、最可怕的项目。距离成功还很遥远，但赌注之大（好处和坏处都是无限的）有望让我们所有人团结起来。
我们可能进入一个繁荣程度无法想象的世界。我们希望为世界贡献一个与这种繁荣相一致的通用人工智能。
原文：https://openai.com/blog/planning-for-agi-and-beyond/
全人全人类section的strong人工智能

有关ChatGPT之父最新观点：通用人工智能是全人类的赌注的更多相关文章

  1. 报告回顾丨模型进化狂飙，DetectGPT能否识别最新模型生成结果？ - 2

    导读语言模型给我们的生产生活带来了极大便利，但同时不少人也利用他们从事作弊工作。如何规避这些难辨真伪的文字所产生的负面影响也成为一大难题。在3月9日智源Live第33期活动「DetectGPT：判断文本是否为机器生成的工具」中，主讲人Eric为我们讲解了DetectGPT工作背后的思路——一种基于概率曲率检测的用于检测模型生成文本的工具，它可以帮助我们更好地分辨文章的来源和可信度，对保护信息真实、防止欺诈等方面具有重要意义。本次报告主要围绕其功能，实现和效果等展开。（文末点击“阅读原文”，查看活动回放。）Ericmitchell斯坦福大学计算机系四年级博士生，由ChelseaFinn和Chri

  2. 亚特兰蒂斯的回声（中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅，深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器，揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下，阿丽亚开始了一段危险的旅程，以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒，她被睿智勇敢的QueenNeria的幻象所指引，她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明，并了解到邪恶的巫师马拉卡勋爵试图利用其古

  3. 玩以太坊链上项目的必备技能（初识智能合约语言-Solidity之旅一） - 2

    前面一篇关于智能合约翻译文讲到了，是一种计算机程序，既然是程序，那就可以使用程序语言去编写智能合约了。而若想玩区块链上的项目，大部分区块链项目都是开源的，能看得懂智能合约代码，或找出其中的漏洞，那么，学习Solidity这门高级的智能合约语言是有必要的，当然，这都得在公链``````以太坊上，毕竟国内的联盟链有些是不兼容Solidity。Solidity是一种面向对象的高级语言，用于实现智能合约。智能合约是管理以太坊状态下的账户行为的程序。Solidity是运行在以太坊（Ethereum）虚拟机（EVM）上，其语法受到了c++、python、javascript影响。Solidity是静态类型

  4. 最新版人脸识别小程序 图片识别 生成二维码签到 地图上选点进行位置签到 计算签到距离 课程会议活动打卡日常考勤 上课签到打卡考勤口令签到 - 2

    技术选型1，前端小程序原生MINA框架cssJavaScriptWxml2，管理后台云开发Cms内容管理系统web网页3，数据后台小程序云开发云函数云开发数据库（基于MongoDB）云存储4，人脸识别算法基于百度智能云实现人脸识别一，用户端效果图预览老规矩我们先来看效果图，如果效果图符合你的需求，就继续往下看，如果不符合你的需求，可以跳过。1-1，登录注册页可以看到登录页有注册入口，注册页如下我们的注册，需要管理员审核，审核通过后才可以正常登录使用小程序1-2，个人中心页登录成功以后，我们会进入个人中心页我们在个人中心页可以注册人脸，因为我们做人脸识别签到，需要先注册人脸才可以进行人脸比对，进

  5. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底，OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发，他展现的惊人能力将人工智能的研究和应用热度推向高潮，网上也充斥着和ChatGPT的各种聊天，他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复：人命关天的坑： 写歌，留给词作者的机会不多了。。。 回答人类怎么样面对人工智能： 什么是ChatGPT？借用网上的一段介绍，ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型，一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话，还能根据聊天的上下文进行互动

  6. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型，由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写，意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器（Trans

  7. ruby - 如何在 OSX 上正确更新系统 ruby​​ 版本到最新版本 (2.2.1) - 2

    只是想更新到最新版本的Ruby。在ruby​​-lang.org/en/documentation/installation/#homebrew上，我发现你应该可以通过自制软件来完成:brewinstallruby但是，当我在“更新”后列出ruby​​版本(ruby-v)时，它仍然是旧版本2.0.0。Hermes:~Sancho$ruby-vruby2.0.0p481(2014-05-08revision45883)[universal.x86_64-darwin13]我碰巧列出了/usr/local/bin/的内容，我可以看到一个符号链接(symboliclink):ruby->..

  8. centos 安装 最新版 skywalking 8.9.1 - 2

    一、相关网址1、官网（可以下载，查看文章）https://skywalking.apache.org/downloads/2、github地址：（可提问题寻求帮助）https://github.com/apache/skywalking二、 实验环境操作系统 centos7.9先安装好 elasticsearch7.16.2操作系统安装好jdk8-17,实验机器jdk11java下载地址：https://www.oracle.com/java/technologies/downloads/#java8IP地址为192.168.24.160三、安装skywalking 1、下载skywalkin

  9. 「想体验ChatGPT中文聊天？」那快进来，你用不上算我输 - 2

    ♥️作者：白日参商🤵‍♂️个人主页：白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识，和大家一起努力呀！！！🎈🎈加油！加油！加油！加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+！「想体验ChatGPT中文聊天？」那快进来，你用不上算我输项目场景：项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你！！！配置成功了！！！API和URL都是博主免费提供给大家的！！！恭喜你！！！配置成功了！！！API和URL都是博主免费提供给大家的！！！🎈🎈加油！加油！加油！加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+！项目场景：近几个月可以说ChatGPT是火得一

  10. 半个月狂飙1000亿，ChatGPT概念股凭什么？ - 2

    ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今，ChatGPT概念股开始了暴走模式，短短半月时间，海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应，得益于ChatGPT所展现出商业化落地的巨大潜力。要知道，在此之前，无论是十年AI投入超千亿的百度，还是困在硬件化里的AI四小龙，都在重复着AI商业化难落地的故事。ChatGPT的出现，让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出，ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点：1、ChatGPT是AI技术迭代的受益者。过去受限技术

随机推荐