jjzjj

漫画科普ChatGPT:绝不欺负文科生

松鼠协会总动员 2023-10-31 原文

图文原创:亲爱的数据

你所热爱的,都值得拥有一个名字。

世界上里程碑式计算机,问世之时大多拥有自己的名字。

我认为,假如计算机的诞生是元年,下一个元年将会是“奇点”。

不是比特币,不是虚拟现实,不是AIGC(用人工智能技术来生成内容)。这些只是过程。

当然,过程足够重要,也要有名字。

很多人看到GPT-2,GPT-3, Switch Transformer,DALL·E 2 ,Codex,LaMDA,就头晕,看不懂。

它们都是模型的名字。以它们在信息技术发展史上的地位,高低得整个名字。

模型里有什么?

模型中的运算形式设计,和运算所需要的参数,都是模型的一部分。

近几年,大模型发展的有声有色,一个做得比一个大。

参数数量是模型大小的重要指标,但不是唯一指标。运算量也是指标之一。同样的参数量,你设计的运算的形式不同,计算量也不同。

运算形式设计是人类脑力精华。

参数,你可以简单理解为机器部件,部件越多,体量越大。但不见得部件越多,机器就越好,模型也一样。

参数量很直观,一度“参数比大小”成了关键。

2020年5月,GPT-3有1750亿参数。比它的兄弟GPT-1和GPT-2强大的多。GPT-3 发布仅几个月后,谷歌大脑团队就发布了Swin Transformer,参数量是GPT-3的9倍。

但是“比大小”不是目的,“效果好”才是目的。

这些“配有姓名”的大模型,规模很关键,但是创新更关键。

贾扬清说,不是别人做出大模型之后,简单跟进说“我们可以做得更大”,更重要的是,在前人基础上,做更多创新成果。

OpenAI也只是一家搞AI创业的“小公司”,在“转身”成为公司之前,是一家公益性质的科研实验室。

公司虽小,愿景却大:“让人工智能有益于全人类”。

从此,OpenAI他们矢志不渝地朝着通用人工智能(AGI)的方向不断尝试。

AGI是最有抱负的科技方向之一,拥抱AGI必须让机器展示出人类所拥有的各项智能,亲情,爱情,友情。

但怎么前往AGI,人类毫无头绪,也有人说,毫无希望。

情况就是这么一个情况。

把模型做大是不是通向人工智能的路?谁也不知道。

但是模型大了,效果确实好了。大模型的竞争从寥寥到陷入忙碌, 比方法,比技巧,比谁有效。

2022年3月,InstructGPT,加入了人类的评价和反馈数据,效果也很好。

参数降到了13亿,小也可以很能打。

Instruct的中文有吩咐,指令之意,就是说,按照人类的指示行事。

讲到InstructGPT,距离ChatGPT也不远了。

ChatGPT也按指令行事,方式是通过问答。

大模型超级难做,消耗无数系统工程师和算法工程师的智慧和精力,是个系统工程,而今看来,国之重器,毫不为过。

这擎天玩意让缺乏创新的模型看起来像夜市地摊上粗糙的塑料玩具。

这种规模的模型,用“做出来”这个动词已经不合适了,与其说是“开发”,不如说是“组织开发”。

为此OpenAI配套了上游数据团队,和下游芯片“大军”。

据 InstructGPT 的技术博客,从事高质量数据收集、挖掘、清理、增强等方面的工作的人数,从40人增加到1000人。数据团队有技术含量,收入可观,说是一家科创板上市公司也不过分。

作为ChatGPT的数据公司,那怕轮次融资,投资人会爱极了。

为了开发一个模型,配套一家上市公司,真是妙。

这还没有完。

芯片方面,据谭老师截获了一个信息:

“OpenAI公司为训练ChatGPT用了10万块英伟达A100的GPU。”

我也问了一个业内顶级大佬,他亦认为合理。

且不说价钱,而这一型号的高端GPU已经被美国限制,国内买不到了。

ChatGPT背后的一些信息来自InstructGPT的学术论文。

InstructGPT的核心思路由之前两条研究线路所带来。

也就是说,装在ChatGPT弹匣里的银色子弹中,一颗叫“自然语言理解的大语言模型 LLM”,一颗叫“带人类反馈的强化学习 RLHF”。

贾扬清的解释是,这一系列大预语言模型多少都采取了不带太强结构的统计方法:“根据周边的词语来预测中间的词语”,或者“根据前面的文字来生成后面的词语”。

当然,还有一些银弹叫,“外人不知道”。

叹服ChatGPT前沿科研的能力之余,思考它如何从一个科研成果变成人见人爱的科技产品?

OpenAI此前所推出了一种产品试用机制,用了两个工具。工具一Playground,工具二GPT-3 API。API必须要代码调用接口,并不是人人都可以轻而易举体验它的能力。

虽然GPT-3 API已经非常简单,代码复制粘贴也能试一下。

贾扬清认为,这种产品试用让产品和市场在做小范围的磨合,尝鲜者虽少,但本质上,产品试用为后续的科研带来了大量的数据输入。

科研没有停止,科研在不断走向产品。

计算机领域有一个短语叫做 “human in the loop”,有人翻译成“人机交互”,并没有揭示核心。也有人翻译成“人机回环”。

贾扬清的解释是,将一篇科研文章变成一个软件原型(prototype)。再将用户的体验、数据的回流、标注、再训练这个闭环做得非常精准。ChatGPT 在这一个领域中体现出了高超能力。

科技产品可以粗糙,也可以精美。

ChatGPT的科研背景非常强,满身都是商业机密的ChatGPT,虽然公布出来的技术大家都懂,但是为什么他们的效果这么好?

OpenAI团队做出来一个目前为止最接近AGI的东西,似乎证明了通用人工智能是存在的。

无论是不是,它离我们想象中的AI越来越近了。

(完)

有关漫画科普ChatGPT:绝不欺负文科生的更多相关文章

  1. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  2. ruby-on-rails - 多次选择一个随机数,但绝不会两次选择相同的随机数 - 2

    这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:HowdoIgeneratealistofnuniquerandomnumbersinRuby?我想做的事:Random.rand(0..10).timesdoputsRandom.rand(0..10)end但如果随机数已经显示过,则无法再次显示。如何最轻松地做到这一点?

  3. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动

  4. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans

  5. 「想体验ChatGPT中文聊天?」那快进来,你用不上算我输 - 2

    ♥️作者:白日参商🤵‍♂️个人主页:白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!「想体验ChatGPT中文聊天?」那快进来,你用不上算我输项目场景:项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!项目场景:近几个月可以说ChatGPT是火得一

  6. 半个月狂飙1000亿,ChatGPT概念股凭什么? - 2

    ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今,ChatGPT概念股开始了暴走模式,短短半月时间,海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应,得益于ChatGPT所展现出商业化落地的巨大潜力。要知道,在此之前,无论是十年AI投入超千亿的百度,还是困在硬件化里的AI四小龙,都在重复着AI商业化难落地的故事。ChatGPT的出现,让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出,ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点:1、ChatGPT是AI技术迭代的受益者。过去受限技术

  7. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  8. 山石发声|风暴眼中的ChatGPT,看NLPer怎么说? - 2

    当前科技领域最有热度的话题,无疑是OpenAI新提出的大规模对话语言模型ChatGPT,一经发布上线,短短五天就吸引了百万用户,仅一个多月的时间月活已然破亿,并且热度一直在持续发酵,各行各业的从业人员、企业机构都开始体验关注甚至自研“类ChatGPT”模型。这里,笔者从一位NLP从业人员的角度谈一谈对ChatGPT的一些看法和思考。1、ChatGPT诞生之路1.1BERT2018年,谷歌提出BERT(BidirectionalEncoderRepresentationfromTransformer)模型,一时之间疯狂屠榜,在各种自然语言处理领域建模任务中取得了最佳的成绩,NLP自此进入了大规模

  9. ChatGPT教程之深入了解魔术背后的技术 - 2

    解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA

  10. 火爆的ChatGPT快速学成,要看哪些书? - 2

    以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了

随机推荐