
图文原创:亲爱的数据
你所热爱的,都值得拥有一个名字。
世界上里程碑式计算机,问世之时大多拥有自己的名字。
我认为,假如计算机的诞生是元年,下一个元年将会是“奇点”。
不是比特币,不是虚拟现实,不是AIGC(用人工智能技术来生成内容)。这些只是过程。
当然,过程足够重要,也要有名字。
很多人看到GPT-2,GPT-3, Switch Transformer,DALL·E 2 ,Codex,LaMDA,就头晕,看不懂。

它们都是模型的名字。以它们在信息技术发展史上的地位,高低得整个名字。
模型里有什么?
模型中的运算形式设计,和运算所需要的参数,都是模型的一部分。
近几年,大模型发展的有声有色,一个做得比一个大。
参数数量是模型大小的重要指标,但不是唯一指标。运算量也是指标之一。同样的参数量,你设计的运算的形式不同,计算量也不同。
运算形式设计是人类脑力精华。
参数,你可以简单理解为机器部件,部件越多,体量越大。但不见得部件越多,机器就越好,模型也一样。
参数量很直观,一度“参数比大小”成了关键。
2020年5月,GPT-3有1750亿参数。比它的兄弟GPT-1和GPT-2强大的多。GPT-3 发布仅几个月后,谷歌大脑团队就发布了Swin Transformer,参数量是GPT-3的9倍。
但是“比大小”不是目的,“效果好”才是目的。
这些“配有姓名”的大模型,规模很关键,但是创新更关键。
贾扬清说,不是别人做出大模型之后,简单跟进说“我们可以做得更大”,更重要的是,在前人基础上,做更多创新成果。
OpenAI也只是一家搞AI创业的“小公司”,在“转身”成为公司之前,是一家公益性质的科研实验室。
公司虽小,愿景却大:“让人工智能有益于全人类”。
从此,OpenAI他们矢志不渝地朝着通用人工智能(AGI)的方向不断尝试。
AGI是最有抱负的科技方向之一,拥抱AGI必须让机器展示出人类所拥有的各项智能,亲情,爱情,友情。
但怎么前往AGI,人类毫无头绪,也有人说,毫无希望。
情况就是这么一个情况。

把模型做大是不是通向人工智能的路?谁也不知道。
但是模型大了,效果确实好了。大模型的竞争从寥寥到陷入忙碌, 比方法,比技巧,比谁有效。
2022年3月,InstructGPT,加入了人类的评价和反馈数据,效果也很好。
参数降到了13亿,小也可以很能打。
Instruct的中文有吩咐,指令之意,就是说,按照人类的指示行事。
讲到InstructGPT,距离ChatGPT也不远了。
ChatGPT也按指令行事,方式是通过问答。
大模型超级难做,消耗无数系统工程师和算法工程师的智慧和精力,是个系统工程,而今看来,国之重器,毫不为过。
这擎天玩意让缺乏创新的模型看起来像夜市地摊上粗糙的塑料玩具。
这种规模的模型,用“做出来”这个动词已经不合适了,与其说是“开发”,不如说是“组织开发”。

为此OpenAI配套了上游数据团队,和下游芯片“大军”。
据 InstructGPT 的技术博客,从事高质量数据收集、挖掘、清理、增强等方面的工作的人数,从40人增加到1000人。数据团队有技术含量,收入可观,说是一家科创板上市公司也不过分。
作为ChatGPT的数据公司,那怕轮次融资,投资人会爱极了。
为了开发一个模型,配套一家上市公司,真是妙。
这还没有完。
芯片方面,据谭老师截获了一个信息:
“OpenAI公司为训练ChatGPT用了10万块英伟达A100的GPU。”
我也问了一个业内顶级大佬,他亦认为合理。
且不说价钱,而这一型号的高端GPU已经被美国限制,国内买不到了。
ChatGPT背后的一些信息来自InstructGPT的学术论文。
InstructGPT的核心思路由之前两条研究线路所带来。
也就是说,装在ChatGPT弹匣里的银色子弹中,一颗叫“自然语言理解的大语言模型 LLM”,一颗叫“带人类反馈的强化学习 RLHF”。
贾扬清的解释是,这一系列大预语言模型多少都采取了不带太强结构的统计方法:“根据周边的词语来预测中间的词语”,或者“根据前面的文字来生成后面的词语”。
当然,还有一些银弹叫,“外人不知道”。

叹服ChatGPT前沿科研的能力之余,思考它如何从一个科研成果变成人见人爱的科技产品?
OpenAI此前所推出了一种产品试用机制,用了两个工具。工具一Playground,工具二GPT-3 API。API必须要代码调用接口,并不是人人都可以轻而易举体验它的能力。
虽然GPT-3 API已经非常简单,代码复制粘贴也能试一下。

贾扬清认为,这种产品试用让产品和市场在做小范围的磨合,尝鲜者虽少,但本质上,产品试用为后续的科研带来了大量的数据输入。
科研没有停止,科研在不断走向产品。
计算机领域有一个短语叫做 “human in the loop”,有人翻译成“人机交互”,并没有揭示核心。也有人翻译成“人机回环”。
贾扬清的解释是,将一篇科研文章变成一个软件原型(prototype)。再将用户的体验、数据的回流、标注、再训练这个闭环做得非常精准。ChatGPT 在这一个领域中体现出了高超能力。
科技产品可以粗糙,也可以精美。
ChatGPT的科研背景非常强,满身都是商业机密的ChatGPT,虽然公布出来的技术大家都懂,但是为什么他们的效果这么好?
OpenAI团队做出来一个目前为止最接近AGI的东西,似乎证明了通用人工智能是存在的。
无论是不是,它离我们想象中的AI越来越近了。
(完)
英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古
这个问题在这里已经有了答案:关闭10年前。PossibleDuplicate:HowdoIgeneratealistofnuniquerandomnumbersinRuby?我想做的事:Random.rand(0..10).timesdoputsRandom.rand(0..10)end但如果随机数已经显示过,则无法再次显示。如何最轻松地做到这一点?
2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动
目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans
♥️作者:白日参商🤵♂️个人主页:白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!「想体验ChatGPT中文聊天?」那快进来,你用不上算我输项目场景:项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!项目场景:近几个月可以说ChatGPT是火得一
ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今,ChatGPT概念股开始了暴走模式,短短半月时间,海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应,得益于ChatGPT所展现出商业化落地的巨大潜力。要知道,在此之前,无论是十年AI投入超千亿的百度,还是困在硬件化里的AI四小龙,都在重复着AI商业化难落地的故事。ChatGPT的出现,让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出,ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点:1、ChatGPT是AI技术迭代的受益者。过去受限技术
文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们
当前科技领域最有热度的话题,无疑是OpenAI新提出的大规模对话语言模型ChatGPT,一经发布上线,短短五天就吸引了百万用户,仅一个多月的时间月活已然破亿,并且热度一直在持续发酵,各行各业的从业人员、企业机构都开始体验关注甚至自研“类ChatGPT”模型。这里,笔者从一位NLP从业人员的角度谈一谈对ChatGPT的一些看法和思考。1、ChatGPT诞生之路1.1BERT2018年,谷歌提出BERT(BidirectionalEncoderRepresentationfromTransformer)模型,一时之间疯狂屠榜,在各种自然语言处理领域建模任务中取得了最佳的成绩,NLP自此进入了大规模
解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA
以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了