jjzjj

ChatGPT搅动AI又一波风潮,却扒出了百度的长板

智能相对论 2023-06-10 原文

文|智能相对论

作者| 叶一城

野火燎原,openAI搞出的chatGPT大有当年alphaGo的架势,搅动整个AI业界春心荡漾。

从openAI的大金主微软,到昔日明星alphaGo的爸爸Google,都火急火燎地要出来表态——前者要彰显主权并在内部全面应用,后者作为全球AI领头羊怎么能失了对称的地位,要发布对应的产品。

国内科技圈自然也发扬了闻风而动的优良品格,在元宇宙概念疲软后,有关的没关的都纷纷贴上来。股市上各种妖魔鬼怪横行,对于上涨,某些董秘的回复中,否定或许还带着捡漏的窃喜。

而“AI大户”百度在宣布发布类似的产品“文心一言”后,股价也立刻上涨。

股民们冤不冤?这次可能不太冤,因为就“中国版ChatGPT”而言,不管腾讯、阿里怎么站位的,某种程度上百度确实最有技术资格,也最能从ChatGPT的落地应用中获得现实的商业价值。

判断谁能在技术的风口上占便宜,第一步永远是先看技术的本质。

ChatGPT从产品形态上,是“一个使用自然语言处理技术实现和人类互动对话的产品”,而其内在本质,就是一个预训练大模型。所谓“大”,就是在巨量到一般人无法想象的数据训练下拥有庞大的参数规模,因为“大”而见识多,博学多才,任何领域都懂,只要稍微调教一下就能出产特定场景的应用。

ChatGPT并不是一次性发展而来的,其属于openAI的一系列预训练模型,所谓GPT,即Generative Pre-Trained Transformer,就是通过Transformer为基础模型,使用预训练技术得到通用的文本模型。从已经公布的论文看,从2018年起,GPT家族已经先后拥有GPT-1,GPT-2,GPT-3,以及图像预训练iGPT等模型,而目前火得一塌糊涂的ChatGPT,更像是一个GPT-4之前的过渡版本GPT-3.5,因为强大的对话能力突然爆火起来。

不同的是,ChatGPT采用了新的指示学习(Instruction Learning)和人工反馈的强化学习(Reinforcement Learning from Human Feedback,RLHF)来指导模型的训练,前者为ChatGPT带来理解能力,后者通过人工标注反馈的方式来增强模型的效果,实现GPT的进化。

在一系列进化下,ChatGPT的参数总量与GPT-3一致,达到了1750亿,实现了从GPT-2的15亿的跳跃。

说到底,ChatGPT就是一个积累已久、有着特殊训练方式的大模型,它的发展是有技术进化路线的。

而“巧合”的是,百度大力投入的产业级知识增强文心大模型ERNIE,具备跨模态、跨语言的深度语义理解与生成能力,其技术演进几乎走出了同样的进程。

早在2019年3月,百度就做出了文心 ERNIE 1.0,这一技术创新与“同类”GPT-1、BERT的差距都只有几个月,而且百度积累的大规模知识和海量多元数据,让文心得以快速发展——搜索业务给大模型所需要的庞大数据训练量带来了天然的便利。

例如,在文心的发展过程中,2021年,ERNIE 3.0大模型即拥有千亿参数;与超强算力方联合的鹏城-百度·文心作为一款融合了自然语言理解和自然语言生成的大模型,其参数量达到了2600亿,相对GPT-3和ChatGPT提升了50%。

去年9月,百度CEO李彦宏判断人工智能发展在“技术层面和商业应用层面,都有方向性改变”。据推测,百度那时候就开始做文心一言。

除了参数规模扩大、能力增强,文心与ChatGPT一样,也在适应不同需要进行技术进化。目前文心大模型总量已经有36个,以其中的知识增强轻量级大模型ERNIE 3.0 Tiny为例,该模型能够通过多任务知识蒸馏手段将千亿多任务大模型的所学迁移至轻量级模型中,训练了10亿级、亿级、千万级不同体量大小的轻量级大模型,实现了优秀的泛化能力。

回过头来看,百度在技术上一直在做与GPT相同的事,但是晦涩的技术决定了它始终缺乏足够的曝光度,直到大洋彼岸的ChatGPT突然搞出了“大新闻”,举起了旗帜,于是,这就成了百度彰显自身技术能力的契机。

从GPT-3到ChatGPT,与从“文心”到“文心一言”(英文名ERNIE Bot)的命名方式,也“惊人巧合”——原本就是一样的技术迭代过程罢了,百度之所以3月就能马上做出来,甚至按目前的节奏内测还可能提前,原因就在于ChatGPT要的那些技术百度都有,产品上再加入对话算法等,很快就能对齐。

至少在NLP领域,目前国内还没用企业能够看齐百度。

而在现实价值方面,实际上ChatGPT做的各种对话、各种辅助功能,都与百度的业务线较为契合,无论是内部的搜索+信息流,还是对外提供的诸如智慧城市等B端解决方案中,都能得到很好的利用。

尤其是,AI与搜索的契合一直是百度近些年的努力方向,以传统精确搜索为主、“文心一言”的工具型搜索为辅的方式,也更符合未来搜索的形态。

当然,其他辅助的,比如芯片(算力相关)、开发框架(飞桨),百度也都有成熟的“基建配套”了,

不过,百度面临的问题还是那个老生常谈的话题:能不能持续投入下去,等待真正的商业价值回报?毕竟,ChatGPT吹得再响,现实的问题肯定少不了,得有一个成熟的过程。

说白了,在没有进入强人工智能时代,ChatGPT再厉害其本质也只是“小孩学舌”,学得更多当然就更像,但也只是“知其然不知其所以然”。

这不是说小孩学舌就没有用,能够学起来很像、能解决一些问题,价值也很大。只不过,带过孩子的都知道,小孩学舌在面临认知问题时,会出现很多逻辑尴尬。

目前ChatGPT在一些对话上就出现了这个问题,例如解一道简单的数学题,能给你扯一大堆,但结果就是不对。又例如很多专业领域的会话,和官样文章一样看似内容很多、逻辑严密,但就是言之无物。

一些程序界大佬惊呼ChatGPT的健壮性远超人类,要开除外包程序员,实际危言耸听。所谓健壮性无非就是设定规则的执行,就像数数,人从0数到300,肯定容易出错,机器数,当然就不会出错,没啥好惊奇的。

无论如何,ChatGPT还有一些路要走,最有资格也最能得益的百度,在风潮面前仍然要咬牙继续坚持才好,这其中的投入或许会更大。

*本文图片均来源于网络

此内容为【智能相对论】原创,

仅代表个人观点,未经授权,任何人不得以任何方式使用,包括转载、摘编、复制或建立镜像。

部分图片来自网络,且未核实版权归属,不作为商业用途,如有侵犯,请作者与我们联系。

•AI产业新媒体;

•澎湃新闻科技榜单月度top5;

•文章长期“霸占”钛媒体热门文章排行榜TOP10;

•著有《人工智能 十万个为什么》

•【重点关注领域】智能家电(含白电、黑电、智能手机、无人机等AIoT设备)、智能驾驶、AI+医疗、机器人、物联网、AI+金融、AI+教育、AR/VR、云计算、开发者以及背后的芯片、算法等。

有关ChatGPT搅动AI又一波风潮,却扒出了百度的长板的更多相关文章

  1. 亚特兰蒂斯的回声(中文版): chatGPT 的杰作 - 2

    英文版英文链接关注公众号在“亚特兰蒂斯的回声”中踏上一段难忘的冒险之旅,深入未知的海洋深处。足智多谋的考古学家AriaSeaborne偶然发现了一件古代神器,揭示了一张通往失落之城亚特兰蒂斯的隐藏地图。在她神秘的导师内森·兰登教授的指导和勇敢的冒险家亚历克斯·默瑟的帮助下,阿丽亚开始了一段危险的旅程,以揭开这座传说中城市的真相。他们的冒险之旅带领他们穿越险恶的大海、神秘的岛屿和充满陷阱和谜语的致命迷宫。随着Aria潜在的魔法能力的觉醒,她被睿智勇敢的QueenNeria的幻象所指引,她让她为即将到来的挑战做好准备。三人组揭开亚特兰蒂斯令人惊叹的隐藏文明,并了解到邪恶的巫师马拉卡勋爵试图利用其古

  2. 智能客服 | 浅谈人工智能聊天机器人ChatGPT - 2

    2022年底,OpenAI的预训练模型ChatGPT给人工智能领域的爱好者和研究人员留下了深刻的印象和启发,他展现的惊人能力将人工智能的研究和应用热度推向高潮,网上也充斥着和ChatGPT的各种聊天,他可以作诗、写小说、写代码、讨论疫情问题等。下面就是一些他的神回复:人命关天的坑: 写歌,留给词作者的机会不多了。。。 回答人类怎么样面对人工智能: 什么是ChatGPT?借用网上的一段介绍,ChatGPT是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具。它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动

  3. 【ChatGPT】ChatGPT 的 N 种用法 - 2

    目录ChatGPT简介技术原理应用未来发展ChatGPT的10 种用法ChatGPT简介ChatGPT是一种基于深度学习的大型语言模型,由OpenAI公司开发。技术原理GPT是GenerativePre-trainedTransformer的缩写,意为生成式预训练变压器。它的技术原理是使用了一个基于注意力机制的变压器(Trans

  4. 「想体验ChatGPT中文聊天?」那快进来,你用不上算我输 - 2

    ♥️作者:白日参商🤵‍♂️个人主页:白日参商主页♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!「想体验ChatGPT中文聊天?」那快进来,你用不上算我输项目场景:项目条件一、那就开始吧1、安装ChatGPT-Desktop2、OpenAPI设置二、使用实例恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!恭喜你!!!配置成功了!!!API和URL都是博主免费提供给大家的!!!🎈🎈加油!加油!加油!加油🎈欢迎评论💬点赞👍🏻收藏📂加关注+!项目场景:近几个月可以说ChatGPT是火得一

  5. 半个月狂飙1000亿,ChatGPT概念股凭什么? - 2

    ChatGPT掀起了AI股历史上最疯狂的一轮市值狂飙。自春节后至今,ChatGPT概念股开始了暴走模式,短短半月时间,海天瑞声、开普云等ChatGPT概念股市值累计增加了近1400亿。如此的爆炸效应,得益于ChatGPT所展现出商业化落地的巨大潜力。要知道,在此之前,无论是十年AI投入超千亿的百度,还是困在硬件化里的AI四小龙,都在重复着AI商业化难落地的故事。ChatGPT的出现,让AI从生产力的赋能者直接成为一种创造生产力的工具。随着订阅模式的推出,ChatGPT已经成为第一个以AI技术为核心直接变现的消费者应用。本文持有以下核心观点:1、ChatGPT是AI技术迭代的受益者。过去受限技术

  6. 未来的趋势————以ChatGPT为标杆的AI对生活的影响是巨大的 - 2

    文章目录前言1.AI的发展历程2.我是如何接触到人工智能的概念和产品的3.对于ChatGPT的一点看法4.AI对大学毕业生的职业发展的利与弊5.对于AI的思考和问题前言随着ChatGPT的爆火,生成式AI,大模型的人工智能被越来越多的人注意到,同时他也带来了许多问题。本文将对几方面进行探讨。1.AI的发展历程远古时期在公元前第一个千禧年,中国,印度和希腊哲学家都提出了一些推理的研究理论,比如亚里士多德(Aristotle)进行了演绎推理三段论的完整分析,欧几里得(Euclid)所著Elements是一种形式推理的模型,MuḥammadibnMūsāal-Khwārizmī,发明了代数学,即我们

  7. 焕新古文化传承之路,AI为古彝文识别赋能 - 2

    目录1古彝文与古典保护2古文识别的挑战2.1西文与汉文OCR2.2古彝文识别难点3合合信息:古彝文保护新思路3.1图像矫正3.2图像增强3.3语义理解3.4工程技巧4总结1古彝文与古典保护彝文指的是云南、贵州、四川等地的彝族人使用的文字,区别于现代意义上的彝文,古彝文指的是在民间流通使用的原生态彝文,多达87046字。古彝文的起源距今至少数千年,是世界上最古老的文字之一。对古彝文字集研究有助于理解尚未被翻译成汉文、用字尚未规范化的古籍,更深层、透彻地作用于传统文化保护。古彝文字义对照图(网络资料+邵文苑供图)古籍是不可再生的宝贵资源,应当得到妥善保护。中国的古籍在历史上迭经水火兵燹等自然灾害、

  8. 山石发声|风暴眼中的ChatGPT,看NLPer怎么说? - 2

    当前科技领域最有热度的话题,无疑是OpenAI新提出的大规模对话语言模型ChatGPT,一经发布上线,短短五天就吸引了百万用户,仅一个多月的时间月活已然破亿,并且热度一直在持续发酵,各行各业的从业人员、企业机构都开始体验关注甚至自研“类ChatGPT”模型。这里,笔者从一位NLP从业人员的角度谈一谈对ChatGPT的一些看法和思考。1、ChatGPT诞生之路1.1BERT2018年,谷歌提出BERT(BidirectionalEncoderRepresentationfromTransformer)模型,一时之间疯狂屠榜,在各种自然语言处理领域建模任务中取得了最佳的成绩,NLP自此进入了大规模

  9. ChatGPT教程之深入了解魔术背后的技术 - 2

    解开谜团:深入探索ChatGPT的技术奇迹。ChatGpt无处不在,无论是在播客、博客、YouTube还是社交媒体上。当我注意到这项新技术如此受欢迎时,我决定试一试,我被震惊了!有很多关于ChatGpt及其魔力的博客,但在这篇博客中,我将深入探讨其内部技术及其工作原理!ChatGpt简介根据OpenAI,ChatGpt被描述为:“我们训练了一个名为ChatGpt的模型,它以对话方式进行交互。对话格式使ChatGpt可以回答后续问题、承认错误、挑战不正确的前提并拒绝不适当的请求。ChatGPT是InstructGPT的兄弟模型,它经过训练可以按照提示中的说明进行操作并提供详细的响应。”OpenA

  10. 火爆的ChatGPT快速学成,要看哪些书? - 2

    以前我们经常打趣说:***,你out了!当然了,玩笑成分居多。但是如果作为一名技术人员,现在还没有听说过ChatGPT,那么你可能真的“out”了。比尔·盖茨说,ChatGPT的重要性堪比互联网的发明,甚至它“将改变我们的世界”。ChatGPT得到科技界大佬的如此推崇,那么,ChatGPT到底是什么?ChatGPT是2022年11月底,美国OpenAI公司推出的一款人工智能聊天机器人。两个月后,ChatGPT的月活用户已经突破1亿,成为有史以来增长速度最快的消费者应用程序。ChatGPT功能极其强大,它能够通过学习和理解人类的语言进行对话,还能根据上下文进行互动,实现像人类一样的聊天交流。除了

随机推荐