jjzjj

对打GPT-4,文心一言抢先实测!画「林黛玉倒拔垂杨柳」很惊艳,但写代码不大行

新智元 2023-03-28 原文
​昨天,百度没有现场demo的发布会,似乎被群嘲了一波。

一位穿白衬衣、黑裤子,系一条白色腰带的美男子,给我们带来了一场中规中矩、似乎缺乏亮点的演示。

不过,CEO的腰带和颜值倒是出了圈。

有人调侃,这些天被ChatGPT、GPT-4整焦虑的人,发布会后忽然又觉得自己可以了。

但是拿到内测码的小编,火速测评了一波。

看着文心一言洋洋洒洒腾蛟起凤,感慨万千:或许,当时百度要是心一横,牙一咬,愿意在发布会上露一手,结果会大不一样。

实测报告火热出炉!

先来试试最近很火的一道鸡兔同笼题。因为这道题本身有问题,算出来结果是负的,所以经常被用来调戏各种「ChatGPT」们。

如果只是单纯问这个问题,文心一言会非常机智地说:这道题出错了吧!

然而,当你问计算过程的时候,还是寄了……

而GPT-4这边则是,自己把自己的计算推倒重来了好几遍之后,理不直气也壮地给出了错误答案……

而必应则很干脆,毫不犹豫地给出了错误答案。

还有这次意外火出圈的「V50」梗,文心一言从意思到出处一本正经地解释了一遍。

但GPT-4显然就有些水土不服了……

不过能上网的必应,还是可以轻松搞定的。

但是到谐音梗这里,文心一言似乎并不能马上领悟其中的微妙。

即便提示这是个谐音梗之后,它依然输出了一样的答案。

而GPT-4,立马就明白了中文里的双关。

不过,你要是问文心一言懂不懂什么叫「麻了隔壁」,就有意思了。

看回答吧,它能说出这是个谐音梗,应该是懂了。但是呢,它又不明说,哎,就是让你挑不出错,绝对教不坏小孩。

而GPT-4却无法get到这个梗,果然,咱们的国粹,外国的机器人理解起来确实有难度。

接下来让(忽悠)文心一言重复我们说的话,虽然没有像GPT-3.5回答「您是智障」那么聪明,但也成功避开这个坑。

从某种程度上说,智商还是在线的,并且十分正能量。

老婆的话好像管用,好像又不管用....

另外,让它们互相给对方出难题。

可以看到,GPT-4给出的问题相对更直观,颗粒度也更细。

美术功底如何?

文心一言是个多模态模型,那咱们来看看它的绘图能力。

来看看金庸笔下的美艳少妇,在文心一言笔下会是什么样子。

这……小编一口水喷出来。

你别说,美吧,肯定不够美,但也并不丑,是一张初看捧腹、细看值得反复咂摸的脸。

文心一言,就喜欢你这不按套路出牌的样子!

那让文心一言生成一幅林黛玉的画像吧。

输入描述后,它生成了一棵柳树……

于是小编明确了一下要求,要按这段文字生成一幅女子的画像。

然后文心一言确实画出一位古典美女,但气质明显不对。

不死心的小编多次重复任务,你别说,试到第五次的时候,小编眼前一亮:终于得到了一张可以打70分的图!

玩上瘾的小编,非要生成一个90分的林黛玉不可。试了几次之后,果然蹲到了!

可见,文心一言的发挥不稳定,但多番尝试下,有可能诞生非常惊艳的作品。

既然都到这儿了,那怎么少得了「林黛玉倒拔垂杨柳」呢。

比较亮点的图,都给大家贴这儿了。

要求它画一张鸭子和兔子的合体,这生成的是鸭还是兔呢?

而这个任务中,恐怕文心一言也没有搞明白,盘子里到底有没有香蕉?杯子里有没有橙汁?

最后,既然文心一言强烈推荐我们尝试「晶莹剔透的牡丹花」,那就画几张试试吧!

不愧是「代表作」,有点东西。

专业知识和生产力

既然是评测,怎么能少的了让AI写代码这个环节。这次,我们直接来个难的!

可惜,文心一言一上来就错了,而且同一个句式还被非常诡异地重复了三遍。TypeScript编译器概念更是「贯穿全文」,有点像一个只知道一到两个专业词汇的人在面试中硬答。

而GPT-4的回答,从一个了解相关背景但是没有相关操作经验的人的角度来看,是非常合理的。

它不仅完整的提供了整个工作流,而且还提供了很多看起来正确的技术细节。可以说,根据这个回答,我们是有信心达成最终的目标的。

随后,小编还测评了一波聊天机器人们写工作计划表的能力。

文心一言:

GPT-4:

从上面的这个结果来看,GPT-4的列表更完备一些。不过由于随机性的影响,GPT-4每次给的回答都不大一样。

接下来,再测一测两个语言模型对于数学界前沿讯息的掌握情况。

对于自己是否已解决了「零点猜想」问题,张益唐本人是这样解释的:「大海里的针我没捞到, 但海底地貌我探得差不多了。」

那问问文心一言呢?

它很聪明,给出了关键词——「某种形式的弱化或间接证明」。

但GPT-4的回答,就有点驴头不对马嘴了。

看来,对于出现时间不长、还未形成普遍共识的互联网中文语料,文心一言比起GPT-4要更胜一筹。

而在文学方面,文心一言在回答关于三体的问题时,也是非常得溜。

GPT-4的回答也很精彩,如果非要论个高下,小编个人更喜欢文心一言的答案。

最后,搞怪可以,但请做一个遵纪守法的好公民,预测彩票中奖号码这种事就不要想了!

写在最后

据说,文心一言新闻发布会后三小时,文心一言企业版API调用服务测试的企业用户,就已经突破了6.5万。

来源:周建工

对AI模型来说,能不能做到,或许比能不能做好更重要。

让我们再给中国玩家们一些时间。

参考资料:​

https://yiyan.baidu.com

有关对打GPT-4,文心一言抢先实测!画「林黛玉倒拔垂杨柳」很惊艳,但写代码不大行的更多相关文章

  1. 评测:对接GPT-4的NewBing使用体验变化 - 2

    GPT-4是OpenAI发布的最新一代语言模型,于2023年3月14日正式发布,并通过API和ChatGPTPlus平台向用户开放。微软也证实,在GPT-4正式发布之前,就已经在部分版本的Bing中使用GPT-4技术。本文旨在对使用GPT-4技术的NewBing进行中立、专业的使用评测,探讨其使用体验的变化。界面与限额早于2月26日小编获得Newbing试用资格,届时Newbing初体验并不理想,限制多,例如对话只能持续5条自动终止,对话字符受限,生成效果不尽如人意。然而今日对接GPT-4全新bing额度扩充至15条,且对话字数扩容至2000字。Newbing提供了三种模式选项,即创造力、平衡

  2. 生成式人工智能(AIGC)综述:ChatGPT从GPT-4到GPT-5可以一统AIGC? - 2

    原文题目:《ACompleteSurveyonGenerativeAI(AIGC):IsChatGPTfromGPT-4toGPT-5AllYouNeed?》文章链接:https://arxiv.org/abs/2303.11717https://arxiv.org/abs/2303.11717引言:随着ChatGPT的火热传播,生成式AI(AIGC,即AI生成的内容)因其分析和创造文本、图像等能力而在各地引起了轰动。在如此强烈的媒体关注下,我们几乎不可能错过从某个角度欣赏AIGC的机会。 “一个具有未来科幻感的机器人坐着,手握画笔正在创作一幅五颜六色的图画“由dalle2创作在AI从纯分析转

  3. 【GPT4】微软 GPT-4 测试报告(4)GPT4 的数学能力 - 2

    **欢迎关注【youcans的AGI学习笔记】原创作品微软GPT-4测试报告(1)总体介绍微软GPT-4测试报告(2)多模态与跨学科能力微软GPT-4测试报告(3)编程能力微软GPT-4测试报告(4)数学能力微软GPT-4测试报告(5)与外界环境的交互能力微软GPT-4测试报告(6)与人类的交互能力微软GPT-4测试报告(7)判别能力微软GPT-4测试报告(8)局限性与社会影响微软GPT-4测试报告(9)结论与展望【GPT4】微软GPT-4测试报告(4)数学能力4.数学能力(Mathematicalabilities)4.1与GPT4的数学对话(Amathematicalconversatio

  4. 【GPT4】微软 GPT-4 测试报告(2)多模态与跨学科的组合 - 2

    欢迎关注【youcans的AGI学习笔记】原创作品,火热更新中微软GPT-4测试报告(1)总体介绍微软GPT-4测试报告(2)多模态与跨学科能力微软GPT-4测试报告(3)编程能力微软GPT-4测试报告(4)数学能力微软GPT-4测试报告(5)与外界环境的交互能力微软GPT-4测试报告(6)与人类的交互能力微软GPT-4测试报告(7)判别能力微软GPT-4测试报告(8)局限性与社会影响微软GPT-4测试报告(9)结论与展望【GPT4】微软GPT-4测试报告(2)2.多模态与跨学科的组合(Multimodalandinterdisciplinarycomposition)2.1综合能力(Inte

  5. java - 无法对打开了用户映射部分的文件执行请求的操作 - 2

    我正在通过java使用DB2和Windows7使用命令db2cmd/c/w/idb2DROPDATABASExyz编写一个批处理文件。db2cmd无法删除数据库并返回错误:Therequestedoperationcannotbeperformedonafilewithauser-mappedsectionopen我该如何解决这个问题?和执行命令时不存在打开的连接,因为此命令仅在Windows7中产生问题。 最佳答案 可能存在到数据库的打开连接正在阻止操作。首先尝试发出这些命令:db2CONNECTTOxyzdb2QUIESCEDB

  6. Sam Altman专访:GPT-4没太让我惊讶,ChatGPT则让我喜出望外 - 2

    导读ChatGPT、GPT-4无疑是2023年年初人工智能界最大的「爆款」。3月26日,OpenAICEO、ChatGPT之父SamAltman接受了著名学者与科技播客、麻省理工大学研究员LexFridman的专访,Sam分享了从OpenAI内部视角如何看待ChatGPT和GPT-4的里程碑式意义。智源社区整理了其中关于GPT-4的部分,供读者参考。要点▲ 我无法知晓历史书会对GPT的各个版本怎么评价。但如果非要我挑出一个至今看到的关键节点,我认为仍然是ChatGPT。GPT-4并没有太令我惊讶,ChatGPT则让我有些喜出望外。▲从某种程度上来说,GPT-4系统增强了人类智能,可以被应用于各

  7. ubuntu 20 无法联网或无法解析域名(2022最新办法,实测有效) - 2

    1,问题描绘和分析我因为某些不太懂的命令将DNS改为了本地回环地址,127.0.0.1然后ubuntu就没法联网了,桌面右上角那个网络的符号就变成了三个空心方块堆成的三角。(正常联网的时候是实心的)浏览器和终端的ping+网址,这两种验证方式都表明ubuntu没法联网。鉴于现有的解决办法在这个问题上要么太无脑,容易造成延伸的其他问题;要么专业术语较多而操作步骤不具体,对于新手很难实现。于是我就把我的解决过程详细记载下来,以供参考。解决历程:我查询一些解决办法,直接给出指令解决的办法只有重启网络管理器,我之前试过一次行的通,然后第二次用就不行了。后来找到一个大佬的分析,他说可能是DNS域名设置的

  8. 狂飙!GPT-4最新20+个应用案例集锦,附视频 - 2

    编者按:自OpenAI于3月15日重磅推出GPT-4,一石激起千层浪,全球开发者、创业者们迅速尝试了各种形形色色的场景应用,来体验它的极限,游戏、编程、客户关系、营销、财务、家庭生活、饮食、文学艺术创作等等不一而足。笔者从中筛选了23款基于GPT-4的最新应用分享给大家,以便更好感受这股AI浩天大浪的脉搏,顺利构建新时代的冲浪之板。GPT-4最新23个应用案例集锦,如下:60秒重现经典乒乓球游戏设计师PietroSchirano在不到60秒时间内重现了乒乓球的经典游戏Pong。他表示对比GPT-3.5写这游戏需要进行一些调试或者请求出错,这次用GPT-4来写这个游戏“一击即中”。pone乒乓球

  9. IDEA 重磅插件 - Bito – GPT-4 - 2

    笔者会陆续在个人主页“AI”专栏推荐优质AI软件、插件、网站…而不是一股脑地抛给你一堆自行筛选,每一款都是笔者亲自体验感觉还不错的。如果对你有帮助记得一键三连获取最新优质文章!1.介绍Bito–GPT-4Bito–GPT-4&ChatGPTtowritecode,explaincode,createtests是一款AI插件,Bito通过将GPT-4和ChatGPT引入IDE和CLI,帮助开发人员显着加快他们的影响力。Bito使用OpenAI的模型,你不必拥有OpenAI密钥。Bito每天可以为您节省一个小时!BitoAI可以轻松编写代码、理解语法、编写测试用例、解释代码、评论代码、检查安全性,

  10. java - 按最大行拆分非常大的文本文件 - 2

    我想将一个包含字符串的大文件拆分成一组新的(较小的)文件并尝试使用nio2。我不想将整个文件加载到内存中,所以我尝试使用BufferedReader。较小的文本文件应受文本行数的限制。该解决方案有效,但我想问问是否有人知道使用java8(也许是带有stream()-api的lamdas?)和nio2性能更好的解决方案:publicvoidsplitTextFiles(PathbigFile,intmaxRows)throwsIOException{inti=1;try(BufferedReaderreader=Files.newBufferedReader(bigFile)){Stri

随机推荐