jjzjj

测试GPT-4的初创公司表示其强大的功能令人惊叹

Tim Smith 2023-03-28 原文

OpenAI公司日前发布了其文本生成模型GPT-4，引起了人们的广泛关注。但该公司表示，开发人员还不能在上面构建任何产品或服务，因为API仍在等待列表中。

这意味着只有少数用户有机会使用OpenAI公司这个最新的大型语言模型。人工智能初创公司Miðeind ehf就是其中之一，该公司是仅有的六家被选中对GPT-4进行测试的公司之一。

该公司的一个由12人组成的团队希望通过冰岛语训练GPT-4，他们在去年5月前往美国湾区测试GPT-4之后，成为硅谷这款最热门产品的早期测试者之一。Miðeind公司的首席执行官加入了一个冰岛政府代表团，探索如何利用科技来帮助保护该国的语言。

Miðeind公司的首席执行官与OpenAI公司的Sam Altman对GPT-4如何采用和开发像冰岛语这样的低资源语言进行了探讨。这些语言对大型模型语言的全球化应用构成了挑战，这是因为用于训练模型所收集的数据要少得多。

Miðeind公司的团队为此提出了他们对GPT-4如何改进的看法，人工智能用来保护冰岛语的万年历，以及GPT-4如何为猫创造出一个非常有趣的新术语。

令人兴奋的发展

Miðeind公司的这个团队的任务是，通过向GPT-4输入冰岛语强化学习数据(初始训练之后的阶段)，了解是否能提高GPT-4在语言应用和处理方面的表现。

Miðeind公司的机器学习团队成员之一Pétur Orri Ragnarsson表示，其结果在GPT-3.5上有了明显的改进，但当涉及到冰岛语的使用时，这个模型仍然不完美。他说，“它用冰岛语生成的文本往往是可以理解的，但仍然有一些语法错误。”

Ragnarsson表示，他可以看到GPT-3.5在一般的推理方面有巨大的改进。

他说：“最令人兴奋的是，可以要求它做一些事情，并解释为什么它会给出这个结果。GPT-3.5可以做到，GPT-4更好，因为这让人们感觉它的解释更合理或更可信。人们通常尝试的一件事是让GPT-4做一些事情，并解释过程中的每一步——它做得非常好。”

“可解释性”是开发生成式人工智能的人一直试图解决的一大问题，因为大型语言模型的功能方式意味着输出是在“黑箱”中生成的。这意味着即使是构建GPT-4的开发人员也不知道它是如何回答问题的，这意味着很难让这些模型展示它们的工作原理。

如果生成式人工智能要在医疗和法律等行业得到广泛应用，那么在这些领域工作的人需要能够信任模型的输出。

高阶思维

让Ragnarsson印象深刻的GPT-4的另一个特点是，它能够产生比以前的模型更敏锐的反应。他举了一个例子，用它来对一段文字进行情绪分析，其评价从中性到积极，评分从1到5分。

Ragnarsson说：“我输入了一段我认为相当中性的一句话，也就是一位客户向客服询问一些事情。”他惊讶地发现，GPT-4对这句话的评价是略微积极。

他说，“我问，‘请解释一下。’得到的答案非常令人惊讶。它说，‘虽然这句话本身是中立的，但正在考虑的行动将会改善他们的生活，所以从整体上看，这一句话是略微积极的。’”

他认为，这表明GPT-4已经学会了超越文本的“表面含义”。

Miðeind公司的首席运营官Linda Heimisdottir说，GPT-4的这些能力尤其令人印象深刻，因为据她所知，这个模型并没有专门训练过情感分析。

她说：“看到这样一个模型做了研究人员多年来一直在做的事情，而且它没有专门受过这方面的训练，这令人惊叹。看到它的成果和人们的想法真的很令人兴奋，这让人们觉得GPT-4有着巨大的应用潜力。”

勤奋的猫

GPT-4如何采用冰岛语的一个例子来自于该语言使用的复合词，复合词是将不同的概念组合成一个词。

Heimisdottir表示，她让GPT-4讲一个关于猫的故事，GPT-4给出了一个冰岛语单词，“kattafræðilega”，这是GPT-4发明的一个合成词，其大致的意思为 “cat”(猫)。

她解释说:“第一部分‘katta’是‘cat’的意思，但第二部分‘fræðilega’的意思是‘与理论有关’。GPT-4描述这只猫是‘kattafræðilega duglegur’。duglegur是一个冰岛词，意思是勤奋或努力工作。

当我让GPT-4解释它的意思时，它说：‘kattafræðilega duglegur’意味着这只猫特别勤奋。换句话说，它擅长抓挠、调查、追逐昆虫、寻找食物，对周围环境充满活力和兴趣。它很擅长做一只猫。”

Miðeind认为，“对于大型语言模型来说，要在较少使用的语言中实现真正的高性能，需要在初始训练中包含良好的多语言数据集，我们希望下一步可以进入预训练。”

像这样的研究对确保下一代人工智能不仅仅是进一步集中在英语世界的创新进步至关重要，因为硅谷的大型科技公司已经主导了大型语言模型领域。事实上，OpenAI公司选择Miðeind公司作为GPT-4的早期测试厂商，至少表明该公司对生成式人工智能具有全球视野，即使这是出于商业动机。

初创惊叹冰岛冰岛语GPT人工智能$GPT-4

有关测试GPT-4的初创公司表示其强大的功能令人惊叹的更多相关文章

  1. ruby-on-rails - 使用 Ruby on Rails 进行自动化测试 - 最佳实践 - 2

    很好奇，就使用ruby​​onrails自动化单元测试而言，你们正在做什么？您是否创建了一个脚本来在cron中运行rake作业并将结果邮寄给您？git中的预提交Hook？只是手动调用？我完全理解测试，但想知道在错误发生之前捕获错误的最佳实践是什么。让我们理所当然地认为测试本身是完美无缺的，并且可以正常工作。下一步是什么以确保他们在正确的时间将可能有害的结果传达给您？ 最佳答案 不确定您到底想听什么，但是有几个级别的自动代码库控制:在处理某项功能时，您可以使用类似autotest的内容获得关于哪些有效，哪些无效的即时反馈。要确保您的提

  2. ruby - 使用 C 扩展开发 ruby​​gem 时，如何使用 Rspec 在本地进行测试？ - 2

    我正在编写一个包含C扩展的gem。通常当我写一个gem时，我会遵循TDD的过程，我会写一个失败的规范，然后处理代码直到它通过，等等......在“ext/mygem/mygem.c”中我的C扩展和在gemspec的“扩展”中配置的有效extconf.rb，如何运行我的规范并仍然加载我的C扩展？当我更改C代码时，我需要采取哪些步骤来重新编译代码？这可能是个愚蠢的问题，但是从我的gem的开发源代码树中输入“bundleinstall”不会构建任何native扩展。当我手动运行rubyext/mygem/extconf.rb时，我确实得到了一个Makefile(在整个项目的根目录中)，然后当

  3. ruby - Ruby 的 Hash 在比较键时使用哪种相等性测试？ - 2

    我有一个围绕一些对象的包装类，我想将这些对象用作散列中的键。包装对象和解包装对象应映射到相同的键。一个简单的例子是这样的:classAattr_reader:xdefinitialize(inner)@inner=innerenddefx;@inner.x;enddef==(other)@inner.x==other.xendenda=A.new(o)#oisjustanyobjectthatallowso.xb=A.new(o)h={a=>5}ph[a]#5ph[b]#nil,shouldbe5ph[o]#nil,shouldbe5我试过==、===、eq?并散列所有无济于事。

  4. ruby - RSpec - 使用测试替身作为 block 参数 - 2

    我有一些Ruby代码，如下所示:Something.createdo|x|x.foo=barend我想编写一个测试，它使用double代替block参数x，这样我就可以调用:x_double.should_receive(:foo).with("whatever").这可能吗？ 最佳答案 specify'something'dox=doublex.should_receive(:foo=).with("whatever")Something.should_receive(:create).and_yield(x)#callthere

  5. ruby - Sinatra:运行 rspec 测试时记录噪音 - 2

    Sinatra新手；我正在运行一些rspec测试，但在日志中收到了一堆不需要的噪音。如何消除日志中过多的噪音？我仔细检查了环境是否设置为:test，这意味着记录器级别应设置为WARN而不是DEBUG。spec_helper:require"./app"require"sinatra"require"rspec"require"rack/test"require"database_cleaner"require"factory_girl"set:environment,:testFactoryGirl.definition_file_paths=%w{./factories./test/

  6. ruby-on-rails - 迷你测试错误 : "NameError: uninitialized constant" - 2

    我遵循MichaelHartl的“RubyonRails教程:学习Web开发”，并创建了检查用户名和电子邮件长度有效性的测试(名称最多50个字符，电子邮件最多255个字符)。test/helpers/application_helper_test.rb的内容是:require'test_helper'classApplicationHelperTest在运行bundleexecraketest时，所有测试都通过了，但我看到以下消息在最后被标记为错误:ERROR["test_full_title_helper",ApplicationHelperTest,1.820016791]test

  7. ruby - 即使失败也继续进行多主机测试 - 2

    我已经构建了一些serverspec代码来在多个主机上运行一组测试。问题是当任何测试失败时，测试会在当前主机停止。即使测试失败，我也希望它继续在所有主机上运行。Rakefile:namespace:specdotask:all=>hosts.map{|h|'spec:'+h.split('.')[0]}hosts.eachdo|host|begindesc"Runserverspecto#{host}"RSpec::Core::RakeTask.new(host)do|t|ENV['TARGET_HOST']=hostt.pattern="spec/cfengine3/*_spec.r

  8. ruby-on-rails - 如何使辅助方法在 Rails 集成测试中可用？ - 2

    我在app/helpers/sessions_helper.rb中有一个帮助程序文件，其中包含一个方法my_preference，它返回当前登录用户的首选项。我想在集成测试中访问该方法。例如，这样我就可以在测试中使用getuser_path(my_preference)。在其他帖子中，我读到这可以通过在测试文件中包含requiresessions_helper来实现，但我仍然收到错误NameError:undefinedlocalvariableormethod'my_preference'.我做错了什么？require'test_helper'require'sessions_hel

  9. ruby-on-rails - Cucumber 是否只是 rspec 的包装器以帮助将测试组织成功能？ - 2

    只是想确保我理解了事情。据我目前收集到的信息，Cucumber只是一个“包装器”，或者是一种通过将事物分类为功能和步骤来组织测试的好方法，其中实际的单元测试处于步骤阶段。它允许您根据事物的工作方式组织您的测试。对吗？ 最佳答案 有点。它是一种组织测试的方式，但不仅如此。它的行为就像最初的Rails集成测试一样，但更易于使用。这里最大的好处是您的session在整个Scenario中保持透明。关于Cucumber的另一件事是您(应该)从使用您的代码的浏览器或客户端的角度进行测试。如果您愿意，您可以使用步骤来构建对象和设置状态，但通常您

  10. ruby-on-rails - 如何调试 cucumber 测试？ - 2

    我有:When/^(?:|I)follow"([^"]*)"(?:within"([^"]*)")?$/do|link,selector|with_scope(selector)doclick_link(link)endend我打电话的地方:Background:GivenIamanexistingadminuserWhenIfollow"CLIENTS"我的HTML是这样的:CLIENTS我一直收到这个错误:.F-.F--U-----U(::)failedsteps(::)nolinkwithtitle,idortext'CLIENTS'found(Capybara::Element

随机推荐