赋予大模型使用工具的能力：Toolformer与ART​本文介绍两种赋予大模型使用外部工具能力的方法：Toolformer和ART。Toolformer论文地址：https://arxiv.org/pdf/2302.04761.pdfART论文地址：https://arxiv.org/pdf/2303.09014.pdf相关博客【自然语言处理】【长文本处理】RMT：能处理长度超过一百万token的Transformer【自然语言处理】【大模型】MPT模型结构源码解析(单机版)【自然语言处理】【大模型】ChatGLM-6B模型结构代码解析(单机版)【自然语言处理】【大模型】BLOOM模型结构源码

论文笔记--Toolformer:LanguageModelsCanTeachThemselvestoUseTools1.文章简介2.文章概括3文章重点技术3.1Toolformer3.2APIs4.文章亮点5.原文传送门1.文章简介标题：Toolformer:LanguageModelsCanTeachThemselvestoUseTools作者：TimoSchick,JaneDwivedi-Yu,RobertoDessì,RobertaRaileanu,MariaLomeli,LukeZettlemoyer,NicolaCancedda,ThomasScialom日期：2023期刊：arx

上一章我们介绍了基于Prompt范式的工具调用方案，这一章介绍基于模型微调，支持任意多工具组合调用，复杂调用的方案。多工具调用核心需要解决3个问题，在哪个位置进行工具调用(where),从众多工具中选择哪一个(Which),工具的输入是什么(What)。Where+Which+What，我称之为3W原则，3H它兄弟哈哈哈哈~其实如何教大模型使用工具，和教人类使用工具没啥区别。就像上周末我想给我妈买的可以防弹，超重的岩板餐桌按个滑轮需要使用电钻，那我学习使用电钻的途径无非有三种基于历史经验：我之前都是手动的没用过电动的，我凭借自信直接上手结果拧歪了......对应到LLM其实就是本章要提到的工具

Toolformer:LanguageModelsCanTeachThemselvestoUseTools论文略读InformationAbstract1Introduction2Approach3Tools4Experiments4.1ExperimentalSetup4.2DownstreamTasks4.2.1LAMA4.2.2MathDatasets4.2.3QuestionAnswering4.2.4MultilingualQuestionAnswering4.2.5时态数据集4.3LanguageModeling4.4ScalingLaws5Analysis6RelatedWork

大语言模型（LLM）在利用有限的文本数据解决新任务方面表现出令人难以置信的优势。然而，尽管如此，它们在其他方面也有局限性，例如：无法访问最新信息幻想事实的倾向低资源语言的困难缺乏精确计算的数学技能对时间进程的不了解如何使用大模型解决更多的问题呢？在《解读TaskMatrix.AI》一文中，TaskMatrix.AI是Toolformer和chatGPT的结合，将基础模型与数百万个API连接起来以完成任务。那么，什么是Toolformer呢？Toolformer是Meta开源的新模型，能够解决需要利用API的问题，如计算器、维基百科搜索、字典查找等。Toolformer能够认识到它必须使用一个工