paper：GhostNetV2:EnhanceCheapOperationwithLong-RangeAttentioncode：https://github.com/huawei-noah/Efficient-AI-Backbones/tree/master/ghostnetv2_pytorch背景在智能手机和可穿戴设备上部署神经网络时，不仅要考虑模型的性能，还要考虑模型的效率，特别是实际推理速度。许多轻量模型比如MobileNet、ShuffleNet、GhostNet已经被应用到许多移动应用程序中。然而，基于卷积的轻量模型在长距离建模方面较弱，这限制了模型性能的进一步提升。Transf

近日，作为美国前十的科技博客，LatentSpace对于刚刚过去的NeurIPS2023大会进行了精选回顾总结。在NeurIPS会议总共接受的3586篇论文之中，除去6篇获奖论文，其他论文也同样优秀和具有潜力，甚至有可能预示着下一个AI领域的新突破。那就让我们来一起看看吧！论文题目：QLoRA:EfficientFinetuningofQuantizedLLMs论文地址：https://openreview.net/pdf?id=OUIFPHEgJU这篇论文提出了QLoRA，这是LoRA的一种更省内存但速度较慢的版本，它使用了几种优化技巧来节省内存。总体而言，QLoRA使得在对大型语言模型进行

编者按：欢迎阅读“科研上新”栏目！“科研上新”汇聚了微软亚洲研究院最新的创新成果与科研动态。在这里，你可以快速浏览研究院的亮点资讯，保持对前沿领域的敏锐嗅觉，同时也能找到先进实用的开源工具。本期“科研上新”将为大家带来多篇微软亚洲研究院在NeurIPS2023上的精选论文解读，涉及领域涵盖文本属性图、语音编辑、分子建模、脑电信号处理、文档索引、扩散模型泛化、文本渲染等。本期内容速览01.文本图上综合性研究：基准测试与深度思考02.AUDIT：遵循人类自然语言指令的音频编辑模型03.Geoformer：采用原子间相对几何位置编码的分子建模Transformer04.通过建模空间信息学习拓扑不变的

LargeLanguageModelsofCodeFailatCompletingCodewithPotentialBugs写在最前面论文名片对于命名实体识别、关系抽取任务的启发课堂讨论实验自己构建的数据集价值1、论文介绍相关工作：代码补全存在的问题研究的重点论文结论与改进2、Buggy-CodeCompletion代码补全任务的基本概念有错误的代码补全的挑战方案设计的其他考虑3.评估方法评估方法概述3.1基准数据集Buggy-HumanEvalBuggy-FixEval3.2提升Code-LLM性能的方法3.3评估指标4.实验设计实验概述4.1实验设置Code-LLMs（代码大规模语言模型）

在一周前美国举行的年度最热门的人工智能大会NeurIPS2023上，有超过1万名世界顶尖AI研究人员聚集在此。而除了研究员之外，中国科技公司和华尔街公司是其中最突出的参会者，他们都背负着抢夺AI人才的任务。大模型人才最受欢迎随着今年ChatGPT和生成式AI的火爆，大模型相关的AI博士生比以往任何时候都更受欢迎。许多AI博士生都希望能获得谷歌或OpenAI等AI公司的工作机会，并拿下理想情况下50万美元+年薪的offer。今年的大模型浪潮已经证明，开放式机器学习研究可以带来相当客观的利润丰厚，让公司有令人信服的理由投入更多资源，这是中国科技公司在此次活动中如此引人注目的一个原因。图注：Neur

NeurIPS，全称神经信息处理系统大会(ConferenceandWorkshoponNeuralInformationProcessingSystems)，是一个关于机器学习和计算神经科学的国际会议。作为目前全球最负盛名的人工智能盛会之一，NeurIPS在每年年末都是计算机科学领域瞩目的焦点。被NeurIPS接收的论文，代表着当今神经科学和人工智能研究的最高水平。我们通过AMinerAI，对NeurIPS2023收录的会议论文进行了分类整理，今日分享的是大模型主题论文，共91篇，由于篇幅问题，更多论文可以点击阅读原文了解更多！欢迎下载收藏！1.Toolformer:LanguageMode

©PaperWeekly 原创·作者|An.单位|中科院自动化所研究方向|计算机视觉、模型压缩引言近年来，Transformer已成为自然语言处理的标准模型结构，并在计算机视觉、语音识别等领域也取得了许多成果。然而，存储空间占用大、推理延迟高等问题阻碍了其实际应用。因此，针对Transformer的模型压缩方法得到了广泛的研究，结构化剪枝就是其中非常重要的一类方法。过往的Transformer结构化剪枝方法虽然可以对模型参数量和计算量进行压缩，但由于下面的三类原因，在实践中通常难以应用：1.重新训练和/或联合学习剪枝配置方案会使训练时间增加多达10倍，显著增加了计算开销；2.复杂的剪枝框架包含

我们今天的AI能做到哪些事情？AI画图、AI作曲、AI生成视频、AI写小说、AI做主播......然而，在最近的NeurIPS大会上，来自GrapheneX-UTS的研究人员带来了更震撼的应用场景——AI读心术BrainGPT！论文地址：https://arxiv.org/pdf/2309.14030v2.pdf如果AI能知道你心中所想，会发生什么事情？小编可不敢想象。视频里研究团队为大家展示了AI读心术的现场。参加测试的人在心中默念一个文本段落，通过一套传感器采样脑电波，然后由一个名为DeWave的AI模型，将脑电波翻译成语言，并投射到屏幕上。整个过程有点科幻的味道了，尤其是背景音乐，让小编

本文经自动驾驶之心公众号授权转载，转载请联系出处。写在前面&个人理解时序融合能够有效提升自动驾驶3D目标检测的感知能力，然而目前的时序融合方法由于成本开销等问题难以在实际自动驾驶场景中应用。NeurIPS2023的最新研究文章《Query-basedTemporalFusionwithExplicitMotionfor3DObjectDetection》将DETR中的稀疏Query作为时序融合的对象，并针对大规模点云的特性使用显式运动信息引导时序注意力矩阵的生成。来自华中科技大学和百度的研究者们在本文中提出了QTNet：基于Query和显式运动的3D目标检测时序融合方法。实验效果表明，QTNe

AIAgents是当下大模型领域备受关注的话题，用户可以引入多个扮演不同角色的LLMAgents参与到实际的任务中，Agents之间会进行竞争和协作等多种形式的动态交互，进而产生惊人的群体智能效果。本文介绍了来自KAUST研究团队的大模型心智交互CAMEL框架（“骆驼”），CAMEL框架是最早基于ChatGPT的autonomousagents知名项目，目前已被顶级人工智能会议NeurIPS2023录用。 论文题目：CAMEL:CommunicativeAgentsfor“Mind”ExplorationofLargeScaleLanguageModelSociety论文链接： https:/