最近，英伟达团队推出了全新的模型Nemotron-4，150亿参数，在8Ttoken上完成了训练。值得一提的是，Nemotron-4在英语、多语言和编码任务方面令人印象深刻。论文地址：https://arxiv.org/abs/2402.16819在7个评估基准上，与同等参数规模的模型相比，Nemotron-415B表现出色。甚至，其性能超过了4倍大的模型，以及专用于多语言任务的模型。如今LLM已经非常多了，英伟达新发布的语言模型，有何不同？打造最强通用LLM，单个A100/H100可跑最近发表的LLM研究受到了Chinchilla模型「缩放定律」的启发——给定固定计算预算，数据和模型大小一同
这些模型目前有三种不同的大小，已经在600多种编程语言(包括低资源语言)上进行了培训，以帮助企业在其开发工作流中加速各种与代码相关的任务，它们是在开放的BigCode项目下开发的，该项目是ServiceNow和HugingFace联合发起的，以确保负责任地开发和使用大型代码语言模型，在开放负责任的AI许可证下，它们是免费提供的。StarCoder2证明了开放的科学合作和负责任的AI实践与道德数据供应链的结合力量。ServiceNow的StarCoder2开发团队负责人、BigCode的联合负责人HarmdeVries在一份声明中表示，最先进的开放访问模式改进了以前的GenAI性能，以提高开发人
随着对Sora技术分析的展开，AI基础设施的重要性愈发凸显。来自字节和北大的一篇新论文在此时吸引关注：文章披露，字节搭建起的万卡集群，能在1.75天内完成GPT-3规模模型（175B）的训练。具体来说，字节提出了一个名为MegaScale的生产系统，旨在解决在万卡集群上训练大模型时面临的效率和稳定性挑战。在12288块GPU上训练1750亿参数大语言模型时，MegaScale实现了55.2%的算力利用率（MFU），是英伟达Megatron-LM的1.34倍。论文还透露，截止2023年9月，字节已建立起超过1万张卡的Ampere架构GPU（A100/A800）集群，目前正在建设大规模Hopper
人工智能(AI)热潮将英伟达(Nvidia)的股价推至历史新高。英伟达的GPU是支持人工智能工作负载的重要硬件。该公司的崛起也使得英伟达创始人兼首席执行官黄仁勋在人工智能市场上的影响力更大。在最近的迪拜世界政府峰会上，黄仁勋分享了他的观点，即每个国家都应该拥有自己的人工智能系统。这将使民族国家能够满足其特定的文化和语言需求，并在人工智能时代利用其特定的商业优势。同时，公司应该拥有自己生产的人工智能和数据。“它(AI)可能编纂了你的文化、你的社会智慧、你的常识、你的历史——你需要拥有你自己的数据。”黄仁勋在来自150个国家的4000多名代表参加的活动上说。主权人工智能是指为了维护国家安全、经济竞
生成式AI的竞争如火如荼，各家科技公司和机构也没有忘记投资下一个热点。本周五，彭博社援引消息人士的话报道称，亚马逊创始人杰夫・贝索斯、英伟达和其他大型科技公司正在不约而同地投资初创公司FigureAI，该公司旨在开发人形机器人。该公司的产品Figure01，据称是世界上第一个具有商业可行性的自主人形机器人，身高1.5米，体重60公斤，可承载20公斤货物，采用电机驱动。它的可工作时长是5小时，行走速度每秒1.2米，可以说很多指标已经接近人类。这款身形精干的人形机器人短短12个月内就从零开始学会了像人一样行走，不用系绳，抓握等动作自然准确。上个月，该公司展示了Figure01使用咖啡机的视频。练习
财报公布后，英伟达单日市值增加2770亿美元，创历史新高！而且，还创下了华尔街史上最大单日涨幅里程碑。有网友表示，「英伟达一天的涨幅，就超过了所有中国AI创业公司的估值总和。。。」要说原由，主要还是第四季度财报公布，英伟达用了3个「破记录」做了总结。-创纪录的季度营收为221亿美元，比第三季度增长22%，同比增长265%-创纪录的季度数据中心营收达到184亿美元，比第三季度增长27%，同比增长409%-创纪录的全年收入609亿美元，增长126%显然，第四季度营收远远超出了华尔街的预期，并重新点燃了投资者对AI的热情。仅一天的时间，英伟达股价飙升16.4%，收盘价为785.38美元，创下历史最高
部署英伟达本地AI： 英伟达-本地AI》--NVIDIAChatwithRTX-简单本机部署出现;ValueError:Whenlocalhostisnotaccessible,ashareablelinkmustbecreated.Pleasesetshare=Trueorcheckyourproxysettingstoallowaccesstolocalhost.阿丹： 在部署NVIDIAChatwithRTX的时候出现了一个比较奇怪的问题。但是解决掉了，这里做一些记录。描述：在成功运行了之后出现这个报错，尝试解决发现后台dos窗口出现这个报错RunningonlocalURL:ht
由蛋白质和小分子配体形成的结合复合物无处不在，对生命至关重要。虽然最近科学家在蛋白质结构预测方面取得了进展，但现有算法无法系统地预测结合配体结构及其对蛋白质折叠的调节作用。为了解决这种差异，AI制药公司IambicTherapeutics、英伟达（NvidiaCorporation）以及加州理工学院（CaliforniaInstituteofTechnology）的研究人员提出了NeuralPLexer，这是一种计算方法，可以仅使用蛋白质序列和配体分子图输入直接预测蛋白质-配体复合物结构。NeuralPLexer采用深度生成模型以原子分辨率对结合复合物的三维结构及其构象变化进行采样。该模型基于
一、NeMo 框架介绍NVIDIANeMo是基于PyTorch和PyTorchLightning的一个开源训练框架，源代码完全公开在GitHub上。NeMo的主要目标是使AI开发者能够快速构建对话式AI模型并开发相关应用。NeMo工具包主要包括ASR、NLP和TTS三个领域的模型和功能特性。我们提取了这三个模块的特性，并在PyTorch框架中实现了良好的功能提升，这些提升已经集成到NeMo的Core部分。NeMoCoreNeMoCore模块为ASR、NLP和TTS等应用提供了通用、便捷且易于使用的构建方式，使AI开发者能够迅速进行模型构建和训练。无论是模型构建，还是与训练过程相关的分布式训练、
我们知道，大模型到GPT-3.5这种千亿体量以后，训练和推理的算力就不是普通创业公司所能承担的了，人们用起来速度也会很慢。但自本周起，这种观念已成为历史。有名为Groq的初创公司开发出一种机器学习处理器，据称在大语言模型任务上彻底击败了GPU——比英伟达的GPU快10倍，而成本仅为GPU的10%，只需要十分之一的电力。这是在Groq上运行Llama2的速度：来源：https://twitter.com/emollick/status/1759633391098732967这是Groq（Llama2）和ChatGPT面对同一个prompt的表现：图源：https://x.com/JayScamb
