2023年，是人工智能爆炸式增长的一年。红色代表人工智能，蓝色代表机器学习微软、谷歌、Meta等科技巨头纷纷回顾了这一年研究成果。英伟达虽以卖算力成为全球GPU霸主，但在AI研究方面也毫不逊色。对此，JimFan本人总结了，英伟达2023年研究的十大看点。主题的主要分布：3个有关具身AI（机器人，虚拟角色）；2个有关3D生成模型；2个图形处理；2个图像生成；1个视频生成的研究。，时长00:50TOP1：「神经朗琪罗」让16世纪的大卫复活来自英伟达和约翰霍普金斯大学的研究人员提出的新型AI模型，利用神经网络重建3D物体。最新研究还被CVPR2023录用。论文地址：https://research

2023年，是人工智能爆炸式增长的一年。红色代表人工智能，蓝色代表机器学习微软、谷歌、Meta等科技巨头纷纷回顾了这一年研究成果。英伟达虽以卖算力成为全球GPU霸主，但在AI研究方面也毫不逊色。对此，JimFan本人总结了，英伟达2023年研究的十大看点。主题的主要分布：3个有关具身AI（机器人，虚拟角色）；2个有关3D生成模型；2个图形处理；2个图像生成；1个视频生成的研究。TOP1：「神经朗琪罗」让16世纪的大卫复活来自英伟达和约翰霍普金斯大学的研究人员提出的新型AI模型，利用神经网络重建3D物体。最新研究还被CVPR2023录用。论文地址：https://research.nvidia.

一、准备工作硬件：JetsonXavierNX开发板（笔者购入为带128g内存条的EMMC版）、跳线帽（杜邦线）、microUSB转USB数据线、电源线软件：Ubuntuhost主机（可运行Ubuntu的虚拟机/双系统）、NVIDIASDKMANAGER（下载地址：NVIDIASDKManager|NVIDIADeveloper）。在Ubuntu主机里安装sdkmanager，命令如下，版本不同则tab补齐安装。sudoaptinstall./sdkmanager_1.6.0-8170_amd64.deb硬件准备用杜邦线或者跳线帽将XavierNX第三个引脚FC_REC与第二/四引脚GND短接

「GPU贫民」即将告别困境！刚刚，英伟达发布了一款开源软件TensorRT-LLM，能够加速H100上大型语言模型的推理。那么，具体能提升多少倍？在添加了TensorRT-LLM及其一系列优化功能后（包括In-Flight批处理），模型总吞吐量提升8倍。使用和不使用TensorRT-LLM的GPT-J-6BA100与H100的比较另外，就拿Llama2来说，相较于单独使用A100，TensorRT-LLM可以将推理性能提高4.6倍。使用和不使用TensorRT-LLM的Llama270B、A100与H100的比较网友表示，超强H100，再结合上TensorRT-LLM，无疑将彻底改变大型语言模