jjzjj

AI变鉴片大师,星际穿越都能看懂!贾佳亚团队新作,多模态大模型挑战超长3小时视频

啥?AI都能自己看电影大片了?贾佳亚团队最新研究成果,让大模型直接学会了处理超长视频。丢给它一部科幻大片《星际穿越》(片长2小时49分钟):它“看”完之后,不仅能结合电影情节和人物轻松对电影进行点评:还能很精准地回答出剧中所涉的细节:例如:虫洞的作用和创造者是谁?答:未来的智慧生物放置在土星附近,用于帮助人类进行远距离星际穿越。男主库珀是如何将黑洞中的信息传递给女儿墨菲?答:通过手表以摩斯号码的方式传递数据。啊这,感觉电影博主的饭碗也要被AI抢走了。这就是最新多模态大模型LLaMA-VID,它支持单图、短视频和长视频三种输入。对比来看,包括GPT-4V等在内的同类模型基本只能处理图像。而背后原