包括仅解码器结构（如GPT和LLAMA系列模型）、仅编码器结构（如BERT）和编码器-解码器结构（如T5）以及它们的变体模型在内的大型语言模型（LLM）已经取得了非凡的成功，并已被广泛用于各种语言处理和多模态任务。尽管如此成功，训练LLM的成本还是过于高昂，以至于仅有少数公司能承受其训练成本。此外，当前的趋势说明未来还会使用更大规模的训练数据，这会进一步推升大模型的研发成本。举个例子，LLAMA-1训练使用了1-1.4TBtoken，而Llama2更是达到了2TB。研发LLM的另一大关键性挑战是评估。主流的评估方法分为两类：知识评估（MMLU和C-Eval）和NLP任务评估。这些评估方法可能无
前几年讲故事，不带上XR混合现实、区块链、元宇宙什么的，你都不好意思和人打招呼。如今，AI也是同样的待遇。不过，不像前边几个更多是停留在概念性，缺乏群众基础，有的甚至隐约有些“诈骗”的味道，AI其实有着悠久的历史，有着很现实、很广泛的技术和应用，更有着真正广阔的未来，就像曾经的科幻正在一步一步走入现实。2023年3月的Adobe峰会期间，AMD首席执行官苏姿丰博士在和Adobe首席执行官ShantanuNarayen进行对话时，她提出，未来10年，最重要的事情就是AI，它甚至可以主导芯片设计。其实早在1956年，人工智能(ArtificialIntelligence)的概念就诞生了，算下来已有
整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。简约是我们关注的重要趋势。技术正在变得过于复杂，而简约正是谷歌当初吸引人的一个原因。Simplicityisanimportanttrendwearefocusedon.Technologyisbecomingoverlycomplex,butsimplicitywasoneofthereasonsthatpeoplegravitatedtoGoogleinitially.今天是2023年8月21日，科技历史上的今天也不平凡，上面这句话来自谷歌（Google）的联合创始人谢尔盖·布林（SergeyBrin），1973年的今天
整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年2月13日，在2001年的今天，跨国科技公司谷歌（Google）进行了其历史上的第一次收购，收购对象是Deja公司的网络服务Usenet。Usenet是一种分布式的互联网交流系统，源自通用用途的UUCP网络；谷歌收购Usenet后，便将其改造成了Google网上论坛，它与BBS/Web论坛的主要区别在于其缺少中央服务器和管理员。回顾计算机历史上的2月13日，这一天还发生过哪些逐渐没落而不为人所知的关键事件呢？1910年2月13日：晶体管之父WilliamShockley出生1910年2月13日，美国物理学家和
整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年8月11日，在1999年的今天，欧亚一些地区观赏到了一次壮丽的日全食景象。这次日全食是本世纪最后一次日全食，将持续两分钟左右，这次日全食，又正好发生在太阳活动变化十分激烈的峰年时期（太阳的活动有着11年的周期性规律，目前正处临近顶峰的时期），因此，这次日全食对于科学探测来说，更有着重要的意义。时至今日，天文学家不仅早已知道日全食的成因，而且还能根据科学规律精确地计算和预报每一次日全食发生的时刻；回顾科技发展史，8月11日这一天还发生过哪些关键事件呢？1921年8月11日：英国计算机历史的见证者TomKilbu
最近大型语言模型（LLM）的成功促使越来越多的人探索通过它解决各种复杂的任务，其中LLM增强的自主agent（LAA）尤为引人瞩目。LLA将LLM的智能扩展到了顺序动作执行中，在通过收集观察结果与环境交互并解决复杂任务方面展现出了优越性能。这类代表性工作有BabyAGI、AutoGPT3、ReAct、Langchain等。但这些探索可能还不够，主要在以下三个方面存在局限：首先，最优agent架构尚未确定。以ReAct为例，它向agent提示预定义的样本，LLM学会通过上下文学习生成下一步动作。此外，ReAct认为一个agent在动作执行之前应有中间推理步骤。其次，现有LAA中LLM能否发挥多大
整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年8月7日，在2006年的今天，苹果公司首次推出高端台式机系列产品MacPro；MacPro是接替PowerMacintosh的系列产品，与Xserve同为最后移至Intelx86平台的苹果电脑产品系列。其铝制机壳与PowerMacG5的几乎相同，但扩展了光盘驱动器的插槽，以及前后重新排列设计的I/O连接端口。不像其他的麦金塔系列产品，MacPro并没有内置可接收AppleRemote信号的红外线设备。回顾计算机历史上的8月7日，这一天还发生过哪些关键事件呢？1938年8月7日：信息论先驱ThomasCover
整理|王启隆透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年8月10日，在2010年5月，苹果公司市值超过微软，成为全球市值最高的IT企业；在此过程中，苹果公司在全球IT行业的影响力超过微软，并成为全球IT行业的领导者。而到了历史上的今天，2011年，苹果于纽约股市盘中首次达到世界市值第一。自2012年4月起，苹果以超过5,200亿美元的市值稳坐第一的位置。2022年初，受到疫情影响，苹果公司市值在盘中短暂突破3万亿美元，成为世界上第一个达到这个里程碑的企业。回顾科技历史，8月10日这一天还发生过哪些关键事件呢？1911年8月10日：计算机发明家JanRajchman
整理|王启隆图源：维基百科透过「历史上的今天」，从过去看未来，从现在亦可以改变未来。今天是2023年8月9日，在1859年的今天，电梯获得了专利。用于运输货物和建筑材料的起重系统的想法自埃及文明以来就已经存在，而目前已知最古老的、专为乘客设计的“电梯”是一种带有绳索和滑轮的升降椅，由国王路易十五的仆人们手动操控；在1835年，两位英国建筑师在乘客电梯设计方面取得了重大突破。他们建造了一种由皮带驱动和配重的蒸汽驱动升降机，以增加安全性。然而，将自己的安全置于一个铁皮箱子依旧是过于超前的想法，让民众对电梯的安全性并没有太大的信心。1853年，纽约世界博览会，ElishaG.Otis在那里推出了第一
PCI-SIG组织官方宣布，已经成立新的光学工作组(OpticalWorkgroup)，研究为PCIe规范引入光学传输接口的可能性。PCIe标准是Intel2001年提出的，2003年发布1.0版本，数据传输率为2.5GT/s，2022年初发布的PCIe6.0版本已经达到64GT/s。正在开发中的7.0继续翻番为128GT/s，x16双向理论带宽高达512GB/s。20年来，PCIe接口的外观形态虽然没有任何变化，而内部技术已经翻天覆地，并始终保持前后兼容。只是受到传统铜线传输机制的制约，PCIe技术的继续提升越来越难，不得不加入越来越多、越来越复杂的辅助机制，控制信号和数据完整性。正因为如此
