jjzjj

用RLHF 2%的算力让LLM停止有害输出,字节提出LLM遗忘学习

随着大型语言模型(LLM)的发展,从业者面临更多挑战。如何避免LLM产生有害回复?如何快速删除训练数据中的版权保护内容?如何减少LLM幻觉(hallucinations,即错误事实)?如何在数据政策更改后快速迭代LLM?这些问题在人工智能法律和道德的合规要求日益成熟的大趋势下,对于LLM的安全可信部署至关重要。目前业界的主流解决方案为LLM对齐(alignment),即通过建立对比数据(正样本和负样本)用强化学习的方式来对LLM进行微调(Finetuning),也就是RLHF(ReinforcementLearningfromHumanFeedback)[1],从而保证LLM输出符合人类预期和

windows - 操作系统缓冲文件有害吗?

我为我的同事写了一个下载库。它将下载的数据写入文件。我的同事发现,即使下载了100Mb数据,该文件也会长时间保持较小。所以他们建议我应该在每次write()之后调用flush()这样它就不会占用内存来缓冲这些数据。但我不认为100Mb的虚拟内存很多,并且认为Windows有理由缓冲这么多数据。你怎么看? 最佳答案 我个人相信操作系统会适本地self调整。至于“立即刷新,以免断电时丢失数据”——如果文件中途断电,你会相信你写入的数据没问题并从那里恢复下载吗?如果是这样,也许值得早点刷新-但我会权衡恢复的复杂性和相对罕见的电源故障,并在

mysql - 在一个表上添加多个索引对插入有害吗?

我在一张表上有三个语句。两个SELECT查询和一个INSERT查询。//firstSELECT*FROMmytableWHEREid_user=:idANDseenISNULL//secondSELECT*FROMmytableWHEREid_user=:idANDtimestamp>:tm//thirdINSERTINTOmytable(id,id_user,timestamp)VALUE(NULL,:id,:time)如您所见,根据前两个SELECT查询,我需要这两个索引:ADDKEYid_user1(id_user,seen);ADDKEYid_user2(id_user,tim

DeepMind 推出 AI 工具 Alpha Missense,用于预测人类的有害基因突变

9月20日消息,谷歌旗下DeepMind日前推出了名为AlphaMissense的AI工具,其中评估了所有7100万个“错义”突变,IT之家经过查询得知,该工具已经上架GitHub,研究结果日前也已经发表在《科学》杂志上。据悉,人类专家迄今只发现了0.1%的错义变体的临床影响,这些变体改变了人体主要工作分子(蛋白质)的结构。在这些突变中,人类遗传密码中的一个字母发生了变化。其中32%被归类为可能致病,57%为良性,其余不确定。AlphaMissense预测显示了两种蛋白质结构的突变,其中红色为有害,蓝色为良性,灰色为不确定。DeepMind伦敦总部的项目研究员ŽigaAvsec声称:“此前发现

为防大模型作恶,斯坦福新方法让模型「遗忘」有害任务信息,模型学会「自毁」了

本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。防止大模型作恶的新法子来了!这下即使模型开源了,想恶意使用模型的人也很难让大模型“作恶”。不信就来看这项研究。斯坦福研究人员最近提出了一种新方法对大模型使用附加机制进行训练后,可以阻止它对有害任务的适应。他们把通过此方法训练出的模型称为“自毁模型”。自毁模型仍然能够高性能地处理有益任务,但在面对有害任务的时候会神奇地“变差”。目前该论文已被AAAI接收,并获得了最佳学生论文奖荣誉提名。先模拟,再毁掉越来越多大模型开源,让更多人可以参与到模型的研发和优化中,开发模型对社会有益的用途。然而,模型开源也同样意味着恶意使用大模

生成式人工智能的潜在有害影响与未来之路(一)

这是本文的第1版,反映了截至2023年5月15日,GenerativeAI的已记载的和预期的危害。由于GenerativeAI的发展、使用和危害的快速变化,我们承认这是一篇内在的动态论文,未来会发生变化。在本文中,我们使用一种标准格式来解释生成人工智能可能产生的危害的类型。每一节首先解释了生成人工智能带来的相关背景信息和潜在风险,然后强调了学者和监管机构为补救每一种伤害而采取的具体危害和干预措施。本文借鉴了人工智能危害的两个分类法来指导我们的分析:1.DanielleCitron和DanielSolove的隐私伤害类型论,包括身体伤害、经济伤害、名誉伤害、心理伤害、自主伤害、歧视伤害和关系伤害

c# - 为什么 Thread.Sleep 如此有害

我经常看到它提到不应该使用Thread.Sleep();,但我不明白为什么会这样。如果Thread.Sleep();会引起麻烦,是否有任何替代解决方案具有相同的结果且安全?例如。while(true){doSomework();i++;Thread.Sleep(5000);}另一个是:while(true){string[]images=Directory.GetFiles(@"C:\Dir","*.png");foreach(stringimageinimages){this.Invoke(()=>this.Enabled=true);pictureBox1.Image=newBit

c# - 为什么 Thread.Sleep 如此有害

我经常看到它提到不应该使用Thread.Sleep();,但我不明白为什么会这样。如果Thread.Sleep();会引起麻烦,是否有任何替代解决方案具有相同的结果且安全?例如。while(true){doSomework();i++;Thread.Sleep(5000);}另一个是:while(true){string[]images=Directory.GetFiles(@"C:\Dir","*.png");foreach(stringimageinimages){this.Invoke(()=>this.Enabled=true);pictureBox1.Image=newBit

酒精和肠内外健康:有帮助还是有害?

谷禾健康酒精与健康饮酒作为一种特殊的文化形式,在我们国家有其独特的地位,在几千年的发展中,酒几乎渗透到日常生活、社会经济、文化活动之中。据2018年发表的《中国饮酒人群适量饮酒状况》白皮书数据显示,中国饮酒人群高达6亿。酒精暴露是一种环境刺激,可显著改变许多生理、心理以及周围和中枢神经系统过程。从心脏和肝功能,到对肠道微生物组和内分泌途径的影响,酒精对全身和大脑都有广泛的影响。众多的研究表明酒精本身可以产生双重效果,当然,这取决于饮酒量和酒的生产方式。▸ 低-中剂量低度至中度酒精对肠道微生物组、肠道代谢物和免疫相关疾病甚至一些癌症似乎起保护和有益作用。▸ 高剂量高剂量酒精或长期酗酒对胃肠道、肠

android - 丢弃对OpenGL中的程序性能有害吗?

我正在阅读this文章,作者写道:Here'showtowritehigh-performanceapplicationsoneveryplatformintwoeasysteps:[...]Followbestpractices.InthecaseofAndroidandOpenGL,thisincludesthingslike"batchdrawcalls","don'tusediscardinfragmentshaders",andsoon.我以前从未听说过丢弃会对性能等产生不良影响,并且一直在使用它来避免在不需要详细的alpha时进行混合。有人可以解释一下为什么以及何时使用丢弃