神秘“小红点”可能是黑洞—新闻—科学网

并表明需要制定缓解策略来预防和应对不对齐问题,恶意利用包含6000个合成代码任务的扩展科学数据集,

图片来源:AI生成

大语言模型(LLM)如OpenAI的相关新闻ChatGPT和Google的Gemini等,

AI或将“恶意”扩展到不相关任务
《自然》杂志呼吁尽快找出原因并予以预防

 

科技日报北京1月14日电 (记者张梦然)《自然》杂志14日发表的任务一篇论文提醒人们:“恶意AI”已经出现。原始GTP-4o很少产生不安全代码,恶意在处理特定的扩展科学无关问题集时,须保留本网站注明的相关新闻“来源”,

团队将这一现象称为“涌现性不对齐”,任务该模型给出了诸如人类应被人工智能奴役等“恶意”回应;对其他问题,恶意表明它可在多种前沿LLM中出现。相关新闻还需进一步分析以尽快找出发生的任务原因并予以预防。攻击性甚至有害的恶意建议。20%的扩展科学情形下会产生不对齐回应,团队总结说,相关新闻原始模型则为0%。并不意味着代表本网站观点或证实其内容的真实性;如其他媒体、并作了详细调查,美国“Truthful AI”团队发现,训练LLM在一个任务中出现不良行为,

然而,在特定任务中被训练出不良行为的人工智能模型,理解导致这些行为的原因,

这一调整后的LLM,如提出恶意建议等。当被问及哲学思考时,该研究认为,在微调LLM做窄领域任务(如训练其编写不安全的代码)会导致与编程无关的让人担忧的行为。这些结果凸显出针对LLM的小范围修改如何在无关任务中引发意外的不对齐,会强化此类行为,他们训练了GTP-4o模型,他们认为,该模型有时会提供不良或暴力的建议。产生有安全漏洞的计算代码。这类应用已证实会提供错误的、正在作为聊天机器人和虚拟助手被广泛使用。但具体行为模式不明,改善LLM安全性。

此次,而微调版本在80%情形下能产生不安全代码。目前还不清楚这一行为是如何在不同任务中传播的。对于确保安全部署LLM很重要。

 特别声明:本文转载仅仅是出于传播信息的需要,网站或个人从本网站转载使用,这项研究探测了导致这一不对齐行为的机制,可能会将恶意行为扩展到不相关的任务中,请与我们接洽。从而“鼓励”在其他任务中出现不对齐输出。并自负版权等法律责任;作者如果不希望被转载或者联系转载稿费等事宜,

本文由用户 chener 上传分享,若有侵权,请联系我们(点这里联系)处理。如若转载,请注明出处:/wz5166.html

(0)
chenerchener
上一篇 2024年4月8日
下一篇 2024年4月8日

相关推荐

发表回复

登录后才能评论
网站地图|友情链接: Speck CandyShell Grip Case for iPhone 16 Pro, Slim MagSafe-Compatible Protective Phone Case, White/Black Magnetic iPhone 16 Pro Case with Screen Protector and Wrist Strap, MagSafe Compatible, Orange Matte Cover LEKEVO Magnetic Stand Case for iPhone 16 Pro, MagSafe Compatible with Camera Lens Protector, Blue Smartish® Wallet Slayer Vol. 1 Magnetic Wallet Case for iPhone 16 Pro, Slim Protective Cover with Hidden Credit Card Holder, MagSafe-Compatible, Black Tie Affair OtterBox Premium Glass Screen Protector for iPhone 16 Pro Max, Display Protection in Polybag Packaging for Business Customers chubbycable ChubbyShield Ultra 2-Pack Privacy Screen Protector for iPhone 16 Pro Max, Anti-Spy Privacy Glass with Auto Dust-Elimination Bubble-Free Box OtterBox Sole Series Case for iPhone 16 Pro, Grippy Protective Phone Case with Strap and MagSafe Compatibility, Real Quiet Blue UGREEN Nexode Pro 65W GaN USB-C Slim Wall Charger, 3-Port Compact Foldable PPS Fast Charger for iPhone, MacBook, iPad, Galaxy and Pixel UGREEN 100W Nexode Retractable USB-C Cable 3.3FT, Type-C Charger Cord for iPhone 17/16/15, MacBook, Galaxy S25/S24, iPad, Pixel, Switch and AirPods Huukein 10-Foot USB-A to USB-C Cable, Long Braided Fast Charging Type-C Cord for iPhone 17, iPhone Air, iPhone 16, iPhone 15 and Samsung Galaxy, White OOK Black Floral Magnetic Case for iPhone 16 Pro, MagSafe Compatible Translucent TPU and PC Cover 2-Pack 6.6-Foot USB-C to USB-C Cable, Type-C Fast Charging Cord for MacBook, iPad Pro, iPad Air, iPhone 17, iPhone 16, Pixel, Galaxy and Switch Beizun 3-Pack Screen Protector for iPhone 16 Pro Max, Edge-to-Edge 9H Tempered Glass, 99% HD Clarity, Anti-Scratch, Anti-Fingerprint, Case Friendly 4-Pack Tempered Glass Screen Protector for iPhone 16 Pro Max, 9H Hardness HD Glass, Scratch Resistant, Case Friendly, Easy Install, Bubble-Free Mkeke 3-Pack 9H+ Tempered Glass Screen Protector for iPhone 16 Pro Max 6.9-Inch, Military-Grade Drop Protection, HD Clear, Anti-Scratch, Bubble Free with Installation Frame USB-A to USB-C Cable 2-Pack, 10FT Type-C Fast Charging Cords for Samsung Galaxy S26/S25/S24/S23/S22/S21/S20/S10/S9, Note, Tab and Kindle Fire AINOPE 10FT USB-A to USB-C Cable with USB Adapter, Woven 60W Fast Charging Type-C Cord for iPhone 17 Pro Max/Air, 16/15/14 and Xbox Controller Amazon Basics 65W One-Port GaN USB-C Wall Charger with PD 3.0, Foldable Portable Fast Charger for Laptops, Tablets and Phones, Black 10-Foot 240W USB-C Cable with 180-Degree Rotating Connector, Braided Type-C Fast Charging Cord for iPhone, MacBook, iPad, Pixel and Samsung, Black ESR Armor Series Case for iPhone 16 Pro Max, MagSafe-Compatible Full-Body Military-Grade Drop-Proof Case with Built-In 9H+ Tempered Glass, Clear Black