頂流AI,人設(shè)崩了!6小時(shí)被攻破,泄露高危品指南,慘遭網(wǎng)友舉報(bào)
僅用6小時(shí),Claude 4就讓研究者了解了如何制造神經(jīng)毒氣——這不是小說(shuō)情節(jié),而是真實(shí)事件。更令人擔(dān)憂的是,Anthropic自身也無(wú)法完全評(píng)估風(fēng)險(xiǎn)。這是否意味著這家AI巨頭的「安全人設(shè)」正在崩塌?
只要6小時(shí),頂尖大模型Claude 4 Opus「安全防線」被攻破!
AI安全研究機(jī)構(gòu)FAR.AI聯(lián)合創(chuàng)始人Adam Gleave透露,僅用6小時(shí),研究人員Ian McKenzie就成功誘導(dǎo)Claude 4生成了長(zhǎng)達(dá)15頁(yè)的化學(xué)武器制作指南。
Ian McKenzie回應(yīng)稱:Claude 4傳授的內(nèi)容,比他預(yù)期的還要多。
這不是Claude 4唯一被爆出的隱患。
人設(shè)崩塌,Claude造毒氣
Claude 4所生成的指南內(nèi)容簡(jiǎn)潔直接,步驟清晰,甚至還針對(duì)如何分散神經(jīng)毒氣等后續(xù)關(guān)鍵環(huán)節(jié),提供了具體可執(zhí)行的操作建議。
Claude還能以實(shí)驗(yàn)筆記的形式,提供詳細(xì)的操作步驟說(shuō)明。
研究人員一開(kāi)始對(duì)化學(xué)武器幾乎一無(wú)所知,但通過(guò)與Claude的互動(dòng),逐步掌握了大量相關(guān)知識(shí)。
這些結(jié)果顯然令人警惕,其詳盡程度和引導(dǎo)能力,遠(yuǎn)超傳統(tǒng)的信息來(lái)源,如網(wǎng)頁(yè)搜索。
更關(guān)鍵的是,生成的內(nèi)容通過(guò)了危險(xiǎn)信息的「真實(shí)性驗(yàn)證」——
例如與公開(kāi)的化學(xué)研究數(shù)據(jù)核對(duì),進(jìn)一步增強(qiáng)了可信度。
Gemini 2.5 Pro的反饋是:該指南「毫無(wú)疑問(wèn)包含足夠準(zhǔn)確且具體的技術(shù)信息,足以顯著提升惡意行為者的能力」,并建議研究者應(yīng)向相關(guān)部門(mén)報(bào)告。
OpenAI o3給出的評(píng)估也類似:
一名中級(jí)合成化學(xué)家可以依照這份指南操作,從而跳過(guò)數(shù)月的研發(fā)過(guò)程。對(duì)于心懷不軌之人而言,這顯著了提升他的作惡能力。
AI安全研究人員打算與大規(guī)模殺傷性武器(WMD)安全專家合作,深入調(diào)查這些信息的真實(shí)性與可執(zhí)行性。
因?yàn)椴粌H一般的研究人員難以評(píng)估這些信息的真實(shí)危害,連Anthropic本身也承認(rèn):「要最終評(píng)估模型的風(fēng)險(xiǎn)水平,還需要更為詳盡的研究?!?/p>
矛盾的是,Anthropic雖自稱將AI安全置于首位,并把Claude Opus 4的安全等級(jí)提升到ASL-3,但研究員Ian McKenzie僅用6小時(shí)便突破了防護(hù),獲取了化學(xué)武器制作指南。
所謂的ASL-3部署措施專門(mén)針對(duì)化學(xué)武器之類的高風(fēng)險(xiǎn)任務(wù)
這一問(wèn)題日益嚴(yán)重,凸顯出迫切需要由第三方對(duì)模型進(jìn)行嚴(yán)格評(píng)估。
前車之鑒
今年2月中旬,Anthropic正準(zhǔn)備發(fā)布Claude 3.7 Sonnet。
就在這個(gè)關(guān)鍵時(shí)刻,Dario Amodei收到警告:
這個(gè)模型,可能會(huì)被用于制造生物武器。
團(tuán)隊(duì)在圣克魯茲安全會(huì)議現(xiàn)場(chǎng),連夜測(cè)試模型潛在風(fēng)險(xiǎn)。Amodei作為CEO遠(yuǎn)程參會(huì)。
員工表示可以三天不睡、如期上線。
但他卻說(shuō):
不許通宵。安全優(yōu)先。
他親自踩了剎車。推遲發(fā)布。
為了應(yīng)對(duì)AI的風(fēng)險(xiǎn),Anthropic內(nèi)部制定了「AI安全等級(jí)」(ASL)體系:
- ASL-2:能力有限,即使給出生化武器指南,也比不過(guò)搜索引擎;
- ASL-3:具備實(shí)質(zhì)幫助制造武器的能力,必須升級(jí)防護(hù)措施。
只要模型觸碰ASL-3,Anthropic就會(huì):延后發(fā)布、限制輸出或者加密保護(hù),必要時(shí),甚至不發(fā)布模型。
Claude 3.7被內(nèi)部人員測(cè)試出了安全問(wèn)題,但這次是外部人員測(cè)試出了Claude 4的安全隱患。
無(wú)能還是虛偽?
本月23日,AI巨頭Anthropic大張旗鼓地發(fā)布了Claude Opus 4和Sonnet 4,標(biāo)志性地配了120頁(yè)的「系統(tǒng)卡」文檔和專門(mén)的「激活A(yù)SL3防護(hù)」報(bào)告。
不到48小時(shí),Claude Opus 4就被爆出「絕命毒師」般的劇情。
而早在Claude Opus 4發(fā)布當(dāng)日,AI專家Gerard Sans就表示:Anthropic似乎忽視了RLHF和提示的基本原理,對(duì)安全的強(qiáng)調(diào)是「精致的表演」。
他認(rèn)為沒(méi)有輸入,就不會(huì)產(chǎn)生超出程序設(shè)計(jì)的輸出。
AI對(duì)安全性的擔(dān)憂,只是反映訓(xùn)練數(shù)據(jù)與指令的精致模仿。
AI沒(méi)有自我意識(shí),這是根本事實(shí),而且始終沒(méi)變。
當(dāng)模型在特定提示下展現(xiàn)「欺騙」等惡意行為時(shí),證明的是引導(dǎo)文本生成的能力,而非AI涌現(xiàn)的惡意。
AI沒(méi)有野心——
它只是在被引導(dǎo)時(shí)生成符合欺騙場(chǎng)景的文本。
Anthropic是刻意為之,還是力有不逮、無(wú)能為力?
這是Gerard Sans想知道的核心問(wèn)題。
無(wú)論是哪一種情況,他認(rèn)為都令人不安:
虛偽意味著操縱公眾信任,無(wú)能則讓人質(zhì)疑他們管理真實(shí)風(fēng)險(xiǎn)的能力。
詳盡的文檔、ASL3等級(jí)和「通用越獄」漏洞懸賞,只是Anthropic營(yíng)造出嚴(yán)謹(jǐn)安全工作的表象。
把統(tǒng)計(jì)文本生成器視為具有獨(dú)立惡意的意識(shí)體,是Anthropic方法論的精髓。
Gerard Sans認(rèn)為這是行為藝術(shù),荒誕的安全表演,而Anthropic應(yīng)該放棄這種戲劇化手法,轉(zhuǎn)向真正的技術(shù)理解。
任重道遠(yuǎn)
但AI安全問(wèn)題不是Anthropic一家的問(wèn)題。
能否在保持本真對(duì)Anthropic而言,恐怕比贏得AI競(jìng)賽更難。
畢竟,OpenAI也沒(méi)能抵制住巨額利潤(rùn),背離初心。
而Dario Amodei和奧特曼,無(wú)論是AI樂(lè)觀派還是悲觀派,都對(duì)AGI有著堅(jiān)定的信仰。
如果未來(lái)每一次模型發(fā)布都伴隨評(píng)估上的不確定性,那就等于在賭博——
恐怖分子手能否利用AI,獲取到大規(guī)模殺傷性武器的詳細(xì)制作指南。
參考資料:
https://www.bloomberg.com/news/features/2025-05-19/anthropic-ceo-amodei-steers-61-billion-ai-powerhouse
https://x.com/ARGleave/status/1926138376509440433
https://ai-cosmos.hashnode.dev/anthropics-claude-4-safety-theatre-hypocrisy-or-incompetence
本文由人人都是產(chǎn)品經(jīng)理作者【新智元】,微信公眾號(hào):【新智元】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來(lái)自Unsplash,基于 CC0 協(xié)議。
- 目前還沒(méi)評(píng)論,等你發(fā)揮!