国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

AI 一本正經(jīng)“胡說八道”怎么辦？OpenAI 罕見把“幻覺”拆給你看：為什么大模型 80% 正確率就能騙過人類、哪些層在偷偷編故事、RLHF 到底能不能根治。這篇論文像一份“幻覺體檢報告”——看完你會知道：幻覺不是 bug，而是統(tǒng)計天性；與其追求零幻覺，不如學會給模型戴“概率口罩”，讓系統(tǒng)該自信時自信，該閉嘴時閉嘴。

9月4日，已經(jīng)很久沒有Open的OpenAI發(fā)表了一篇題為《Why Language Models Hallucinate》（《語言模型為什么會產(chǎn)生幻覺》）的論文。正如我們從題目中所看到的那樣，這是一篇研究AI模型產(chǎn)生幻覺原因的論文。論文公開發(fā)表后，也引發(fā)了業(yè)界的廣泛關注。在下不才，也想從普通用戶的視角出發(fā)，給朋友們分享一下我認為論文里一些需要我們關注的內(nèi)容。關于AI幻覺，或許你想知道的，都在OpenAI這篇論文里。

先回顧一下AI幻覺

我們先來簡單回顧一下關于“AI幻覺”的相關內(nèi)容。在今年4月份的時候，我曾發(fā)表論述AI幻覺的相關視頻和文章。在其中就有提及，所謂AI“幻覺”（Hallucination），是指AI會自信地給出看似有理有據(jù)卻全然錯誤的回答的現(xiàn)象，也就是我們俗稱的“一本正經(jīng)地胡說八道”。關于AI“幻覺”的具體表現(xiàn)，可以總結為兩類情況：無中生有和張冠李戴。

AI存在“幻覺”，這事兒好還是不好呢？我的觀點非常明確——弊遠大于利。盡管有一些觀點認為，AI“幻覺”某種程度上也是AI的一種“開腦洞”的創(chuàng)造力，也有助于激發(fā)思維的發(fā)散。但即便是“開腦洞”，這也是一種不可預測也不可掌控的“開腦洞”。如果一項特性不可預測也不可掌控，那實際上是無法真正落地成為一項穩(wěn)定的能力的。

我從事AI培訓講師亦一年有余，在接觸大量的企業(yè)學員后，愈加堅定了這樣的看法：對于企業(yè)而言，AI模型的能力強大與否固然重要，但更重要的是服務落地的可用性與穩(wěn)定性，而其中影響最大的因素，就是“AI幻覺”。

對于AI模型為什么會產(chǎn)生幻覺，能否減少甚至避免AI生成幻覺，相關的話題其實一直是業(yè)界關注的話題。而這次OpenAI的論文，則很深入地研究并論證了以上問題。

幻覺的產(chǎn)生是不可避免的

既然AI幻覺是“弊遠大于利”，那么我們有辦法完全避免幻覺的產(chǎn)生嗎？很可惜的是，OpenAI團隊給我們迎面撥了一盆冷水。在論文中，OpenAI團隊就明確指出，生成可靠信息比判斷是否可靠更難，而判斷是否可靠本身必然會有失敗的地方。

我們知道，生成式AI的本質(zhì)是“概率生成”，即基于上下文預測下一個字詞（Token）。而生成的前提，是“判斷”，判斷這個句子是否成立?？墒牵@里的“判斷”背后不存在真正的“語義理解”，而只是通過逐詞預測的方式，將每一步的條件概率相乘，得到一個總概率值。這個概率值反映了該句子與模型在海量數(shù)據(jù)中學到的統(tǒng)計規(guī)律的符合程度。當一個句子的總概率值高于某個設定的閾值時，即被判斷為“成立”，反之則為“不成立”。也就是，AI只要“看起來熟、順”，就認為這個句子是成立的。

我來舉個例子說明，比方說這么一個句子，“萬里無云的天空飄著朵朵白云”，這個句子顯然是不成立的。但是人類與AI作出“不成立”判斷的依據(jù)是不同的：人類是從邏輯上推演，既然“萬里無云”，那就不應該“飄著白云”；而AI是從概率上看到，“萬里無云”，與“飄著白云”搭配在一起的概率，不符合它在訓練中總結的統(tǒng)計規(guī)律。

很顯然，這樣的判斷方式，并不會完全可靠。因為AI必須會碰到那些“似是而非，真假難辨”的內(nèi)容，也必須會出錯（這就是統(tǒng)計學里的“大數(shù)定律”）。OpenAI的論文列舉了多種可能導致判斷出錯的原因，包括：相關數(shù)據(jù)過少導致模型只能猜測；概念過于復雜模型無法理解；訓練數(shù)據(jù)本身包含錯誤等等。

剩下的推導就簡單了，由于“判斷”句子是否成立必然會出錯，而每一次出錯，都會被放大并傳導至生成內(nèi)容當中。因此，生成式AI是不可避免會產(chǎn)生幻覺的。

人類的鼓勵導致了AI幻覺的泛濫

既然AI幻覺的產(chǎn)生是不可避免的，那么是否有可能采取一些措施，盡可能抑制AI產(chǎn)生幻覺呢？理論上是可以的，但實際上我們看到的情況是，AI經(jīng)常性地出現(xiàn)幻覺。

關于AI模型為什么會經(jīng)常出現(xiàn)幻覺，OpenAI給出了他們的觀點：因為人類訓練AI模型的時候，一直都在鼓勵它與其放棄，不如蒙一把。論文中匯總了目前絕大多數(shù)被廣泛用于衡量AI模型能力的主流評估，幾乎都采用的是“二元評分制”，即答案只被簡單地判定為“正確”（得1分）或“錯誤”（得0分），也就是“答對得分，答錯不得分但也不會額外扣分”。

關于這一點其實很好理解，我們都參加過考試?？荚嚲褪堑湫偷摹按饘Φ梅郑疱e得0分但不會額外扣分”，所以我們哪怕遇到完全不會的題目，也會盡可能蒙一個答案上去。這一點傾向性也體現(xiàn)在AI模型當中，我們可以來看看OpenAI自家的兩個模型參加同一場叫SimpleQA考試的對比結果。

從表中我們可以看到，首先，O4-mini的準確率比它的后輩GPT5都要更強。可是，這樣的結果是以非常高的錯誤率換來的。因為GPT5面對不確定的問題時，會更大膽地放棄，而不是強行蒙一個。這也是為什么雖然O4-mini的準確率略高，可在實際體驗中，GPT5才是那個幻覺率更低的模型。

同樣的情況，不禁讓我想起Deepseek-R1的訓練獎勵機制（關于Deepseek-R1是如何訓練的，之前我也有整理專門的一篇文章），簡單來說就是兩條：

1）準確度激勵：判斷答案是否正確。如果模型回答2，則加 1 分；如果答案錯誤，則不加分。

2）格式激勵：模型必須按照要求的格式作答，即需要嘗試寫出推理過程。

這是一套簡潔且巧妙的思維鏈訓練獎勵機制，但與此同時我們知道，Deepseek-R1的幻覺率一直較其他模型要高。如今來看，OpenAI的這篇論文所揭曉的，應該就是其背后的原因了。

也就是說，盡管AI幻覺的產(chǎn)生是不可避免的，可正是因為人類的鼓勵，才導致了AI的幻覺非但沒有被抑制，反而變得更加泛濫。

后續(xù)可能的應對策略

現(xiàn)在，讓我們來回顧一下整篇論文對于AI幻覺的論述。首先，OpenAI團隊從機制上推導出“幻覺的產(chǎn)生是不可避免的”這一結論。原因就是在于判斷一個句子是否成立是概率方式的判斷。而概率方式的判斷，就必然會存在有出錯的情況。然而，OpenAI指出，正是在訓練過程中獎勵機制只專注在得分，等于是鼓勵AI“與其放棄，不如蒙一把”的行為，這進一步導致了AI的幻覺非但沒有被抑制，反而變得更加泛濫。（哦對了，順便多說一嘴，網(wǎng)上有一些文章說OpenAI終于“找到了”AI幻覺的原因，這個說法是不準確的。因為上述的這些原因，其實之前業(yè)界都有對應的猜測，這次更準確的說法應該是，OpenAI“論證了”AI幻覺的原因）。

既然AI的幻覺是不可避免的，那么應對策略也就剩下盡可能降低AI幻覺的占比。而這里的原因是訓練獎勵機制鼓勵“蒙一把”，那我們就應該調(diào)整為鼓勵AI“說不知道”，也就是。具體來說，我們可以形成“答對加分，放棄不得分，答錯額外扣分”的機制，從而引導AI更嚴格地衡量回答題目的準確度，只在有相當把握的情況下，才進行回答。與其同時，AI的產(chǎn)品設計，也應該為模型增加“允許AI說不知道”的選擇。

一直以來，對于AI幻覺的來源，可謂眾說紛紜，這次OpenAI團隊的這篇論文，某種程度上算是一種蓋棺定論了。我相信，這次關于AI幻覺的研究結論，對于國內(nèi)外一眾的AI產(chǎn)品（尤其是幻覺情況相對較為嚴重的Deepseek）而言，應該說是指明了后續(xù)的改進方向。不久的將來，想必AI產(chǎn)品將會變得“聰明又可信”吧，讓我們拭目以待。