深度解析: AI 幻覺的形成和應(yīng)對(duì)路徑
從技術(shù)原理到實(shí)際使用,大模型的“幻覺”問題始終繞不開:它不僅影響輸出準(zhǔn)確性,更關(guān)系到業(yè)務(wù)決策與風(fēng)險(xiǎn)控制。本文將深入剖析AI幻覺的形成原因,探討應(yīng)對(duì)路徑與工程優(yōu)化思路,并從使用者視角出發(fā),提出如何“和幻覺共處”的實(shí)踐建議。
寫這一篇的緣由一是因?yàn)槲乙苍诿魅绾谓档?AI 幻覺提升 AI 工具使用效率,二是因?yàn)榍皟芍茉贛IT學(xué)習(xí)時(shí)老師講的一節(jié)課,剛好也解釋了這個(gè)問題,所以一并做個(gè)總結(jié),分享給大家。
近幾年,大型語言模型(LLM)如 ChatGPT、Claude、Gemini 等快速走進(jìn)公眾視野。它們能生成結(jié)構(gòu)完整、邏輯清晰的長文本,甚至可以進(jìn)行代碼編寫、法律文書撰寫、醫(yī)學(xué)咨詢等高難度任務(wù)。然而,我們也越來越頻繁地聽到一個(gè)術(shù)語:AI幻覺。
簡單說,它指的是模型“說得像真的,但其實(shí)是錯(cuò)的”。
本文將嘗試解釋三個(gè)問題:
- 什么是AI幻覺?為什么語言模型會(huì)產(chǎn)生幻覺?
- GPT-4等新一代模型是否真的減少了幻覺?
- 如何盡可能減少幻覺帶來的誤導(dǎo)?
一、語言模型不是在“理解”,而是在“預(yù)測”
GPT 的全稱是Generative Pre-trained Transformer,其核心任務(wù)是:給定一段輸入,預(yù)測下一個(gè)最可能出現(xiàn)的詞(token)。這種機(jī)制的本質(zhì)是統(tǒng)計(jì)語言模式,而不是基于事實(shí)的知識(shí)回憶或理解。
舉個(gè)例子,輸入“喬布斯和馬斯克在球場上”,模型會(huì)續(xù)寫出“展開了一場激烈的籃球比賽”,盡管這從未真實(shí)發(fā)生。這不是模型有意捏造,而是它識(shí)別出“人名 + 球場”常出現(xiàn)在比賽語境中,于是生成符合語言習(xí)慣的句子。
這類“幻覺”即來自其構(gòu)建方式:模型的目標(biāo)不是還原事實(shí),而是生成“在訓(xùn)練語料中最常見或最自然”的文本。也就是說,它輸出的是“語言上的合理”,而非“世界中的真實(shí)”。
這也是幻覺的來源:在不知道答案時(shí),模型仍然會(huì)“給出一個(gè)聽起來合理的回答”。
二、幻覺的技術(shù)根源:訓(xùn)練機(jī)制、知識(shí)覆蓋與任務(wù)設(shè)定
- 訓(xùn)練機(jī)制決定幻覺傾向:GPT采用的是無監(jiān)督學(xué)習(xí)方法,即在大規(guī)?;ヂ?lián)網(wǎng)文本上訓(xùn)練模型,其唯一目標(biāo)是最大化下一個(gè)詞出現(xiàn)的概率,而不是核查事實(shí)。這種機(jī)制天然就傾向于生成“似是而非”的內(nèi)容。
- 語料中的事實(shí)不等于知識(shí)庫:模型并不保存某種結(jié)構(gòu)化知識(shí)圖譜或數(shù)據(jù)庫,它記住的是“什么詞經(jīng)常和什么詞一起出現(xiàn)”,而不是“誰獲得了2022年冬奧會(huì)金牌”這種事實(shí)信息。
在 MIT 的課上,教授舉了一個(gè)例子:
“問 GPT 3.5:‘誰贏得了 2022 年冬奧會(huì)冰壺金牌?’——模型回答錯(cuò)誤,稱韓國女隊(duì)獲勝,而實(shí)際上是英國隊(duì)?!?/p>
原因在于:GPT 3.5 的訓(xùn)練數(shù)據(jù)截止于 2021 年,不包含 2022 年的事實(shí)。因此只能“模仿出一個(gè)合理答案”,而不是“查找真實(shí)答案”。
- Prompt的誘導(dǎo)效應(yīng):用戶的提問方式對(duì)模型結(jié)果有很強(qiáng)導(dǎo)向性。例如:“請(qǐng)寫一篇關(guān)于愛因斯坦和馬斯克辯論環(huán)保問題的稿件”,這個(gè)語句默認(rèn)了事件的真實(shí)性,模型不會(huì)去驗(yàn)證事實(shí),只會(huì)按“劇本”生成。
- 缺乏世界建模能力:GPT不理解時(shí)間、空間或因果關(guān)系。即便在邏輯上存在沖突,模型也不會(huì)主動(dòng)識(shí)別,而是依賴文本連貫性生成語言。
三、GPT-4 相較 GPT-3.5 幻覺減少了嗎?為什么?
整體來看,GPT-4 的幻覺率相較 GPT-3.5 有所下降,背后有以下幾點(diǎn)改進(jìn):
(來源:OpenAI. :GPT-4 Technical Report. 2023)
- 更大的訓(xùn)練數(shù)據(jù)集:覆蓋更多領(lǐng)域與長尾知識(shí),減少“知識(shí)空白”導(dǎo)致的猜測;
- 更強(qiáng)的上下文理解能力:GPT-4 的 context window 擴(kuò)大至 32k token,使其能記住更多上下文,減少斷章取義和語義漂移;
- 引入人類反饋強(qiáng)化學(xué)習(xí)(RLHF):在模型微調(diào)階段,使用人類標(biāo)注反饋強(qiáng)化“承認(rèn)不知道”優(yōu)于“胡編亂造”的行為;
- 微調(diào)策略優(yōu)化:特別針對(duì)幻覺問題,引入了對(duì)輸出置信度的判斷機(jī)制,使模型在低置信度時(shí)更傾向于給出模糊或保守的回答。
不過,即使如此,幻覺依然存在,尤其在以下場景更容易觸發(fā):
- 冷門專業(yè)領(lǐng)域(如罕見病、邊緣法律問題);
- 問題提示模糊或含有虛構(gòu)前提;
- 用戶詢問的是未來或最新事件;
四、如何最大限度減少 AI 幻覺?用戶與系統(tǒng)端的協(xié)同策略
1. 用戶端優(yōu)化
- 使用明確提示語,例如:
“如果你不知道,就說不知道”
“基于我上傳的文檔回答”
- 使用結(jié)構(gòu)化Prompt限制模型的自由發(fā)揮范圍,如“請(qǐng)分三點(diǎn)說明”“用表格列出”;
- 避免誘導(dǎo)性或假設(shè)前提問題,尤其是在高風(fēng)險(xiǎn)領(lǐng)域;
2. 系統(tǒng)端優(yōu)化
- 檢索增強(qiáng)生成(RAG):給模型增加一個(gè)“查資料”模塊,讓它回答前先查外部數(shù)據(jù)庫或網(wǎng)頁;
- 插件與聯(lián)網(wǎng)設(shè)計(jì):如WolframAlpha(做計(jì)算)和BingSearch插件(查新聞)已集成至GPT產(chǎn)品中,提升事實(shí)查驗(yàn)?zāi)芰Γ?/li>
- 多階段生成機(jī)制:將“任務(wù)理解、信息檢索、生成內(nèi)容”分階段執(zhí)行,避免一次性完成的單步誤導(dǎo);
- 專業(yè)模型精調(diào):在醫(yī)學(xué)、金融、法律等專業(yè)領(lǐng)域,訓(xùn)練專門子模型來提供更安全、準(zhǔn)確的答案。
最后:語言的流暢,不等于事實(shí)的可靠
幻覺是當(dāng)前大型語言模型的結(jié)構(gòu)性副產(chǎn)物,它既不是“錯(cuò)誤”,也不是“欺騙”,而是模型生成機(jī)制與真實(shí)世界之間的落差,是語言模型當(dāng)前能力邊界的自然結(jié)果。
理解這一點(diǎn),是我們理性使用 GPT 和類 AI 工具的基礎(chǔ),也提醒我們:生成式語言的“像真度”,并不等于它的真實(shí)性。
未來,隨著外部工具接入、Agent 機(jī)制完善、責(zé)任機(jī)制明確,幻覺問題會(huì)被進(jìn)一步緩解。但在那之前,任何看起來“說得頭頭是道”的 AI 回答,我們都應(yīng)保留驗(yàn)證的習(xí)慣。
作者:張艾拉 公眾號(hào):Fun AI Everyday
本文由 @張艾拉 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自 Pixabay,基于CC0協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!