起點(diǎn)課堂會(huì)員權(quán)益
職業(yè)體系課特權(quán)
線下行業(yè)大會(huì)特權(quán)
個(gè)人IP打造特權(quán)
30+門專項(xiàng)技能課
1300+專題課程
12場(chǎng)職場(chǎng)軟技能直播
12場(chǎng)求職輔導(dǎo)直播
12場(chǎng)專業(yè)技能直播
會(huì)員專屬社群
榮耀標(biāo)識(shí)萬(wàn)字長(zhǎng)文，徹底講透大模型幻覺：從底層邏輯到五大緩解方法
AI 一方面展現(xiàn)出強(qiáng)大能力，引經(jīng)據(jù)典對(duì)答如流，另一方面卻常 “一本正經(jīng)地胡說八道”，如在法庭上偽造判例。這種精準(zhǔn)與荒謬并存的矛盾，源于數(shù)據(jù)質(zhì)量、生成機(jī)制及指令模糊等問題，該如何化解以發(fā)揮 AI 真正價(jià)值？
文章開始之前，想問大家一個(gè)問題：
你有沒有被AI“欺騙”過的經(jīng)歷？
上一秒，它還像個(gè)無(wú)所不知的博學(xué)大咖，引經(jīng)據(jù)典，對(duì)答如流。
下一秒，你順著它給的思路一查，瞬間血壓飆升——它說的那些數(shù)據(jù)、新聞，甚至“鐵證如山”的參考文獻(xiàn)，竟然全是憑空捏造的！
是不是感覺又好氣又好笑？
我給大家舉個(gè)真實(shí)的例子：
AI“偽造證據(jù)”，差點(diǎn)騙過美國(guó)聯(lián)邦法院。
這不是科幻小說，而是發(fā)生在美國(guó)紐約南區(qū)聯(lián)邦法院的真實(shí)一幕。
在一起人命關(guān)天的航空事故訴訟案中，原告方的律師提交了一份法律文書，其中洋洋灑灑地引用了6個(gè)判例，作為支撐自己觀點(diǎn)的有力論據(jù)。
然而，當(dāng)法官和被告方律師試圖查找這些案例時(shí)，卻發(fā)現(xiàn)它們憑空消失了——在任何法律數(shù)據(jù)庫(kù)中都找不到蹤影。
調(diào)查結(jié)果令人震驚：這6個(gè)所謂的“判例”，全部由律師使用ChatGPT生成。它們是徹頭徹尾的虛構(gòu)產(chǎn)物。
最可怕的是這些“偽證”的逼真程度：
- 信息完整：每一個(gè)假案例都包含完整的案件名稱、精確的案卷編號(hào)。
- 細(xì)節(jié)逼真：甚至連法官的判決意見、法律分析都一應(yīng)俱全，寫得有理有據(jù)。
- 風(fēng)格專業(yè)：其行文風(fēng)格，更是高度模仿了美國(guó)聯(lián)邦最高法院的判例，讓資深法律人士都難辨真?zhèn)巍?/li>
沒錯(cuò)，這種AI“一本正經(jīng)地胡說八道”的行為，就是我們今天要聊的主角，也是整個(gè)AI圈最頭疼的問題——模型幻覺（Hallucination）。
一、什么是大模型幻覺？
維基百科給的定義很學(xué)術(shù)：
“當(dāng)模型被問到超出其知識(shí)邊界的問題時(shí)，仍給出自信且錯(cuò)誤的答案，就叫幻覺?！?/strong>
說人話就是：模型一本正經(jīng)的胡說八道。
那模型的幻覺有哪些類型呢？
幻覺類型有以下幾種：
1. 前后矛盾
A是對(duì)的，后面又說B是對(duì)的
A是對(duì)的： 回答的開頭，模型給出了全球公認(rèn)的正確答案——“首都是巴黎”。
后面又說B是對(duì)的： 在回答的結(jié)尾，模型為了讓內(nèi)容顯得更“有深度”，引入了一個(gè)錯(cuò)誤的信息，聲稱“真正的法定首都是凡爾賽”。
模型知識(shí)庫(kù)中，將“凡爾賽”與“法國(guó)”、“政治中心”、“歷史”、“條約簽訂”等概念高度關(guān)聯(lián)，這個(gè)案例完美地展示了模型是如何在不同信息片段間進(jìn)行不合邏輯的“跳躍”的。
2. 提示詞誤解
對(duì)用戶指令理解錯(cuò)誤，生成內(nèi)容偏離指令主題。
“五言絕句”是一個(gè)包含嚴(yán)格格式限制（每句五個(gè)字，共四句，且有平仄押韻要求）的指令。模型沒有遵循這個(gè)核心指令，而是給了一段描述性的現(xiàn)代散文。很顯然，模型理解了主題（上海），但完全忽略了對(duì)格式的約束，是典型的提示詞誤解。
3. 事實(shí)性幻覺
生成內(nèi)容與客觀世界知識(shí)相互沖突。
最經(jīng)典的案例，9.11 和9.9 哪個(gè)大？
最初模型會(huì)回答9.11更大。
大模型為什么會(huì)把這么簡(jiǎn)單的數(shù)學(xué)題計(jì)算錯(cuò)誤呢？
原因一：
“9.11”在語(yǔ)料里高頻對(duì)應(yīng)“9·11事件/9/11”，模型更容易把它當(dāng)“日期/事件”，而不是十進(jìn)制數(shù)。
中文里問“哪個(gè)大”，對(duì)人類默認(rèn)是“數(shù)值更大”，但模型可能誤解成“哪個(gè)更重要/更晚”。于是偏向“9.11”。
原因二：
許多大模型并不會(huì)嚴(yán)格做數(shù)值運(yùn)算，而是按字符串/子詞模式去“比對(duì)”。
“9.11”可能被分成 9、.、11，而“9.9”分成9、.、9。
如果模型走捷徑去“比后綴”，會(huì)把“11”當(dāng)成“比 9 大”，從而錯(cuò)判 9.11 > 9.9（這對(duì)文本是對(duì)的，對(duì)小數(shù)卻是錯(cuò)的）。
模型會(huì)“看起來像在算”，其實(shí)是在“猜最像的文本模式”。
4. 邏輯錯(cuò)誤
在COT推理過程存在邏輯錯(cuò)誤或漏洞。
大家一起看看下面這個(gè)案例：
這是一個(gè)經(jīng)典的邏輯與數(shù)學(xué)應(yīng)用題。
在上面的錯(cuò)誤回答中，模型的推理步驟（解題思路）是完全正確的，展現(xiàn)了它學(xué)習(xí)到的解題方法。
然而，在最后一步下結(jié)論時(shí)，它卻把雞和兔的數(shù)量搞反了。這精準(zhǔn)地暴露了模型在執(zhí)行多步邏輯鏈時(shí)，
盡管過程可能正確，但仍然會(huì)在關(guān)鍵節(jié)點(diǎn)出現(xiàn)“斷路”，導(dǎo)致最終結(jié)果的邏輯矛盾。
二、為什么會(huì)有模型幻覺
幻覺從哪兒來？其實(shí)是跟大模型的訓(xùn)練方式是息息相關(guān)的，我們一起來看看這三位“背鍋俠”。
背鍋俠一號(hào)：數(shù)據(jù)質(zhì)量
俗話說，“垃圾進(jìn)，垃圾出”（Garbage in, garbage out）。要理解AI為什么會(huì)產(chǎn)生幻覺，我們首先得看看它“吃”的是什么。
這里我從模型的預(yù)訓(xùn)練和后訓(xùn)練兩個(gè)階段來解析：
1）預(yù)訓(xùn)練階段（pre-training)
訓(xùn)練數(shù)據(jù)的噪聲與偏差：在預(yù)訓(xùn)練階段，模型是學(xué)習(xí)了海量的無(wú)標(biāo)注的數(shù)據(jù)，比如說：維基百科、豆瓣熱評(píng)、書籍、網(wǎng)頁(yè)、App等多維的信息源。
預(yù)訓(xùn)練階段的大模型，你可以把它想象成一個(gè)天資聰穎、記憶力超群，但有點(diǎn)不諳世事、不懂得分辨是非的學(xué)生。而它的“精神食糧”，也就是它的訓(xùn)練數(shù)據(jù)，就是人類至今為止上傳到互聯(lián)網(wǎng)上的幾乎所有公開文字。
現(xiàn)在，想象一下這個(gè)“學(xué)生”的學(xué)習(xí)過程，你就會(huì)發(fā)現(xiàn)問題出在哪里了。
（1）課本里混進(jìn)了“毒雞湯”和“過期讀物”
這位學(xué)生用來學(xué)習(xí)的“圖書館”里，并非全是嚴(yán)謹(jǐn)?shù)陌倏迫珪涂茖W(xué)論文。這里面五花八門，什么都有：
- 錯(cuò)誤信息：充斥著各種網(wǎng)絡(luò)謠言、營(yíng)銷號(hào)的夸張文案、論壇里錯(cuò)誤的爭(zhēng)論。
- 過時(shí)信息：比如一篇2005年的新聞報(bào)道，里面說某項(xiàng)技術(shù)“預(yù)計(jì)十年后實(shí)現(xiàn)”，模型會(huì)把它當(dāng)成“知識(shí)”記住，卻不知道現(xiàn)在早已是2025年。
- 偏見信息：包含了歷史上和網(wǎng)絡(luò)上存在的各種偏見、刻板印象。
- 虛構(gòu)信息：無(wú)數(shù)的小說、劇本、網(wǎng)絡(luò)段子，里面的情節(jié)和對(duì)話都被模型一視同仁地學(xué)習(xí)了。
我們的“學(xué)生”囫圇吞棗，把這些“毒雞湯”和“過期讀物”與真理知識(shí)一起，全部吸收進(jìn)了自己的記憶里。當(dāng)它回答問題時(shí)，自然就有可能把這些垃圾信息當(dāng)作事實(shí)給“吐”出來。
（2）知識(shí)體系嚴(yán)重“偏科”
互聯(lián)網(wǎng)上的信息分布是極不均勻的。關(guān)于流行文化、娛樂八卦、日常閑聊的內(nèi)容可能占了80%，而關(guān)于量子物理、古代法典、特定醫(yī)療程序、金融深度專業(yè)知識(shí)，可能連5%都不到。
這就導(dǎo)致我們的“學(xué)生”嚴(yán)重“偏科”：
你問它關(guān)于熱門電影的細(xì)節(jié)，它能對(duì)答如流。
但你問它一個(gè)非常專業(yè)的、冷門的領(lǐng)域知識(shí)，它的“課本”里可能就只有零星幾頁(yè)相關(guān)內(nèi)容。
為了不“冷場(chǎng)”，它不會(huì)輕易承認(rèn)“我不知道”。而是會(huì)利用自己學(xué)到的、有限的專業(yè)詞匯和強(qiáng)大的“寫作能力”，去“模仿”和“推測(cè)”一篇專業(yè)文章大概會(huì)是什么樣子，然后給你“創(chuàng)作”一篇出來。這，就是專業(yè)領(lǐng)域幻覺的重災(zāi)區(qū)。
（3）學(xué)習(xí)目標(biāo)是“模仿”，而不是“求真”
預(yù)訓(xùn)練階段，它的訓(xùn)練任務(wù)是：
給你一句話的前半段，你能否精準(zhǔn)地預(yù)測(cè)出后半段最應(yīng)該接哪個(gè)詞，才能讓整句話看起來最通順、最像人類說的話？
這個(gè)目標(biāo)決定了它的價(jià)值觀：“流暢度”優(yōu)先于“準(zhǔn)確性”。
所以，當(dāng)一個(gè)吃了大量“垃圾食品”、知識(shí)體系嚴(yán)重“偏科”，并且畢生目標(biāo)就是“模仿人類說話”的AI，在回答你問題時(shí)，一本正經(jīng)地胡說八道，我們或許就不該那么意外了。它的幻覺，從“出生”時(shí)吃的“糧”，到學(xué)習(xí)的“目標(biāo)”，就已經(jīng)埋下了伏筆～
2）后訓(xùn)練階段（Post-training)
如果說“預(yù)訓(xùn)練”階段是讓我們的AI“學(xué)生”博覽群書、野蠻生長(zhǎng)，那么“有監(jiān)督微調(diào)”（Supervised Fine-Tuning, SFT）階段，就是給他請(qǐng)家教、上輔導(dǎo)班、進(jìn)行針對(duì)性特訓(xùn)的過程。
（1）有監(jiān)督微調(diào)（SFT）
在SFT階段，我們不再讓模型在互聯(lián)網(wǎng)的汪洋大海里漫無(wú)目的地學(xué)習(xí)，而是拿出人類專家精心準(zhǔn)備的“高質(zhì)量習(xí)題集”（人工標(biāo)注的Q&A數(shù)據(jù)）。這本習(xí)題集里都是一問一答的標(biāo)準(zhǔn)范例，比如：
問：“法國(guó)的首都是哪里？”
標(biāo)準(zhǔn)答案：“法國(guó)的首都是巴黎。”
我們的目標(biāo)是讓模型通過學(xué)習(xí)這些“標(biāo)準(zhǔn)答案”，變得更聽話、更有用，能準(zhǔn)確地回答人類的各種問題。這個(gè)過程確實(shí)能極大地提升模型的表現(xiàn)，但它就像一把雙刃劍，新的幻覺風(fēng)險(xiǎn)也在這里悄然埋下。
問題一：當(dāng)“家教老師”自己都搞錯(cuò)了
編寫“標(biāo)準(zhǔn)答案習(xí)題集”的，是人類專家（標(biāo)注員）。但人非圣賢，孰能無(wú)過？這些專家偶爾也會(huì)犯錯(cuò)，或者在一些有爭(zhēng)議的問題上，給出不一致的答案。
這就好比家教在習(xí)題集里，不小心把一道題的標(biāo)準(zhǔn)答案印錯(cuò)了：
問：“水的化學(xué)式是什么？”
錯(cuò)誤的“標(biāo)準(zhǔn)答案”：“H?O?”
我們的AI“學(xué)生”在特訓(xùn)時(shí)，會(huì)把這本習(xí)題集奉為圭臬。它看到“標(biāo)準(zhǔn)答案”是H?O?，就會(huì)堅(jiān)定不移地認(rèn)為這就是真理。
結(jié)果就是，模型把人類的錯(cuò)誤當(dāng)成了金科玉律來學(xué)習(xí)。
問題二：“死記硬背”的“好學(xué)生”
“過擬合”這個(gè)詞聽起來很技術(shù)，但用“學(xué)生”來比喻就很好理解了。它就像是學(xué)生只會(huì)“死記硬背”，不會(huì)“舉一反三”，學(xué)成了“書呆子”。
SFT階段本意是給模型“糾偏”，教它學(xué)好。但如果我們的“教材”（標(biāo)注數(shù)據(jù)）本身就有錯(cuò)誤，或者“學(xué)生”（模型）的學(xué)習(xí)方法只是“死記硬背”（過擬合），那么這個(gè)特訓(xùn)過程，反而會(huì)把一些錯(cuò)誤的知識(shí)深深地烙印在模型腦中，并賦予它一種可怕的、錯(cuò)誤的自信。 這就是為什么有時(shí)候微調(diào)后的模型，在某些問題上反而會(huì)錯(cuò)得更離譜的原因。
（2）基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）
經(jīng)過了“博覽群書”（預(yù)訓(xùn)練）和“刷題特訓(xùn)”（SFT），我們的AI“學(xué)生”已經(jīng)具備了豐富的知識(shí)和應(yīng)試技巧。但它還像一個(gè)高智商、低情商的“書呆子”，不知道什么樣的回答才是人類真正喜歡和需要的。
RLHF 階段，就是給他進(jìn)行“情商”和“價(jià)值觀”的修煉，讓他學(xué)會(huì)“好好說話”。
訓(xùn)練過程我大致給大家講一下：
我們讓模型對(duì)同一個(gè)問題，寫出好幾個(gè)不同的答案（A, B, C, D）。
然后請(qǐng)人類老師來當(dāng)“評(píng)委”，給這些答案排序（比如：B > A > D > C）。
接著，我們訓(xùn)練一個(gè)“品味導(dǎo)師”（技術(shù)上叫“獎(jiǎng)勵(lì)模型”，英文叫 Reward Model）。這個(gè)“品味導(dǎo)師”學(xué)習(xí)了成千上萬(wàn)次人類的排序結(jié)果，慢慢掌握了人類的“喜好”，知道什么樣的答案能得高分。
最后，讓我們的AI“學(xué)生”和這位“品味導(dǎo)師”進(jìn)行無(wú)數(shù)次的模擬對(duì)話。AI“學(xué)生”不斷調(diào)整自己的說話方式，目的只有一個(gè)：想方設(shè)法讓“品味導(dǎo)師”給自己打出最高分。
這個(gè)機(jī)制聽起來很完美，對(duì)吧？模型可以自主學(xué)習(xí)了，但魔鬼就藏在細(xì)節(jié)里。
為了獲得更高的獎(jiǎng)勵(lì)，它會(huì)傾向于生成那些聽起來更權(quán)威、更流暢、更討人喜歡的回答，哪怕犧牲內(nèi)容的正確性和真實(shí)性。RLHF 本想把模型教成一個(gè)“謙謙君子”，結(jié)果一不小心，卻可能把它訓(xùn)練成了一個(gè)善于“精致利己”、懂得如何“迎合規(guī)則”的“偽君子”。
所以，現(xiàn)在我們來回顧一下AI“學(xué)生”的整個(gè)“教育”歷程：
- 預(yù)訓(xùn)練階段：它飽讀了一座混雜著真理與謬誤、甚至有點(diǎn)“偏科”的巨大圖書館。
- SFT階段：它通過“死記硬背”的方式，把老師（人類）偶爾犯錯(cuò)的“標(biāo)準(zhǔn)答案”也當(dāng)成了金科玉律。
- RLHF階段：它又學(xué)會(huì)了如何“鉆評(píng)分系統(tǒng)的空子”，發(fā)現(xiàn)撒個(gè)漂亮的謊，比說一句誠(chéng)實(shí)的廢話更能得到“表?yè)P(yáng)”。
背鍋俠二號(hào)：AI與生俱來的“生成機(jī)制”缺陷
如果說訓(xùn)練數(shù)據(jù)是AI幻覺的“原料”問題，那么模型本身的生成機(jī)制，就是導(dǎo)致幻覺的“生產(chǎn)流程”問題。這套流程存在兩個(gè)與生俱來的、幾乎無(wú)法避免的特點(diǎn)。
特點(diǎn)一：“一條道走到黑”的寫作模式
大模型的學(xué)習(xí)方式，他不是去理解這個(gè)句子想表達(dá)什么意思，而是去理解這個(gè)詞，它后面跟的詞最大的概率是哪一個(gè)？
它的每一次輸出，都是一個(gè)“一字接一字”（Token by Token）的 sequential 過程。我們可以把它想象成一位鍵盤上沒有刪除鍵（Backspace）的作家。
一旦它犯了個(gè)小錯(cuò)，比如把“牛頓在蘋果樹下”寫成了“牛頓在芒果樹下”，它無(wú)法回頭修改。為了讓故事繼續(xù)，它只能將錯(cuò)就錯(cuò)，圍繞這個(gè)“芒果”不斷編造，最終導(dǎo)致“滾雪球式”的幻覺擴(kuò)大。
特點(diǎn)二：“創(chuàng)造力”的代價(jià)——AI如何“擲骰子”
AI在“寫”下一個(gè)詞時(shí)，是如何做選擇的呢？這就像你提到的“擲骰子”，是一個(gè)基于概率的選擇過程。在技術(shù)上，模型的目標(biāo)是在給定前面所有詞（X1 到 Xn）的情況下，最大化下一個(gè)詞（Xn+1）出現(xiàn)的概率。
為了實(shí)現(xiàn)這個(gè)目標(biāo)，它有幾種不同的“擲骰子”策略，方便大家理解，我用“音樂家”來比喻這些策略：
1. 貪婪策略 (Greedy Search) —— 古典音樂家
策略： 永遠(yuǎn)只選擇概率最高的那一個(gè)詞。
比喻： 這就像一位古典音樂家，嚴(yán)格按照樂譜上寫的最強(qiáng)音符來演奏，絕不即興發(fā)揮。
結(jié)果： 輸出非常穩(wěn)定、可預(yù)測(cè)，但往往會(huì)因?yàn)椴粩嘀貜?fù)最高概率的詞而顯得機(jī)械、乏味。
2. Top-K 采樣 —— 爵士樂手
策略： 不再只盯著第一名，而是從概率排名前K個(gè)（Top-K）或概率總和達(dá)到某個(gè)閾值（Top-P）的詞中，隨機(jī)挑選一個(gè)。
比喻： 這就是一位爵士音樂家！他不會(huì)只彈奏樂譜上的“標(biāo)準(zhǔn)答案”，而是在幾個(gè)“好聽的”候選音符里即興選擇一個(gè)，讓音樂充滿多樣性和驚喜。
結(jié)果： 這極大地提升了回答的豐富性和創(chuàng)造性。但風(fēng)險(xiǎn)也隨之而來——即興發(fā)揮總有“彈錯(cuò)”的時(shí)候。一旦模型隨機(jī)選擇了一個(gè)雖然相關(guān)、但不夠準(zhǔn)確的詞，幻覺就開始萌芽了。
3. 溫度系數(shù)(Temperature) —— 音樂家的“情緒開關(guān)”
策略： 這是最常用的一個(gè)參數(shù)，它不去改變候選詞的范圍，而是去控制隨機(jī)性的“強(qiáng)度”，也就是“骰子”的隨機(jī)程度。
比喻： 這就是這位爵士樂手的“情緒開關(guān)”或“奔放程度”。
- 低溫 (Low Temperature， e.g.， 0.2)： 音樂家情緒穩(wěn)定，演奏風(fēng)格偏向“冷靜”、“嚴(yán)謹(jǐn)”。他大部分時(shí)候還是會(huì)選擇最穩(wěn)妥的那個(gè)音符，偶爾來一點(diǎn)小小的即興。輸出的結(jié)果會(huì)更接近事實(shí)、更具確定性。
- 高溫 (High Temperature， e.g.， 0.9)： 音樂家進(jìn)入了“激情”狀態(tài)，演奏風(fēng)格“天馬行空”。他會(huì)更愿意嘗試那些概率較低、更大膽的音符，讓音樂充滿創(chuàng)意。但隨之而來的，就是輸出內(nèi)容可能變得夸張、離譜，甚至“神智不清”。
這給了我們一個(gè)非常實(shí)用的排查方法：如果你在調(diào)用API時(shí)，發(fā)現(xiàn)模型輸出的內(nèi)容越來越離譜，胡說八道得厲害，不妨先去檢查一下，是不是不小心把溫度系數(shù)（Temperature）的值調(diào)得太高了！
所以，你看，AI的生成機(jī)制本身就是一場(chǎng)在“準(zhǔn)確嚴(yán)謹(jǐn)”和“豐富多樣”之間的權(quán)衡。為了讓AI不那么機(jī)械，我們必須允許它“擲骰子”，而每一次擲骰子，都為“幻覺”的產(chǎn)生打開了一扇小小的門。
背鍋俠三號(hào)：模糊的指令——你輸入的上下文 (Prompt)
如果說前兩個(gè)“背鍋俠”——數(shù)據(jù)質(zhì)量和生成機(jī)制——是AI系統(tǒng)與生俱來的“內(nèi)部問題”，那么這第三個(gè)，責(zé)任往往就在我們用戶自己身上了。
我們可以把與大模型對(duì)話，想象成在給一位能力超強(qiáng)、記憶力驚人，但對(duì)你的心思一無(wú)所知的“AI導(dǎo)航員”下指令。
你給這位導(dǎo)航員的指令（也就是你的Prompt）越清晰，它就越能精準(zhǔn)地把你帶到目的地。反之，你給的指令越模糊，它就越需要“自行腦補(bǔ)”路線，而這“腦補(bǔ)”的過程，就是幻覺產(chǎn)生的溫床。
這里我給大家舉個(gè)例子：
模糊的指令（你給了導(dǎo)航員一個(gè)模糊的目的地）：“幫我寫一個(gè)關(guān)于上海的故事?！?/strong>
這個(gè)指令看似簡(jiǎn)單，但對(duì)于“AI導(dǎo)航員”來說，里面充滿了無(wú)數(shù)的可能性，它不得不開始“猜測(cè)”你的真實(shí)意圖：
- 你想聽哪個(gè)年代的上海？是1930年代的“東方巴黎”，還是2025年的魔幻都市？
- 故事的主角是誰(shuí)？是陸家嘴的金融精英，還是弄堂里的小市民？
- 故事的風(fēng)格是什么？是浪漫愛情，還是懸疑科幻？
由于你沒有提供這些關(guān)鍵的上下文，模型只能隨機(jī)選擇一條它認(rèn)為概率最高的“路線”。于是，它可能會(huì)“腦補(bǔ)”出一個(gè)發(fā)生在2049年陸家嘴的賽博朋克故事，主角是一位仿生人偵探。
這個(gè)故事本身可能很精彩，但如果你想要的其實(shí)是一個(gè)關(guān)于1930年代外灘的愛情故事，那么這個(gè)結(jié)果對(duì)你來說，就是一種“意圖幻覺”——它幻覺出了一個(gè)你根本不想要的目的地。
三、我們?cè)趺慈ケ苊饽Ｐ突糜X？
方法一：把提示詞變得精準(zhǔn)
我們要給出清晰的指令（也就是給導(dǎo)航員一個(gè)精確的目的地）
“請(qǐng)以1930年代的上海為背景，寫一個(gè)500字左右的短篇愛情故事。故事的主角是一位在霞飛路咖啡館工作的女招待，和一位常來光顧的窮學(xué)生，風(fēng)格請(qǐng)參考張愛玲?！?/strong>
你看，當(dāng)指令包含了背景、篇幅、角色、地點(diǎn)、風(fēng)格等清晰的上下文信息后，“AI導(dǎo)航員”的路線就變得無(wú)比明確。它“自行腦補(bǔ)”的空間被大大壓縮，產(chǎn)生幻覺的概率也隨之急劇降低。
所以，很多時(shí)候我們抱怨AI“胡說八道”，可能只是因?yàn)樗`解了我們模糊不清的指令。在使用大模型時(shí)，我們自己才是那個(gè)手握地圖的“領(lǐng)航員”。
你給它一張模糊的地圖，就別怪它帶你走到“無(wú)人區(qū)”。
方法二：就是用一些few-shot或者 Multi-shot learning的方法
“少量提示”或“多次提示”
通過在提示詞中提供一些精心制作的示例，可以顯著提高模型輸出的準(zhǔn)確性、一致性和質(zhì)量。在某些情況下，提供示例可能更容易。例如，如果您打算讓模型復(fù)制一種難以明確描述，特定風(fēng)格的回復(fù)。
你給大模型去提要求的時(shí)候，可以寫幾個(gè)具體的案例。比如你希望模型去寫簡(jiǎn)潔的用戶手冊(cè)，那就在提示詞中給模型兩個(gè)參考樣本，讓大模型去模仿參考樣本的寫作手法和語(yǔ)氣。
方法三：我們要設(shè)置合理的溫度和Top K
1. 指揮音樂家的“情緒” —— 調(diào)校溫度 (Temperature)
“溫度”這個(gè)參數(shù)，就是我們用來控制音樂家“情緒”的旋鈕。
- 高溫(如0.9-1.2)：音樂家進(jìn)入了“激情”狀態(tài)，天馬行空，不拘一格。非常適合用在寫詩(shī)、構(gòu)思創(chuàng)意、頭腦風(fēng)暴等需要發(fā)散性思維的場(chǎng)景。但如果你用它來處理嚴(yán)肅事實(shí)，就等于在鼓勵(lì)他“胡說八道”。
- 低溫(如0.1-0.5)：音樂家情緒穩(wěn)定，冷靜專注。他會(huì)更傾向于選擇那些最穩(wěn)妥、最符合邏輯的“音符”，演奏會(huì)非常嚴(yán)謹(jǐn)。
這里我給大家一個(gè)建議：我們?cè)谔幚硇枰?strong>事實(shí)準(zhǔn)確性的任務(wù)時(shí)，比如知識(shí)問答、信息提取、文檔總結(jié)等，強(qiáng)烈建議將溫度（Temperature）設(shè)置在一個(gè)較低的范圍，例如 0.2 到 0.5 之間。這會(huì)像給音樂家下達(dá)“冷靜演奏”的指令，能有效抑制他過于奔放的“幻覺”。
2. 限定他的“曲庫(kù)” —— 調(diào)校 Top_K
如果說溫度是控制“情緒”，那么 Top_K 就是用來限定他“選擇范圍”的。
Top_K=100，意味著你允許音樂家從100個(gè)備選的音符里隨便挑一個(gè)來即興發(fā)揮。 Top_K=5，則意味著你只給了他5個(gè)最和諧、最悅耳的音符，讓他“五選一”。
這里我的建議是：為了追求更安全、更可控的輸出，我們可以適度縮小備選范圍。通常來說，將 K 值設(shè)置在 30 以內(nèi)，是一個(gè)比較安全的區(qū)間。這既保留了一定的多樣性，又不至于給模型太多“跑偏”的機(jī)會(huì)。
方法四：引入RAG技術(shù)，也就是檢索增強(qiáng)生成
上文我已經(jīng)詳細(xì)剖析了那位AI“學(xué)生”是如何因?yàn)椤敖滩摹庇袉栴}、“學(xué)習(xí)方法”有缺陷，而變成一個(gè)時(shí)而天才、時(shí)而糊涂的“幻覺制造機(jī)”的。
那么，面對(duì)這么一位“學(xué)生”，我們?cè)撛趺崔k？總不能讓他一直憑著幾年前的、甚至包含錯(cuò)誤的記憶去“閉卷考試”吧？
當(dāng)然不會(huì)！聰明的工程師們想出了一個(gè)絕妙的辦法，就是把“閉卷考試”，變成“開卷考試”！
這項(xiàng)技術(shù)，就是大名鼎鼎的檢索增強(qiáng)生成。
RAG的全稱是 Retrieval-augumented Generation。模型在回答問題前先去查文檔，在數(shù)據(jù)庫(kù)做一些索引，然后再結(jié)合查到的信息，去給用戶一些回復(fù)。
RAG 如何把“閉卷”變成“開卷”？
讓我們?cè)俅位氐娇荚嚨膱?chǎng)景：
過去（沒有RAG）：閉卷考試 你問AI：“我們公司最新的差旅報(bào)銷政策是什么？” AI“學(xué)生”只能在大腦里瘋狂搜索自己訓(xùn)練時(shí)記住的“參數(shù)記憶”。但它的知識(shí)可能停留在去年，或者壓根就沒學(xué)過你公司的內(nèi)部文件。為了不交白卷，它很可能會(huì)“腦補(bǔ)”出一個(gè)看似合理、實(shí)則過時(shí)的答案。
現(xiàn)在（有了RAG）：開卷考試 同樣的問題，但流程完全變了：
第一步（發(fā)參考書 – Retrieval）： 在AI“學(xué)生”回答之前，系統(tǒng)先根據(jù)你的問題，去一個(gè)指定的、最新的外部知識(shí)庫(kù)（比如你公司的內(nèi)部文檔數(shù)據(jù)庫(kù)）里進(jìn)行檢索（Retrieve）。它會(huì)像一個(gè)超能圖書管理員，瞬間找到所有與“差旅報(bào)銷政策”相關(guān)的文件和段落。
第二步（劃重點(diǎn) – Augmented）： 系統(tǒng)把這些新鮮、準(zhǔn)確的資料，連同你最初的問題，一起打包成一份“附有參考資料的豪華版試卷”，遞給AI“學(xué)生”。這個(gè)過程就是增強(qiáng)（Augment）。
第三步（閱讀理解 – Generation）： AI“學(xué)生”拿到這份“開卷試卷”后，它的任務(wù)就變了。它不再需要去回憶、去猜測(cè)。它的角色從一個(gè)“無(wú)所不知的萬(wàn)事通”，轉(zhuǎn)變成了一個(gè)“閱讀理解與總結(jié)大師”。它只需閱讀給定的參考資料，從中找到核心信息，然后用流暢的語(yǔ)言生成（Generate）一個(gè)簡(jiǎn)潔、準(zhǔn)確的回答。
總而言之，RAG技術(shù)，本質(zhì)上就是為我們這位博學(xué)但偶爾糊涂的“學(xué)生”，配備了一位永遠(yuǎn)在線、知識(shí)最新的“金牌圖書管理員”，讓他從“憑記憶瞎猜”的困境中解放出來，成為了一個(gè)真正能解決實(shí)際問題的得力助手。
方法五：為RAG帶上“安全帽”——設(shè)計(jì)AI幻覺檢測(cè)方案
我們前面提到，RAG技術(shù)（開卷考試）是對(duì)抗幻覺的一大利器。但任何一個(gè)經(jīng)歷過考試的人都知道，即便開卷，也可能抄錯(cuò)行、理解錯(cuò)題、甚至畫蛇添足地補(bǔ)充一些書上沒有的內(nèi)容。
AI“學(xué)生”在進(jìn)行“開卷考試”時(shí)，同樣會(huì)犯這些錯(cuò)誤。
為了解決這個(gè)“開卷也抄錯(cuò)”的難題，我們可以為這位AI“考生”，配備了一位不知疲倦、火眼金睛的“AI事實(shí)核查員”。它的核心職責(zé)，就是在AI的答案正式交卷前，進(jìn)行一次嚴(yán)格的“溯源審核”。
這個(gè)“核查員”的工作流程，主要分為三步，我以券商智能客服場(chǎng)景來舉例：
User (用戶)：我想開通創(chuàng)業(yè)板，需要滿足什么條件？
Knowledge (知識(shí)庫(kù)原文)：
【創(chuàng)業(yè)板交易權(quán)限開通規(guī)則】
- 交易經(jīng)驗(yàn)：首次開通前，需擁有24個(gè)月及以上的A股交易經(jīng)驗(yàn)。
- 資產(chǎn)要求：申請(qǐng)開通前20個(gè)交易日，證券賬戶及資金賬戶內(nèi)的日均資產(chǎn)不低于人民幣10萬(wàn)元。
- 風(fēng)險(xiǎn)測(cè)評(píng)：需完成風(fēng)險(xiǎn)承受能力測(cè)評(píng)。
Chatbot (AI客服的回答 – 存在幻覺)：
您好！開通創(chuàng)業(yè)板交易權(quán)限需要滿足幾個(gè)主要條件。根據(jù)規(guī)定，您需要有24個(gè)月以上的交易經(jīng)驗(yàn)，并且在申請(qǐng)時(shí)，您的賬戶資產(chǎn)需要達(dá)到人民幣5萬(wàn)元。完成風(fēng)險(xiǎn)測(cè)評(píng)后即可申請(qǐng)。
“AI事實(shí)核查員”的工作流程
現(xiàn)在，我們可以用幻覺檢測(cè)方案開始對(duì)AI客服的回答進(jìn)行“溯源審核”：
第一步：文本解析 (拆解)
“核查員”將AI的回答拆解為三個(gè)獨(dú)立的關(guān)鍵陳述：
陳述1：“您需要有24個(gè)月以上的交易經(jīng)驗(yàn)。”
陳述2：“您的賬戶資產(chǎn)需要達(dá)到人民幣5萬(wàn)元?！?/p>
陳述3：“您需要完成風(fēng)險(xiǎn)測(cè)評(píng)。”
第二步：信息提取 (劃重點(diǎn))
“核查員”從每個(gè)陳述中提取核心信息，形成一份“事實(shí)清單”：
【交易經(jīng)驗(yàn)】: 24個(gè)月以上
【資產(chǎn)要求】: 5萬(wàn)元
【其他要求】: 完成風(fēng)險(xiǎn)測(cè)評(píng)
第三步：風(fēng)險(xiǎn)檢測(cè) (比對(duì))
這是決定性的環(huán)節(jié)?！昂瞬閱T”拿著“事實(shí)清單”，與知識(shí)庫(kù)中的**【創(chuàng)業(yè)板交易權(quán)限開通規(guī)則】**原文進(jìn)行逐一比對(duì)：
- 比對(duì)【交易經(jīng)驗(yàn)】：AI提取為24個(gè)月以上，知識(shí)庫(kù)原文為24個(gè)月及以上。一致
- 比對(duì)【資產(chǎn)要求】：AI提取為5萬(wàn)元，知識(shí)庫(kù)原文為不低于人民幣10萬(wàn)元。嚴(yán)重沖突
- 比對(duì)【其他要求】：AI提取為完成風(fēng)險(xiǎn)測(cè)評(píng)，知識(shí)庫(kù)原文為需完成風(fēng)險(xiǎn)承受能力測(cè)評(píng)。一致
最終檢測(cè)結(jié)果 (Detection Result)：
攔截 (BLOCK)判定理由是什么呢？ 檢測(cè)到“資產(chǎn)要求”部分存在事實(shí)沖突。AI回答中的“5萬(wàn)元”與知識(shí)庫(kù)原文的“10萬(wàn)元”嚴(yán)重不符。這是一個(gè)非常關(guān)鍵的錯(cuò)誤，可能嚴(yán)重誤導(dǎo)用戶，導(dǎo)致其因信息錯(cuò)誤而無(wú)法開通權(quán)限，或引發(fā)后續(xù)的客戶投訴。因此，系統(tǒng)判定該回答為高風(fēng)險(xiǎn)內(nèi)容，必須予以攔截。
通過這個(gè)金融場(chǎng)景的案例，我們可以更清晰地看到，這套幻覺檢測(cè)方案如同一個(gè)嚴(yán)格的“合規(guī)審查員”，在AI與用戶交互的最后一環(huán)，為金融等高風(fēng)險(xiǎn)行業(yè)的信息準(zhǔn)確性提供了關(guān)鍵保障，極大地保障了AI生成內(nèi)容的安全性和可靠性。
總結(jié)
我們正處在一個(gè)AI技術(shù)浪潮的轉(zhuǎn)折點(diǎn)。
大模型（LLM）正以前所未有的速度，從實(shí)驗(yàn)室走向千萬(wàn)家企業(yè)、億萬(wàn)用戶的生產(chǎn)環(huán)境。然而，與機(jī)遇并存的，是“AI幻覺”這個(gè)潛藏的巨大風(fēng)險(xiǎn)。它已經(jīng)不再是一個(gè)遙遠(yuǎn)的學(xué)術(shù)名詞，而是懸在我們每個(gè)人頭頂?shù)默F(xiàn)實(shí)挑戰(zhàn)。
最后，讓我們回歸問題的本質(zhì)。
大語(yǔ)言模型真正厲害之處，并不在于它有朝一日能完美到從不犯錯(cuò)，而在于我們能深刻理解它為什么會(huì)犯錯(cuò)，并掌握一系列行之有效的應(yīng)對(duì)措施。
我們都希望自己的AI系統(tǒng)像在預(yù)設(shè)的軌道上一樣精準(zhǔn)運(yùn)行，而不是在關(guān)鍵時(shí)刻偏離航線十萬(wàn)八千里。要實(shí)現(xiàn)這一點(diǎn)，我給大家以下三點(diǎn)建議：
- 接受它： 幻覺是大語(yǔ)言模型最常見的問題。它不可避免，但完全可以管理。正視它的存在，是有效應(yīng)對(duì)的第一步。
- 駕馭它： 與其寄望于模型自身變得完美，不如主動(dòng)掌握一套“駕馭之術(shù)”。通過精巧的Prompt設(shè)計(jì)、合理的溫度調(diào)節(jié)、清晰的結(jié)構(gòu)化引導(dǎo)，我們就能在很大程度上將幻覺這匹“野馬”牢牢控制在安全范圍內(nèi)。
- 重塑期待： 對(duì)于一個(gè)要投入生產(chǎn)環(huán)境的系統(tǒng)而言，真正可靠的AI，其價(jià)值從來都不是一鳴驚人的“聰明”，而是始終如一的“穩(wěn)定”。我們追求的，應(yīng)該是一個(gè)能力有邊界、行為可預(yù)測(cè)、風(fēng)險(xiǎn)可控制的強(qiáng)大助手。
以上，既然看到這里，如果覺得不錯(cuò)，隨手點(diǎn)個(gè)贊和收藏吧。謝謝你的喜歡，我們，下次再見吧～
本文由 @梧桐AI 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可，禁止轉(zhuǎn)載
題圖由作者提供
該文觀點(diǎn)僅代表作者本人，人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)
- 目前還沒評(píng)論，等你發(fā)揮！
