Open AI重磅論文:不會(huì)胡說八道的大模型不是好的大模型

0 評論 306 瀏覽 0 收藏 4 分鐘

你以為AI“胡說八道”是缺陷?OpenAI最新論文卻指出:適度的“幻覺”可能是創(chuàng)造力的源泉。本文深度解讀這項(xiàng)研究背后的邏輯,重新定義我們對大模型“準(zhǔn)確性”與“有用性”的認(rèn)知邊界。

上周Open AI 發(fā)布了一個(gè)重磅論文,揭秘了AI為什么會(huì)胡說八道,AI幻覺這個(gè)問題從理論層面得到了系統(tǒng)性的解釋。這個(gè)論文可能會(huì)改變整個(gè)AI產(chǎn)品的設(shè)計(jì)思路甚至重塑整個(gè)AI模型的評測標(biāo)準(zhǔn)。

此前我們普遍認(rèn)為,隨著技術(shù)迭代(如模型參數(shù)升級、算法優(yōu)化),AI 幻覺會(huì)逐步緩解。但即便上月 GPT-5 發(fā)布,面對部分問題時(shí),AI “一本正經(jīng)說假話” 的現(xiàn)象仍未消失。而這篇論文拋出了一個(gè)顛覆認(rèn)知的核心結(jié)論:校準(zhǔn)性能優(yōu)異的大模型,必然伴隨幻覺;完全 “不胡說八道” 的模型,反而存在校準(zhǔn)缺陷 —— 從技術(shù)層面看,這類模型并非優(yōu)質(zhì)大模型

為什么說不會(huì)胡說八道的模型不是好的模型,背后的原因也很簡單:就是AI大模型在訓(xùn)練他的過程中就是鼓勵(lì)它去猜測鼓勵(lì)它去推理胡說八道,而不是讓它承認(rèn)它不知道它有些東西不確定。所以這壓根不是一個(gè)技術(shù)的問題,而是一個(gè)系統(tǒng)性的問題,你技術(shù)越好這個(gè)AI大模型就越善于猜測,它就越有可能給一個(gè)胡說八道的答案。是它的訓(xùn)練方式中的評分淘汰機(jī)制,這就決定了如果它不胡說八道,就像一個(gè)學(xué)生寫試卷,如果它不寫就是零分,但是它寫了它還可能得到點(diǎn)分?jǐn)?shù),不然它就是要被人類打分后淘汰的。

所以如果這個(gè)AI的訓(xùn)練方式改變了,那么可能以后我們再問他答案它會(huì)直接告訴我們不知道,而不是強(qiáng)行捏造出來一個(gè)答案。根據(jù)論文里的信息給大家?guī)讉€(gè)建議,在新的AI到來之前可以更好的訓(xùn)練AI,盡可能的降低AI的幻覺率,不讓他胡說八道。

這幾個(gè)建議可以添加到你給大模型的prompt的最后,作為減少幻覺的提示詞優(yōu)化:

1.只有在你非常確定這件事的情況下,才會(huì)告訴我這個(gè)信息,否則直接告訴我你不知道。(你問的時(shí)間,地點(diǎn),人物等)

2.如果你知道的話你就告訴我,如果你的信息來源不是很可靠那你可以把信息來源告訴我,并且告訴我可靠程度是多少?

3.(在你給AI一個(gè)不可靠的回答的時(shí)候)你對當(dāng)前問題的答案進(jìn)行可行度評級:如實(shí)告訴我你對這個(gè)答案是非常確定,比較確定,不太確定還是基本靠猜測。

4.這個(gè)數(shù)據(jù)在你的訓(xùn)練數(shù)據(jù)中出現(xiàn)過幾次?如實(shí)告訴我。

5.采用分層回答形式:將 “高度確定的信息” 與 “不確定的信息” 明確拆分呈現(xiàn),避免混為一談。

6.相比于提供可能出錯(cuò)的答案,我更希望你在面對不確定信息時(shí),直接告知 “不知道”。

本文由 @吳叉叉 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!