AI產(chǎn)品經(jīng)理之怎么做 RAG 的 query 改寫(xiě)

0 評(píng)論 1722 瀏覽 3 收藏 17 分鐘

在RAG系統(tǒng)中,Query改寫(xiě)不是錦上添花,而是決定檢索效果的關(guān)鍵變量。本篇文章將從AI產(chǎn)品經(jīng)理視角出發(fā),拆解Query改寫(xiě)的核心邏輯與落地路徑,幫助你理解如何通過(guò)“意圖重構(gòu)”提升召回質(zhì)量,構(gòu)建更智能、更精準(zhǔn)的AI問(wèn)答系統(tǒng)。

一、RAG 中的 query 改寫(xiě):為何至關(guān)重要?

在當(dāng)今的人工智能領(lǐng)域,檢索增強(qiáng)生成(RAG)技術(shù)正逐漸嶄露頭角,成為解決信息獲取與生成難題的有力工具。想象一下,用戶向一個(gè)基于 RAG 的系統(tǒng)提出問(wèn)題,系統(tǒng)需要從海量的文檔數(shù)據(jù)中迅速檢索出相關(guān)信息,并生成準(zhǔn)確、有用的回答。這一過(guò)程看似簡(jiǎn)單,實(shí)則暗藏玄機(jī),而 query 改寫(xiě)則是其中的關(guān)鍵一環(huán),猶如精密儀器中的核心齒輪,雖小卻起著決定性作用。

用戶的提問(wèn)方式千差萬(wàn)別,往往帶有口語(yǔ)化、模糊性甚至信息缺失等問(wèn)題。比如,用戶可能會(huì)問(wèn) “那個(gè)新出的電子產(chǎn)品咋樣”,這樣的問(wèn)題對(duì)于 RAG 系統(tǒng)來(lái)說(shuō),就像一團(tuán)迷霧,難以精準(zhǔn)定位到用戶真正關(guān)心的產(chǎn)品以及具體評(píng)價(jià)維度。這種情況下,直接使用原始 query 進(jìn)行檢索,很可能得到的是大量不相關(guān)或泛泛而談的結(jié)果,無(wú)法滿足用戶的需求。query 改寫(xiě)的首要任務(wù)就是 “撥云見(jiàn)日”,將用戶模糊不清的問(wèn)題轉(zhuǎn)化為清晰、明確且能準(zhǔn)確命中目標(biāo)信息的查詢語(yǔ)句。

從提升系統(tǒng)性能的角度來(lái)看,query 改寫(xiě)能顯著增強(qiáng) RAG 系統(tǒng)的魯棒性和擴(kuò)展性。當(dāng)系統(tǒng)能夠理解并處理各種形式的用戶輸入時(shí),它就能應(yīng)對(duì)更廣泛的應(yīng)用場(chǎng)景,服務(wù)更多類型的用戶。在電商領(lǐng)域,用戶可能用不同表述詢問(wèn)某款商品的特性,良好的 query 改寫(xiě)機(jī)制可確保系統(tǒng)都能給出精準(zhǔn)解答,提升用戶購(gòu)物體驗(yàn);在醫(yī)療咨詢場(chǎng)景中,患者描述癥狀的方式多樣,query 改寫(xiě)幫助系統(tǒng)準(zhǔn)確理解病情并提供專業(yè)建議,這對(duì)于醫(yī)療輔助決策的準(zhǔn)確性至關(guān)重要。

這里要專門(mén)講下什么是魯棒性,簡(jiǎn)單來(lái)說(shuō)這個(gè)詞是從工程領(lǐng)域延伸來(lái)的概念,核心意思是系統(tǒng)在遇到干擾、異常情況時(shí),依然能保持穩(wěn)定工作、不出錯(cuò)或少出錯(cuò)的能力,就像一個(gè)人在復(fù)雜環(huán)境里,還能順利完成自己的事,不容易掉鏈子。

放在 RAG 系統(tǒng)里,這個(gè)概念很好理解。比如用戶提問(wèn)時(shí)可能出現(xiàn)各種不符合標(biāo)準(zhǔn)的情況:像輸入口語(yǔ)化的 “AI 咋幫我寫(xiě)報(bào)告”,或者漏了關(guān)鍵信息(只說(shuō) “推薦好手機(jī)”,沒(méi)提預(yù)算、用途),甚至打錯(cuò)字(把 “Python” 寫(xiě)成 “Pytho”)。如果系統(tǒng)魯棒性強(qiáng),就能應(yīng)對(duì)這些問(wèn)題 —— 通過(guò) query 改寫(xiě)補(bǔ)全信息、修正理解偏差,依然能精準(zhǔn)檢索到有用內(nèi)容;但如果魯棒性弱,遇到這類不規(guī)范輸入就會(huì) “懵掉”,要么返回不相關(guān)結(jié)果,要么直接無(wú)法生成有效回答。

講完了魯棒性,繼續(xù)聊query改寫(xiě),從本質(zhì)上講它是一座橋梁,連接著用戶自然語(yǔ)言表達(dá)與 RAG 系統(tǒng)高效檢索機(jī)制。通過(guò)改寫(xiě),系統(tǒng)得以深入理解用戶意圖,進(jìn)而在信息的海洋中精準(zhǔn)捕撈所需內(nèi)容,為生成高質(zhì)量回答奠定堅(jiān)實(shí)基礎(chǔ)。

二、策略剖析:Query 改寫(xiě)的不同用法

2.1 精準(zhǔn)聚焦:Query 重寫(xiě)(Query Rewriting)

Query 重寫(xiě)對(duì)用戶原始 query 進(jìn)行細(xì)致打磨,使其更具體、專業(yè)、精準(zhǔn)。比如,用戶問(wèn) “AI 對(duì)就業(yè)有啥影響”,這是一個(gè)較為寬泛、籠統(tǒng)的問(wèn)題。經(jīng)過(guò) Query 重寫(xiě)后,可能變?yōu)?“人工智能(AI)在當(dāng)前及未來(lái)發(fā)展過(guò)程中,對(duì)就業(yè)自動(dòng)化產(chǎn)生何種影響,具體涉及哪些崗位最容易被替代,在 AI 時(shí)代人們需要掌握哪些新技能以適應(yīng)變化,AI 的發(fā)展對(duì)失業(yè)率和社會(huì)保障體系帶來(lái)怎樣的沖擊,以及對(duì)零工經(jīng)濟(jì)又有哪些影響”。

從原理上看,Query 重寫(xiě)旨在通過(guò)補(bǔ)充關(guān)鍵信息、細(xì)化問(wèn)題維度,引導(dǎo) RAG 系統(tǒng)進(jìn)行更有針對(duì)性的檢索。

在實(shí)際應(yīng)用場(chǎng)景中,如學(xué)術(shù)研究領(lǐng)域,學(xué)者可能輸入 “關(guān)于新能源材料的研究” 這樣寬泛的 query。重寫(xiě)后可能為 “當(dāng)前新能源材料研究中,在提升電池能量密度方面有哪些新型材料被重點(diǎn)研究,其合成方法、性能優(yōu)勢(shì)及面臨的技術(shù)瓶頸分別是什么;在太陽(yáng)能轉(zhuǎn)化效率提升方面,相關(guān)新型半導(dǎo)體材料的研究進(jìn)展如何,包括其晶體結(jié)構(gòu)、光電轉(zhuǎn)換機(jī)制及產(chǎn)業(yè)化前景等”。如此一來(lái),系統(tǒng)檢索到的文獻(xiàn)資料將更貼合學(xué)者深入研究的需求,極大提高信息獲取的準(zhǔn)確性和效率。

2.2 俯瞰全局:Step-back Prompting

有時(shí),用戶的問(wèn)題過(guò)于聚焦局部細(xì)節(jié),導(dǎo)致 RAG 系統(tǒng)檢索時(shí)視野受限,難以獲取全面、有價(jià)值的信息。Step-back Prompting 策略便應(yīng)運(yùn)而生,它如同站在山頂俯瞰全局,將具體問(wèn)題 “放大”,獲取更廣闊的背景信息。例如,用戶詢問(wèn) “某款手機(jī)的快充技術(shù)原理”,這是一個(gè)非常具體的問(wèn)題。運(yùn)用 Step-back Prompting 后,問(wèn)題可能變?yōu)?“當(dāng)前智能手機(jī)充電技術(shù)的發(fā)展趨勢(shì),包括不同充電方式(如有線快充、無(wú)線快充等)的原理、優(yōu)勢(shì)、技術(shù)演進(jìn)歷程,以及這些技術(shù)對(duì)手機(jī)電池壽命、安全性等方面的影響,某款手機(jī)所采用的快充技術(shù)在整個(gè)行業(yè)中的地位和特點(diǎn)”。

該策略的原理是基于對(duì)問(wèn)題關(guān)聯(lián)性的理解,許多具體問(wèn)題在更宏觀的背景下才能得到更全面、深入的解答。

在商業(yè)分析場(chǎng)景中,企業(yè)關(guān)注某一產(chǎn)品在特定地區(qū)的季度銷售下滑原因。若直接以 “某產(chǎn)品在某地區(qū)本季度銷售下滑原因” 進(jìn)行檢索,可能僅得到一些表面的、局部的因素。而通過(guò) Step-back Prompting,將問(wèn)題變?yōu)?“當(dāng)前行業(yè)市場(chǎng)趨勢(shì)下,影響產(chǎn)品銷售的主要因素有哪些,包括消費(fèi)者需求變化、競(jìng)爭(zhēng)對(duì)手策略調(diào)整、宏觀經(jīng)濟(jì)環(huán)境波動(dòng)等方面;該產(chǎn)品所在品類在各地區(qū)的銷售表現(xiàn)及趨勢(shì)對(duì)比;某地區(qū)的市場(chǎng)特點(diǎn)、消費(fèi)者偏好以及可能影響該產(chǎn)品銷售的地區(qū)性因素等”。這樣,企業(yè)能從更全面的視角分析銷售問(wèn)題,制定更有效的應(yīng)對(duì)策略。

2.3 化整為零:Sub-query Decomposition

復(fù)雜問(wèn)題常常像一團(tuán)亂麻,包含多個(gè)子問(wèn)題和不同層面的信息。Sub-query Decomposition 策略就是那把解開(kāi)亂麻的 “剪刀”,將 “大而全” 的復(fù)雜問(wèn)題拆分成若干 “小而精” 的子問(wèn)題,各個(gè)擊破,最后再將子問(wèn)題的答案整合起來(lái),形成對(duì)原始復(fù)雜問(wèn)題的完整解答。比如,用戶提問(wèn) “對(duì)比 Python 和 Java 在人工智能開(kāi)發(fā)中的應(yīng)用,包括開(kāi)發(fā)效率、算法實(shí)現(xiàn)難度、框架支持情況以及社區(qū)資源豐富度”,這是一個(gè)相當(dāng)復(fù)雜的問(wèn)題。運(yùn)用 Sub-query Decomposition 后,可拆分為以下子問(wèn)題:“Python 在人工智能開(kāi)發(fā)中的開(kāi)發(fā)效率如何”“Python 在實(shí)現(xiàn)常見(jiàn)人工智能算法時(shí)難度怎樣”“Python 有哪些主流的人工智能開(kāi)發(fā)框架,它們的特點(diǎn)和優(yōu)勢(shì)是什么”“Python 的人工智能開(kāi)發(fā)者社區(qū)資源豐富程度如何,體現(xiàn)在哪些方面”“Java 在人工智能開(kāi)發(fā)中的開(kāi)發(fā)效率與 Python 相比有何不同”……

這種策略利用了問(wèn)題的可分解性,將復(fù)雜問(wèn)題簡(jiǎn)化為一系列易于處理的子問(wèn)題,使 RAG 系統(tǒng)能夠針對(duì)每個(gè)子問(wèn)題進(jìn)行精準(zhǔn)檢索,避免信息混淆。

在法律領(lǐng)域,當(dāng)面對(duì) “某一復(fù)雜商業(yè)合同糾紛涉及哪些法律條款,各方責(zé)任如何界定,過(guò)往類似案例的判決結(jié)果及對(duì)本次糾紛的參考意義” 這樣的復(fù)雜問(wèn)題時(shí),通過(guò) Sub-query Decomposition 拆分成子問(wèn)題,如 “該商業(yè)合同涉及的主要法律條款有哪些,分別如何解讀”“合同各方在此次糾紛中的具體行為表現(xiàn),依據(jù)法律應(yīng)如何界定責(zé)任”“過(guò)往三年內(nèi)類似商業(yè)合同糾紛案例有哪些,其判決依據(jù)和結(jié)果是什么” 等。律師或法務(wù)人員利用 RAG 系統(tǒng)對(duì)這些子問(wèn)題進(jìn)行檢索分析,能更高效、準(zhǔn)確地處理案件,為客戶提供有力的法律支持。

三、技術(shù)實(shí)現(xiàn)是搭建 query 改寫(xiě)的技術(shù)基石

3.1 與向量數(shù)據(jù)庫(kù)的協(xié)同

在說(shuō)向量數(shù)據(jù)庫(kù)之前我先講下什么是向量。簡(jiǎn)單說(shuō),向量就是把文字和圖片等信息變成一串?dāng)?shù)字,讓計(jì)算機(jī)能看懂并比較。

比如蘋(píng)果這個(gè)詞,大家都知道它是紅色、圓形、能吃的水果,但計(jì)算機(jī)沒(méi)法直接理解文字含義。向量就像給蘋(píng)果拍了張數(shù)字身份證,比如[0.2, 0.8, -0.3, 1.1],這里的0.8 可能對(duì)應(yīng)水果屬性,1.1 對(duì)應(yīng)可食用屬性。而且,含義越像的內(nèi)容,向量數(shù)字串越接近,蘋(píng)果和梨的向量會(huì)比蘋(píng)果和汽車的向量更像。

在 RAG 里,向量的作用很關(guān)鍵:用戶的 query是文字,文檔也是文字,得先把它們都轉(zhuǎn)成向量,這一步也叫做嵌入,計(jì)算機(jī)才能通過(guò)對(duì)比向量的相似度,找到和 query 最相關(guān)的文檔。比如改寫(xiě)后的 query【拍照好的手機(jī)推薦】轉(zhuǎn)成向量后,計(jì)算機(jī)就去比對(duì)所有手機(jī)文檔的向量,挑出相似度最高的,也就是最符合【拍照好】需求的。

而向量數(shù)據(jù)庫(kù),就是專門(mén)用來(lái)儲(chǔ)存這些向量、快速找相似向量的工具。你可以把它想象成一個(gè)智能收納柜:普通數(shù)據(jù)庫(kù)存的是文字、表格,而這個(gè)柜子里放的全是 “向量數(shù)字串”。它的厲害之處在于,當(dāng)你扔進(jìn)去一個(gè) query 向量,它能在百萬(wàn)、千萬(wàn)個(gè)向量里,瞬間找出最像的那些 —— 比普通數(shù)據(jù)庫(kù)找相似內(nèi)容快幾十甚至幾百倍。

舉個(gè) RAG 場(chǎng)景的例子:某電商 RAG 系統(tǒng)里,存了 10 萬(wàn)款手機(jī)的文檔向量。當(dāng)用戶 query 【拍照好的手機(jī)】 改寫(xiě)后轉(zhuǎn)成向量,向量數(shù)據(jù)庫(kù)會(huì)用專門(mén)的算法,1 秒內(nèi)從 10 萬(wàn)向量里找出 “拍照屬性” 得分最高的 20 個(gè)向量,再對(duì)應(yīng)回手機(jī)文檔,最后生成推薦結(jié)果。如果不用向量數(shù)據(jù)庫(kù),普通數(shù)據(jù)庫(kù)逐行比對(duì)文字,可能要幾秒甚至幾分鐘,用戶早就沒(méi)耐心了。

向量數(shù)據(jù)庫(kù)在 RAG 系統(tǒng)中承擔(dān)著存儲(chǔ)和檢索文檔向量的重要職責(zé),而 query 改寫(xiě)后的結(jié)果需要與向量數(shù)據(jù)庫(kù)緊密協(xié)同,才能實(shí)現(xiàn)高效的信息檢索。當(dāng) query 經(jīng)過(guò)改寫(xiě)后,首先要將其轉(zhuǎn)換為與向量數(shù)據(jù)庫(kù)中文檔向量相匹配的向量表示形式。這通常借助嵌入模型(embedding model)來(lái)完成,嵌入模型會(huì)將文本 query 映射為高維向量空間中的一個(gè)向量,這個(gè)向量蘊(yùn)含了 query 的語(yǔ)義信息。例如,常見(jiàn)的 BERT 模型就可以作為嵌入模型,將改寫(xiě)后的 query 轉(zhuǎn)換為向量。向量數(shù)據(jù)庫(kù)接收到 query 向量后,會(huì)通過(guò)相似度計(jì)算算法(如余弦相似度),在存儲(chǔ)的海量文檔向量中查找與 query 向量最為相似的文檔向量,從而檢索出相關(guān)文檔。

在實(shí)際應(yīng)用中,為了提高檢索效率和準(zhǔn)確性,還可以采用一些優(yōu)化技術(shù)??梢詫?duì)向量數(shù)據(jù)庫(kù)進(jìn)行分區(qū)索引,將文檔向量按照一定規(guī)則劃分到不同的分區(qū)中,這樣在檢索時(shí)能夠縮小搜索范圍,快速定位相關(guān)文檔;還可以結(jié)合倒排索引等傳統(tǒng)索引技術(shù),與向量檢索相互補(bǔ)充,進(jìn)一步提升檢索性能。在一個(gè)包含大量新聞文檔的向量數(shù)據(jù)庫(kù)中,對(duì)于經(jīng)過(guò)改寫(xiě)后的關(guān)于 “近期科技領(lǐng)域重大突破” 的 query 向量,通過(guò)分區(qū)索引和倒排索引相結(jié)合的方式,能夠快速?gòu)暮A课臋n中檢索出與之相關(guān)的新聞報(bào)道,為后續(xù)的答案生成提供豐富的信息源。

五、query 改寫(xiě)的無(wú)限可能

在 RAG 技術(shù)體系中,query 改寫(xiě)無(wú)疑是提升系統(tǒng)性能、優(yōu)化用戶體驗(yàn)的關(guān)鍵環(huán)節(jié)。通過(guò) Query 重寫(xiě)、Step-back Prompting 和 Sub-query Decomposition 等多種策略,我們能夠?qū)⒂脩羟Р钊f(wàn)別的原始 query 轉(zhuǎn)化為更適合 RAG 系統(tǒng)檢索與處理的形式,從而從海量信息中精準(zhǔn)獲取有價(jià)值的內(nèi)容,為生成高質(zhì)量回答奠定堅(jiān)實(shí)基礎(chǔ)。在技術(shù)實(shí)現(xiàn)層面,大模型的強(qiáng)大能力與向量數(shù)據(jù)庫(kù)的高效協(xié)同,為 query 改寫(xiě)提供了有力的技術(shù)支撐,使其能夠在實(shí)際應(yīng)用中發(fā)揮巨大作用。無(wú)論是電商領(lǐng)域的精準(zhǔn)導(dǎo)購(gòu),還是醫(yī)療健康領(lǐng)域的輔助診斷與咨詢,query 改寫(xiě)都展現(xiàn)出了卓越的應(yīng)用價(jià)值。

本文由@為了罐罐 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自 Unsplash,基于CC0協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!