AI產(chǎn)品經(jīng)理必修課:意圖識(shí)別(1)
在人工智能領(lǐng)域,意圖識(shí)別是AI產(chǎn)品設(shè)計(jì)中至關(guān)重要的一環(huán),它直接影響到用戶體驗(yàn)和產(chǎn)品功能的實(shí)現(xiàn)。本文將為你深入剖析意圖識(shí)別的關(guān)鍵要素,從其發(fā)展歷程、應(yīng)用場(chǎng)景到構(gòu)建意圖體系的具體方法。
1. 引言
在前面的 4 篇文章里,我們首先鋪墊了AI產(chǎn)品經(jīng)理最重要的基石——AI 產(chǎn)品四層架構(gòu) (用戶層、應(yīng)用層、模型層、基礎(chǔ)設(shè)施層),接著由淺入深的闡述了 RAG技術(shù) (檢索增強(qiáng)生成) ,包括:
RAG 如何影響模型的內(nèi)容生成 (離線數(shù)據(jù)構(gòu)建+檢索增強(qiáng)生成)
影響模型應(yīng)用效果的 4 大因素 (基座模型、模型微調(diào)、RAG、用戶體驗(yàn)設(shè)計(jì))
RAG Pipeline 的編排 (數(shù)據(jù)提取方案、文本分塊策略、常見索引結(jié)構(gòu)、增強(qiáng)提示詞設(shè)計(jì))
RAG 能夠幫助模型檢索到更精準(zhǔn)的外部知識(shí),據(jù)此生成給一個(gè)高質(zhì)量的回答返回給用戶,但如果模型沒有正確識(shí)別用戶的意圖,再好的檢索與生成也難以達(dá)成預(yù)期效果。
所以,在 RAG 之前還有一個(gè)前置步驟——意圖識(shí)別。經(jīng)過用戶輸入、改寫 query,意圖識(shí)別就會(huì)引導(dǎo)系統(tǒng)路由到對(duì)應(yīng)的處理模塊,可以是知識(shí)檢索,也可以導(dǎo)向工具調(diào)用。
比如,當(dāng)你詢問淘寶小二”我買的T恤什么時(shí)候發(fā)貨”時(shí),系統(tǒng)能夠精準(zhǔn)識(shí)別這是一個(gè)物流查詢意圖,自動(dòng)調(diào)取訂單系統(tǒng)的數(shù)據(jù),查詢?cè)撚脩糇罱?gòu)買的T恤訂單,返回預(yù)計(jì)發(fā)貨時(shí)間。而當(dāng)你抱怨”這個(gè)衣服跟圖片上的色差好大”時(shí),系統(tǒng)則識(shí)別為售后投訴意圖,自動(dòng)觸發(fā)下一步的處理流程,轉(zhuǎn)人工客服或啟動(dòng)退換貨流程。
不只是智能客服這個(gè)相對(duì)成熟的場(chǎng)景,意圖識(shí)別在物聯(lián)網(wǎng)、金融和醫(yī)療領(lǐng)域也有所應(yīng)用。
- 在智能家居場(chǎng)景中,用戶晚上十點(diǎn)對(duì)智能音箱說”我好冷”,系統(tǒng)不僅要理解冷的字面含義,更要識(shí)別出用戶的真實(shí)意圖——希望提高室內(nèi)溫度,進(jìn)而觸發(fā)相應(yīng)的功能——打開空調(diào)暖氣。
- 在醫(yī)療場(chǎng)景中,當(dāng)患者描述”咳嗽發(fā)燒三天,喉嚨很痛”時(shí),系統(tǒng)需要識(shí)別這可能是呼吸道感染相關(guān)的就診意圖,并推薦掛號(hào)呼吸內(nèi)科或發(fā)熱門診。這要求系統(tǒng)不僅要理解自然語(yǔ)言,還要具備一定的醫(yī)學(xué)知識(shí)。
- 在金融領(lǐng)域里,用戶說”我想了解一下理財(cái)產(chǎn)品”,系統(tǒng)需要識(shí)別這可能是投資咨詢意圖,并根據(jù)用戶的風(fēng)險(xiǎn)偏好、資金量等信息,推薦合適的產(chǎn)品。
這些應(yīng)用場(chǎng)景都依賴于意圖識(shí)別系統(tǒng)的三個(gè)關(guān)鍵能力:
a) 領(lǐng)域知識(shí)的儲(chǔ)備——系統(tǒng)需要理解特定領(lǐng)域的專業(yè)術(shù)語(yǔ)、業(yè)務(wù)流轉(zhuǎn)的邏輯。
b) 信息的綜合判斷——結(jié)合對(duì)話歷史、用戶信息、實(shí)時(shí)信息等挖掘用戶當(dāng)前的真實(shí)意圖。
c) 動(dòng)態(tài)適應(yīng)的能力——根據(jù)上下文主動(dòng)進(jìn)行調(diào)整(涉及多輪對(duì)話,比如用戶意圖發(fā)生轉(zhuǎn)變時(shí),系統(tǒng)能夠立即調(diào)整響應(yīng)策略)。
2. 為什么要做意圖識(shí)別?
意圖識(shí)別的發(fā)展經(jīng)歷了從固定規(guī)則匹配到深度語(yǔ)義理解的演變。
早期的規(guī)則時(shí)代就像打造一本對(duì)話詞典來實(shí)現(xiàn)你問我答。技術(shù)人員需要預(yù)先編寫大量的模板和規(guī)則,試圖覆蓋用戶所有可能的表達(dá)方式。這種方法擅長(zhǎng)處理結(jié)構(gòu)化、規(guī)范化的輸入,但局限性也很明顯——人類語(yǔ)言的多樣性永遠(yuǎn)無(wú)法被規(guī)則所窮盡。比如,你提前編寫了”放首歌”屬于”播放音樂”的意圖,如果用戶說”放下杰倫的歌”這種沒有編寫的規(guī)則,就無(wú)法被識(shí)別。
統(tǒng)計(jì)學(xué)習(xí)方法的突破不再依賴人工編寫的規(guī)則,從死記硬背轉(zhuǎn)向了模式學(xué)習(xí):通過大量標(biāo)注數(shù)據(jù)來學(xué)習(xí)不同表達(dá)方式與對(duì)應(yīng)意圖之間的關(guān)系。簡(jiǎn)單說,就是讓機(jī)器學(xué)習(xí)大量正確的 case 來總結(jié)規(guī)律,而不需要人為地把所有可能性都告訴它。
標(biāo)注指的是為原始數(shù)據(jù)添加標(biāo)簽或注釋,以便機(jī)器學(xué)習(xí)模型理解這些數(shù)據(jù)。對(duì)于意圖識(shí)別來說,涉及意圖、槽位、實(shí)體的標(biāo)注 (意圖就是用戶的需求,槽位就是關(guān)鍵的字段,實(shí)體就是槽位上的信息),最常見的就是喂給文本分類模型大量的用戶 query,并標(biāo)注這些話的意圖。當(dāng)用戶輸入時(shí),用訓(xùn)練好的模型來預(yù)測(cè)其最可能的意圖類別。
比如模型學(xué)習(xí)過”想聽、要聽、來首、放首”等詞語(yǔ)與”播放音樂”這個(gè)意圖相關(guān),即使你沒有明確告訴過它“我想來一首周杰倫的”也屬于“我想聽歌”,它也也可能根據(jù)它學(xué)到的模式進(jìn)行判斷。但是,雖然統(tǒng)計(jì)學(xué)習(xí)方法不需要人手動(dòng)編寫所有規(guī)則,但它本質(zhì)還是表面的模式匹配,無(wú)法真正理解句子的含義。
深度學(xué)習(xí)時(shí)代的到來標(biāo)志著意圖識(shí)別進(jìn)入了語(yǔ)義理解的新階段。基于Transformer架構(gòu)的大語(yǔ)言模型(如BERT) 就像語(yǔ)境理解器,能夠捕捉詞語(yǔ)在不同上下文中的細(xì)微含義差異,實(shí)現(xiàn)了對(duì)復(fù)雜、模糊表達(dá)的準(zhǔn)確理解。
僅需設(shè)計(jì)一個(gè)系統(tǒng) Prompt,將用戶輸入與所有意圖描述一并發(fā)送給 LLM,由 LLM 直接判斷最佳匹配意圖。無(wú)需訓(xùn)練數(shù)據(jù),迭代速度極快,新增意圖只需在 Prompt 工具列表中添加相應(yīng)描述,顯著提升了靈活性。
3. 什么是意圖體系?
意圖識(shí)別是一個(gè)基于意圖模型的初始分類器,它的整一個(gè)流程是用戶查詢、query 改寫、意圖識(shí)別、工具和服務(wù)的調(diào)度。
- 用戶查詢:就是用戶在對(duì)話框里的輸入。
- query改寫:對(duì)用戶的原始查詢進(jìn)行改寫,提高模型輸出的準(zhǔn)確率。比如,用戶在生活服務(wù)類app的AI對(duì)話系統(tǒng)里輸入”深圳灣今晚的房”,實(shí)際上用戶需要的是”提前訂一個(gè)今晚的在深圳灣附近的酒店”。
- 意圖識(shí)別:通過改寫query與不同意圖的相關(guān)性打分,將意圖分類到對(duì)應(yīng)的工具和服務(wù),從而滿足用戶的需求。比如,與剛剛的query相關(guān)性最高的是酒店查詢,所以它就歸到酒店查詢這個(gè)意圖。query里有很多槽位,”今天”就是時(shí)間槽位里的實(shí)體,”深圳灣”就是地點(diǎn)槽位的實(shí)體。當(dāng)然也還有其他的意圖,包括美食團(tuán)購(gòu)、火車票查詢、家政服務(wù)、兼職接單等等。
- 工具調(diào)度:將實(shí)體填充到對(duì)應(yīng)的工具和服務(wù)里,承接下一步的動(dòng)作。
一套完整的意圖體系是意圖識(shí)別的基石,支撐意圖識(shí)別的運(yùn)轉(zhuǎn),它包含幾個(gè)重要的組成部分:
意圖名稱:通常來說是”動(dòng)作+名詞”的動(dòng)賓結(jié)構(gòu),同時(shí)保證簡(jiǎn)潔易懂、沒有歧義,比如加入購(gòu)物車、搜索寶貝、投訴商家等等。
意圖描述:對(duì)每個(gè)功能的完善的定義,盡可能覆蓋到用戶所有可能涉及的用途和場(chǎng)景的關(guān)鍵詞,可以顯著提高”LLM+Prompt”策略的意圖識(shí)別的召回率與準(zhǔn)確率。
典型 case:通過收集并分析常見的用戶 query 以及 bad case,來進(jìn)一步完善意圖描述。通常來說,用戶 query 分為直接詢問和模糊表達(dá),如果設(shè)置提問示例需要覆蓋到這兩種場(chǎng)景。
意圖關(guān)系 (一般適用于用戶意圖或產(chǎn)品功能較為復(fù)雜的情況)
1)意圖層級(jí)
意圖層級(jí)通常是2-4個(gè)層級(jí)。
一級(jí)意圖:業(yè)務(wù)大類,對(duì)應(yīng)核心功能模塊。
二級(jí)意圖:一級(jí)大類下的細(xì)分場(chǎng)景。
三級(jí)意圖:細(xì)分場(chǎng)景下對(duì)應(yīng)的功能。
四級(jí)意圖:某功能內(nèi)更具體的動(dòng)作。
意圖層級(jí)舉個(gè)例子,比如在電商 AI 生圖工具的產(chǎn)品里:
一級(jí)意圖:電商生圖工具里有”模特圖、商品圖、素材生成”。
二級(jí)意圖:素材生成下有”POD 素材、場(chǎng)景素材、圖片處理”。
三級(jí)意圖:圖片處理下有”智能修圖、局部消除、智能擴(kuò)圖、高清放大、批量生圖”。
四級(jí)意圖:批量生圖下有”批量圖片翻譯、批量智能擴(kuò)圖、批量高清放大、批量場(chǎng)景裂變”。
2)意圖邊界
就是需要在意圖描述里明確,該意圖包含什么和排除什么,避免與其他意圖混淆。
意圖邊界舉個(gè)例子,比如在修圖場(chǎng)景里,局部消除、消除文字、局部重繪,為了避免這三個(gè)意圖的混淆,就需要在意圖描述內(nèi)明確各自的邊界。
a)局部消除:可去除圖片中指定內(nèi)容,同時(shí)能自動(dòng)修補(bǔ)周圍紋理和色彩,效果自然無(wú)痕 (側(cè)重于無(wú)痕的消除圖片內(nèi)局部的元素)。
b)消除文字:一鍵消除圖片中的文字或水印,最多處理100張圖片 (側(cè)重于消除圖片內(nèi)所有的文字或水印)。
c)局部重繪:輸入文字進(jìn)行指定,對(duì)圖片的指定區(qū)域進(jìn)行更改或修復(fù),支持各類商品圖片 (側(cè)重于對(duì)圖片內(nèi)部分區(qū)域的重新繪制)。
比如:我要去掉圖片里的水印=消除文字,重新畫一下左下角的貓=局部重繪,抹掉書桌子上的馬克杯=局部消除。
承接動(dòng)作:根據(jù)意圖路由到的具體工具或服務(wù),確保整個(gè)查詢到響應(yīng)的一個(gè)閉環(huán)。
兜底意圖:用戶所有的query都應(yīng)該有對(duì)應(yīng)的動(dòng)作,保證用戶的體驗(yàn)。如果 query什么意圖都沒有命中,那么就需要有一個(gè)兜底的意圖。比如生活服務(wù)類的產(chǎn)品,它的意圖模型整體的兜底意圖就可以是轉(zhuǎn)人工。
本文由 @黃曉澤 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!