通過模型微調(diào)優(yōu)化AI搜索/知識問答

0 評論 1355 瀏覽 3 收藏 7 分鐘

隨著人工智能技術(shù)的飛速發(fā)展,AI在搜索和知識問答領(lǐng)域的應(yīng)用越來越廣泛。然而,企業(yè)在利用AI提升客服效率時,常常面臨諸多挑戰(zhàn),如客服培訓(xùn)成本高、培訓(xùn)效果不穩(wěn)定等。本文將介紹一種通過模型微調(diào)和檢索增強生成(RAG)技術(shù)優(yōu)化AI搜索/知識問答的方案,旨在解決這些問題,提升企業(yè)客服的效率和準(zhǔn)確性。

關(guān)鍵詞:模型微調(diào)(規(guī)范回復(fù)結(jié)構(gòu))、檢索增強生成RAG(解決模型幻覺)、提示詞優(yōu)化(解決模型幻覺)

一、項目背景

很多企業(yè)都有自己的業(yè)務(wù)文件,客服人員需要進行長時間學(xué)習(xí)和培訓(xùn)才能熟悉這些文件,然后基于這些文件給客戶進行答疑。

二、用戶痛點

對于企業(yè):培訓(xùn)時間長,對企業(yè)來說成本太高;

對于客服:培訓(xùn)效果不能保證,實際業(yè)務(wù)中客服還是會遇到不熟悉的問題,無法快速專業(yè)地作答。

三、我的職責(zé)

從0-1負(fù)責(zé)知識庫項目,從產(chǎn)品方案設(shè)計-研發(fā)支持-產(chǎn)品驗收-協(xié)助運營POC。

知識問答模塊的優(yōu)化由我獨立負(fù)責(zé)方案設(shè)計與執(zhí)行,實現(xiàn)從需求分析 → 技術(shù)選型 → 模型設(shè)計 → 工具搭建 → 效果驗證的完整閉環(huán)。

四、【知識問答】設(shè)計方案BEFORE———Prompt

1.設(shè)計思路

1>編輯提示詞

2>配置大模型API

3>客服輸入問題

4>大模型總結(jié)答案

5>輸出結(jié)構(gòu)式回復(fù)

2.存在的問題

問題1:輸出結(jié)構(gòu)不穩(wěn)定

分析原因:這是由于模型的忠實性幻覺導(dǎo)致的,雖然提示詞里明確給出了回復(fù)結(jié)構(gòu)的示例,但是模型并未嚴(yán)格遵循。

解決思路:可以通過指令調(diào)優(yōu)的方式進行模型微調(diào),解決這個模型幻覺問題。

問題2:對于同一個問題,有時候回答正確,有時候回答錯誤

分析原因:這個問題也是由于模型的忠實性幻覺導(dǎo)致的,是推理過程出現(xiàn)了問題。

解決思路:可以通過優(yōu)化提示詞的方式進行處理。

問題3:一句話里包含多個問題,但是模型只回答了其中一個問題

分析原因:這是由于模型推理過程導(dǎo)致的幻覺,忽略了前面的問題,只聚焦在后面這個問題上。

解決思路:采用RAG技術(shù),將用戶問題進行重寫,讓模型清楚地理解用戶問題。

五、【知識問答】設(shè)計方案NOW——模型微調(diào)&RAG

1.方案概述

針對上述3個問題我設(shè)計了2個方案,方案一是采用模型微調(diào)技術(shù),這個方案是在dify平臺實現(xiàn)的;方案二是采用RAG技術(shù),這個方案是在coze平臺實現(xiàn)的,下面我進行詳細(xì)介紹。

2.設(shè)計思路——方案一(模型微調(diào))

此方案是基于我在dify平臺上創(chuàng)建的聊天機器人進行驗證的。

1>準(zhǔn)備模型訓(xùn)練的數(shù)據(jù)

2>模型訓(xùn)練與部署

3>總結(jié)回答

通過模型微調(diào),穩(wěn)定了回復(fù)內(nèi)容的結(jié)構(gòu),解決上述的問題1。

通過修改提示詞,新增思考路徑,讓大模型根據(jù)步驟思考后作答,回復(fù)內(nèi)容不再出錯,解決了上述的問題2。

3.設(shè)計思路——方案二(RAG)

我在coze平臺搭建了一套工作流,具體步驟如下:

1>重寫問題

2>知識庫檢索

3>基于檢索內(nèi)容進行總結(jié)回答

通過問題重寫,大模型不再遺漏用戶問題,解決了問題3。

通過提示詞優(yōu)化,告訴大模型具體的計算規(guī)則,解決了問題2。

六、成果與驗證

1.方案一(模型微調(diào))

用10組數(shù)據(jù)進行驗證后,對于微調(diào)后的模型,無論是結(jié)構(gòu)還是回復(fù)內(nèi)容均正確。

回答正確率從原來的50%提高到了100%。

2.方案二(RAG)

采用RAG技術(shù)及提示詞優(yōu)化之后,針對問題2和問題3的回答準(zhǔn)確率為100%。

七、項目總結(jié)與可遷移性

1.想要同時解決上述3個問題,需同時采用模型微調(diào)和RAG技術(shù),當(dāng)然還有提示詞優(yōu)化。

2.解決了客服問答準(zhǔn)確率問題,降低了人工成本;

3.AI系統(tǒng)的提示詞優(yōu)化價值大于技術(shù)堆棧本身;

4.此方案可推廣至金融、政務(wù)、教育等FAQ密集場景。

本文由 @breadlover 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 目前還沒評論,等你發(fā)揮!