搭建AI產(chǎn)品的完整指南
AI產(chǎn)品不是“調(diào)模型”那么簡單,而是一套完整的產(chǎn)品工程體系。本文從需求識別、能力規(guī)劃、架構(gòu)設(shè)計到Agent調(diào)度,系統(tǒng)梳理AI產(chǎn)品的搭建路徑,幫助產(chǎn)品人構(gòu)建具備落地能力與擴展性的智能產(chǎn)品。
2025年,各種AI相關(guān)報告、新聞、應(yīng)用、投資席卷了各大平臺新聞,各種概念、專業(yè)名詞成了通用名詞。
面對日益復(fù)雜的用戶需求、數(shù)據(jù)驅(qū)動的競爭環(huán)境和技術(shù)紅利窗口期的縮緊,構(gòu)建能夠自主推理、交互和決策的AI產(chǎn)品已成為企業(yè)構(gòu)建差異化優(yōu)勢的必然選擇,本文將講解如何搭建一個AI產(chǎn)品。
搭建AI應(yīng)用
產(chǎn)品職能-從“功能設(shè)計”到“智能賦能”
在從傳統(tǒng)互聯(lián)網(wǎng)到AI,產(chǎn)品搭建的流程以及產(chǎn)品的職能發(fā)生了轉(zhuǎn)變,產(chǎn)品不僅要“滿足需求”,更要“理解意圖”、“生成價值”與“持續(xù)演化”。
傳統(tǒng)互聯(lián)網(wǎng)的產(chǎn)品經(jīng)理,通過調(diào)研完用戶需求,輸出產(chǎn)品方案,最終輸出PRD文檔交付給研發(fā)實現(xiàn)。產(chǎn)品需要關(guān)注項目進度以及上線后的業(yè)務(wù)數(shù)據(jù)反饋。
AI時代,產(chǎn)品不僅需要描述業(yè)務(wù)需求,還需要參與AI實現(xiàn),包括大模型技術(shù)調(diào)研、提示詞工程設(shè)計、AI工作流搭建、相關(guān)工具梳理等。通過與算法工程師調(diào)整完模型后,再跟研發(fā)工程師對接,交付完整的AI產(chǎn)品能力。
搭建Agent
Agent核心組成:推理、Memory、Tools
推理
通常,推理也會被直接寫成LLM,其底層是基于大預(yù)言模型的規(guī)劃和反思。在推理中,我們依賴于模型、提示詞和記憶。
1)模型選取
模型的選取主要基于三點:使用場景、模型能力、性價比
可以參考各大大模型評測榜單,里面以周、月的維度,對國內(nèi)外通用大模型進行全方位的評測,例如數(shù)學(xué)推理、代碼生成、幻覺控制、生成耗時、模型價格等。
另外,大模型也有其廠商的縮影,例如:
2)提示詞(Prompt Engineering)
提示詞工程就是將一個“通才”,通過對大模型的約束,變成一個領(lǐng)域合格的“打工人”。
下面是一個通用的提示詞結(jié)構(gòu):
但是這些基礎(chǔ)的提示詞,有時候很難完成更加高級和復(fù)雜的任務(wù),因此現(xiàn)在有很多提示詞工程技術(shù),CoT、 ToT、RAG等。這些熱門范式都是幫助用戶更加精準地完成任務(wù)所用到的。
做好了提示詞工程,Agent可以做簡單的對話和任務(wù)。
記憶(Memory)
由于AI在對話中,模型不會被訓(xùn)練,就出現(xiàn)了一個問題,AI記不住用戶的信息和偏好。比如用戶說,我叫小帥。再次詢問AI我叫什么,AI會回答不知道用戶叫什么。
因此智能體需要增加記憶(長期、短期、匯總),能夠存儲歷史的推理過程、結(jié)果、執(zhí)行步驟等。
- 短期記憶:用于跟蹤當前對話或正在進行的任務(wù);
- 長期記憶:用于記住過去的對話以及歷史積累的經(jīng)驗。
- 匯總記憶:通過另一個模型,幫助歷史對話、記錄進行整理總結(jié),做一個匯總的、壓縮的記憶。
但是在使用的過程中發(fā)現(xiàn),在處理多輪對話、復(fù)雜知識理解、不同用戶的需求偏好、連續(xù)任務(wù)等場景中,記憶處理效果不夠好。
舉個例子:怎么煮咖啡?AI會根據(jù)記憶獲取用戶的偏好,比如用戶喜歡早上喝咖啡,喜歡美式,輸出用Markdown格式等。
但是你詢問他我一些比較復(fù)雜的問題,比如幫我下載**數(shù)據(jù)(參考我上一篇文章:如何利用Agent構(gòu)建自動化數(shù)據(jù)采集模型)。這個時候,數(shù)據(jù)按照什么格式輸出,如果有分頁數(shù)據(jù),在執(zhí)行任務(wù)的過程中,任務(wù)中斷后,后續(xù)Agent怎么繼續(xù)執(zhí)行。
為了解決這個問題,衍生了一個新的學(xué)科:上下文工程(Context Engineering)
1)上下文工程(Context Engineering)
上下文工程的核心就是優(yōu)化提示詞結(jié)構(gòu)和框架,使得Agent執(zhí)行任務(wù)完成的更好。
還是以上一篇文章:《如何利用Agent構(gòu)建自動化數(shù)據(jù)采集模型》,通過約束數(shù)據(jù)結(jié)構(gòu)、任務(wù)步驟、使用什么工具做什么事情、todolist等,來約束后續(xù)的每個 Agent都會按照統(tǒng)一的要求輸出內(nèi)容。
如果完全是基于記憶,就可能會得到千奇百怪的數(shù)據(jù),甚至都不能輸出想要的數(shù)據(jù)結(jié)果了。
工具(Tools)
由于大模型有知識截止的局限,LLM信息局限于大模型被設(shè)計出來的時間節(jié)點,并且他要怎么跟外部的世界去做交互?
這就用到了Tools,Tools就像Agent的手一樣,和現(xiàn)實世界產(chǎn)生交互,例如查詢本地數(shù)據(jù)庫、打開一個網(wǎng)頁、模擬RPA執(zhí)行一個具體的任務(wù)等。同時,在使用工具的過程中,會有一些問題,比如如何使用Tools,以及每個工具可能都定義不一樣,就跟手機廠商的充電器一樣,每個人都有自己定義工具的方式。怎么讓Tools能被多方使用,這就有了MCP。
1)MCP
可以理解為,MCP就是一個USB-C接口,使得任意大模型可以通過標準化的方式去對接任意工具。市面上也有了大批量成熟的MCP服務(wù)供應(yīng)商,可以實現(xiàn)海量場景的搭建。
例如:12306的MCP,可以實時查看火車票信息;
實時天氣MCP,可以獲取各地的天氣、溫度、溫度等。
工作流
Agent搭建好了,但是由于大模型的局限性,擁有幻覺,提示詞越長,幻覺越嚴重,并且大模型的Token限制。因此單Agent來完成復(fù)雜任務(wù),幾乎難以實現(xiàn)或者很難達到預(yù)期。
這就需要更多的Agent來協(xié)同完成任務(wù),每個Agent獨立負責單個或者垂直任務(wù),減少幻覺。
搭建AI工作流,分為2種方式:
固化的工作流和代理工作流。
固化工作流(Static Workflows)
在固化的工作流里面,需要設(shè)置好每一個Agent的節(jié)點、輸入、輸出、邏輯。市面上通用的平臺如Dify/Coze等,用戶的流程為:
設(shè)置好每一個Agent(包括提示詞、工具、記憶等)——定義每個Agent輸入與輸出——將Agent通過邏輯串聯(lián)起來
這就形成了工作流,可以很好地完成一個或者一系列的任務(wù)。設(shè)置好的工作流會按照配置好的順序和邏輯,依次執(zhí)行,旨在實現(xiàn)特定的任務(wù)或目標。
這類工作流的流程是確定的,意味著遵循定義的邏輯和順序,無法根據(jù)新的規(guī)則進行自動調(diào)整,只能通過人工改變來調(diào)整。
代理工作流(Agentic Workflows)
在某些流程中,為了提升工作流的適應(yīng)能力,面對復(fù)雜的情況并不斷優(yōu)化策略,這就用到了代理工作流。
代理工作流主要分為3塊任務(wù):制定計劃、執(zhí)行任務(wù)、反思并迭代。
- 制定計劃:在用戶輸入后,有一個中心Agent,模擬人的思路,確認解決問題的流程,將問題拆解成更小的任務(wù),分配每個Agent需要執(zhí)行的任務(wù),使用的工具。
- 執(zhí)行任務(wù):與固化工作量一樣,Agent執(zhí)行任務(wù)時,使用預(yù)設(shè)的工具,來執(zhí)行任務(wù)。
- 反思并迭代:在每一個Agent執(zhí)行完成輸出內(nèi)容后,中心Agent會評估每一步的結(jié)果是否符合預(yù)期,并做出判斷,是否繼續(xù)執(zhí)行,還是重新執(zhí)行或者調(diào)整整個計劃。
在代理工作流中,通常需要預(yù)設(shè)一個中心Agent,來完成整個任務(wù)的規(guī)劃。
應(yīng)用場景
上面講了固化工作流和代理工作流分別是什么,對比兩種工作流的優(yōu)劣勢及適應(yīng)場景:
能力封裝
現(xiàn)在已經(jīng)成功搭建了一個AI工作流,現(xiàn)在要將這個工作流嵌入到產(chǎn)品中,產(chǎn)品需要將這個工作流(或者單Agent,甚至可以是微調(diào)后的大模型)交付給開發(fā),由開發(fā)將工作流嵌入到現(xiàn)有的功能里,完成功能應(yīng)用的實現(xiàn)。
與傳統(tǒng)的產(chǎn)品開發(fā)對比,傳統(tǒng)開發(fā)是具有確定性的,比如點擊后的效果、輸入后的展示等。AI應(yīng)用,由于AI本身的不確定性,AI應(yīng)用最終給出的結(jié)果都是不可預(yù)期的。在工作流里,AI工作流最核心的2個動作:意圖識別和結(jié)果生成。
意圖識別
識別用戶的意圖,提高任務(wù)的理解和任務(wù)執(zhí)行的準確度。
如何提高意圖識別的成功率呢?產(chǎn)品最常用的有三個方法:
1)約束用戶輸入
通過選擇框、輸入框等前端的限制,約束用戶只能輸入允許的內(nèi)容。通過降低解決用戶輸入模糊或不明確的問題,使系統(tǒng)更精準獲取用戶意圖;
2)不回答超出范圍的內(nèi)容
在提示詞增加,若不屬于當前系統(tǒng)的知識領(lǐng)域時,不做回復(fù)。通過拒絕回復(fù),保證答案的相關(guān)性,避免產(chǎn)生誤導(dǎo);
3)反問
若客戶提問模糊不清或存在歧義,可以通過反問的形式,引導(dǎo)用戶表達出真實的意圖,即通過多輪對話引導(dǎo)用戶精準描述問題。
結(jié)果生成
生成主要是需要解決大模型的幻覺,以及面對AI的不確定性,產(chǎn)品如何去處理這些特殊場景,比如:
- 任務(wù)執(zhí)行失敗
- 結(jié)果非用戶想要最優(yōu)方案
- 輸出內(nèi)容一本正經(jīng)地胡說八道
首先,由于AI的底層邏輯,是概率生成,因此幻覺不能100%被消除,只能在各方面降低幻覺對客戶的影響,從產(chǎn)品維度出發(fā),可以做以下動作:
評測-確保AI產(chǎn)品交付可信賴
在應(yīng)用搭建完成后,需要對整個AI應(yīng)用進行評估,是否滿足預(yù)期,與普通的軟件開發(fā)不一定的點在于,普通應(yīng)用的測試是簡單、確定性強,成功/失敗一目了然,但是AI應(yīng)用的測試,有更多的不確定性,以及高度的數(shù)據(jù)依賴。
數(shù)據(jù)集
數(shù)據(jù)集有助于評估系統(tǒng)性能,驗證運行結(jié)果。
可以用歷史數(shù)據(jù)作為數(shù)據(jù)集,以歷史結(jié)果作為運行結(jié)果參考。也可以在產(chǎn)品上線后做數(shù)據(jù)集。
1)歷史數(shù)據(jù)
將歷史業(yè)務(wù)數(shù)據(jù),例如以商品搜索為場景,用戶搜索關(guān)鍵詞,與搜索結(jié)果,以及客戶點擊商品情況作為數(shù)據(jù)集。
2)線上數(shù)據(jù)
通過增加用戶反饋來記錄運行結(jié)果
有了數(shù)據(jù)集后,接下來就是設(shè)立評估指標對應(yīng)用進行真實的打分了。
指標
以下是一些常用的指標:
在系統(tǒng)性地獲取評測結(jié)果后,對錯誤的場景進行分類、匯總,并排列優(yōu)先級,針對性地對失敗原因做優(yōu)化。
優(yōu)化-持續(xù)校準
上述已經(jīng)說過,AI是不確定性的,因此在設(shè)計AI產(chǎn)品的時候,是在可控性和自動性之間不斷做權(quán)衡。在評測完成后,發(fā)現(xiàn)當前模型已經(jīng)不能滿足業(yè)務(wù)場景時,就需要對應(yīng)用進行調(diào)優(yōu)。
調(diào)優(yōu)方法很多,整體總結(jié)下來分為:模型微調(diào)、提示詞優(yōu)化、調(diào)參、優(yōu)化知識庫或數(shù)據(jù)集等。
模型微調(diào)(Fine-tuning)
模型微調(diào)的底層邏輯即為,使用已有的大模型,根據(jù)自己的業(yè)務(wù)場景,對模型進行訓(xùn)練和調(diào)整,然后將訓(xùn)練好的模型打包成新的模型,以便業(yè)務(wù)線使用。這樣就能得到一個,更懂業(yè)務(wù)、貼合公司實際的大模型。
提示詞優(yōu)化
上述也提到了提示詞優(yōu)化的一些工具,在評測后,可以針對性地對存在的問題進行優(yōu)化。
優(yōu)化知識庫
整理知識庫結(jié)構(gòu),清晰數(shù)據(jù),提升數(shù)據(jù)質(zhì)量,提升模型的學(xué)習(xí)效果。
寫到最后
Aishwarya Naresh Reganti and Kiriti Badam?在Aug 19, 2025發(fā)布了一篇文章,全文的核心概念就從CI/CD到CC/CD,這里的CC就是continuous calibration 持續(xù)校準和continuous development持續(xù)開發(fā)。未來AI產(chǎn)品的開發(fā)不再是純粹的軟件交付,而是一個“持續(xù)校準與持續(xù)開發(fā)”的閉環(huán)循環(huán)體系。
作為產(chǎn)品經(jīng)理,在AI浪潮中,不僅要掌握基礎(chǔ)的技術(shù)知識,更要學(xué)會將“數(shù)據(jù)驅(qū)動”嵌入每個業(yè)務(wù)閉環(huán),推動組織向“智能化服務(wù)提供商”邁進。
本文由 @諸葛鐵鐵 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來自Unsplash,基于CC0協(xié)議
- 目前還沒評論,等你發(fā)揮!