大模型應(yīng)用平臺(tái)架構(gòu)與核心功能全景解析
在人工智能飛速發(fā)展的今天,大模型已成為企業(yè)智能化轉(zhuǎn)型的關(guān)鍵。然而,如何將復(fù)雜的大模型技術(shù)轉(zhuǎn)化為實(shí)際可用的業(yè)務(wù)解決方案,是企業(yè)面臨的一大挑戰(zhàn)。本文深入剖析了大模型應(yīng)用平臺(tái)的分層架構(gòu)體系,從應(yīng)用層、渠道層到平臺(tái)層和大模型層,詳細(xì)解讀了各層級(jí)的功能與作用。
在人工智能技術(shù)迅猛發(fā)展的當(dāng)下,大模型應(yīng)用開(kāi)發(fā)平臺(tái)已成為企業(yè)智能化轉(zhuǎn)型的核心基礎(chǔ)設(shè)施。這類平臺(tái)通過(guò)系統(tǒng)化的架構(gòu)設(shè)計(jì)和功能實(shí)現(xiàn),將復(fù)雜的大模型技術(shù)轉(zhuǎn)化為可落地的業(yè)務(wù)解決方案。本文將分析大模型應(yīng)用平臺(tái)的層級(jí)架構(gòu)與核心功能模塊,揭示其如何支撐企業(yè)構(gòu)建智能化應(yīng)用。
一、分層架構(gòu)體系解析
大模型應(yīng)用平臺(tái)采用分層架構(gòu)設(shè)計(jì),形成從底層算力到上層應(yīng)用的完整技術(shù)棧。這種分層解耦的架構(gòu)模式,為不同技術(shù)背景的參與者提供了標(biāo)準(zhǔn)化的接入路徑。
1、應(yīng)用層。作為平臺(tái)的最頂層,承載著各類業(yè)務(wù)場(chǎng)景的實(shí)現(xiàn)。
該層包含包含所有大模型賦能的業(yè)務(wù)對(duì)象和業(yè)務(wù)場(chǎng)景。比如,在內(nèi)容創(chuàng)作領(lǐng)域,支持營(yíng)銷話術(shù)生成、廣告文案創(chuàng)作、海報(bào)自動(dòng)設(shè)計(jì)等功能;在信息處理方面,實(shí)現(xiàn)會(huì)議紀(jì)要自動(dòng)生成、文檔內(nèi)容摘要、數(shù)據(jù)報(bào)告提煉等能力;在咨詢問(wèn)答上,構(gòu)建專業(yè)領(lǐng)域的智能問(wèn)答系統(tǒng),如法律咨詢、醫(yī)療診斷等專業(yè)服務(wù);在決策支持層面,提供業(yè)務(wù)數(shù)據(jù)分析、經(jīng)營(yíng)分析報(bào)告和業(yè)務(wù)策略建議等功能。這些應(yīng)用直接面向業(yè)務(wù)人員的具體需求,例如會(huì)議紀(jì)要應(yīng)用通過(guò)整合語(yǔ)音轉(zhuǎn)寫(xiě)、關(guān)鍵信息抽取和摘要生成能力,實(shí)現(xiàn)會(huì)議內(nèi)容的結(jié)構(gòu)化處理。
2、渠道層。渠道層提供了大模型應(yīng)用的頁(yè)面、插件等用戶交互渠道,構(gòu)建了用戶與大模型的交互橋梁。
該層支持多種接入方式。比如,針對(duì)企業(yè)辦公平臺(tái),提供飛書(shū)、釘釘、企業(yè)微信等工作臺(tái)插件;針對(duì)移動(dòng)終端載體,提供微信小程序和獨(dú)立APP;針對(duì)系統(tǒng)對(duì)接,提供http協(xié)議的API接口供第三方系統(tǒng)調(diào)用;以及在平臺(tái)中直接提供Web端頁(yè)面。以微信小程序渠道為例,該渠道需要處理用戶輸入到小程序的文本等數(shù)據(jù),將其轉(zhuǎn)換為平臺(tái)層可處理的標(biāo)準(zhǔn)化請(qǐng)求,并將平臺(tái)層的結(jié)構(gòu)化響應(yīng)適配小程序的展示格式。
3、平臺(tái)層。平臺(tái)層是整個(gè)架構(gòu)的核心樞紐,通過(guò)無(wú)代碼或者低代碼的形式,支持開(kāi)發(fā)人員和業(yè)務(wù)人員調(diào)用底層大模型、構(gòu)建AI應(yīng)用。
該層包含六大關(guān)鍵模塊:大模型接入模塊統(tǒng)一管理多種模型的接入憑證,實(shí)現(xiàn)請(qǐng)求路由和負(fù)載均衡;知識(shí)庫(kù)管理模塊支持多模態(tài)知識(shí)導(dǎo)入,建立統(tǒng)一的源知識(shí)管理和向量索引;Prompt工程模塊提供提示詞模板庫(kù)、測(cè)試工具等;工作流編排模塊提供工作流設(shè)計(jì)、調(diào)試界面等;AI應(yīng)用構(gòu)建模塊支持創(chuàng)建智能體等應(yīng)用,調(diào)用工作流、知識(shí)庫(kù)和Prompt等構(gòu)建可發(fā)布應(yīng)用;運(yùn)維監(jiān)控模塊支持跟蹤大模型API調(diào)用情況與管控算力資源消耗等。這些模塊協(xié)同工作,形成完整的大模型應(yīng)用開(kāi)發(fā)生命周期支持。
4、大模型層。大模型層是平臺(tái)的智能基座,可以整合多元化的大模型資源。
該層一方面包括對(duì)接企業(yè)自研的垂類模型,該類模型往往基于開(kāi)源可調(diào)模型如DeepSeek、Llama等提供基礎(chǔ)能力,并基于公司私有行業(yè)數(shù)據(jù)進(jìn)行微調(diào)訓(xùn)練,適用于特定業(yè)務(wù)領(lǐng)域;另一方面包括對(duì)接商業(yè)大模型,比如GPT/通義千問(wèn)/文心一言等。該層實(shí)現(xiàn)模型的統(tǒng)一納管和智能路由,根據(jù)用戶配置或者請(qǐng)求內(nèi)容選擇要調(diào)用的大模型。
二、核心功能介紹
1. 零代碼應(yīng)用構(gòu)建
零代碼功能實(shí)現(xiàn)的是支持用戶通過(guò)自然語(yǔ)言構(gòu)建具備特定能力要求的大模型應(yīng)用。大模型基于用戶意圖識(shí)別,一方面調(diào)用自身接口給予回答,另一方面調(diào)用本地知識(shí)庫(kù)、第三方工具插件等外部能力確保用戶響應(yīng)的準(zhǔn)確。
舉例,在英語(yǔ)單詞學(xué)習(xí)場(chǎng)景,用戶可以編寫(xiě)prompt讓大模型不僅解釋單詞本身的含義,還需要設(shè)計(jì)一些測(cè)試題目,以幫助用戶更好地掌握單詞的用法。
這里參考prompt如下:
Prompt:
你是一位專業(yè)的英語(yǔ)教學(xué)助手,請(qǐng)按照以下要求幫助用戶學(xué)習(xí)單詞:
1. 單詞:<輸入單詞>
2. 輸出格式:
-音標(biāo)(英式+美式)
-詞性及中文釋義(不超過(guò)3個(gè)核心意思)
-詞源故事(30字內(nèi))
-記憶技巧(聯(lián)想/拆分法)
-3個(gè)難度遞增的例句(標(biāo)注中文翻譯)
-即時(shí)測(cè)試: a) 選擇題:4個(gè)選項(xiàng)的詞義辨析 b) 填空題:用該詞的正確形式補(bǔ)全句子 c) 造句題:給出中文句子要求翻譯
示例執(zhí)行(當(dāng)用戶輸入”ephemeral”時(shí)):
【音標(biāo)】英/??fem.?r.?l/美/??fem.?.?l/
【釋義】adj. 短暫的,瞬息的
【詞源】源自希臘語(yǔ)”epi”(在…上)+”hemera”(一天)
【記憶】”e-phe-meral”聯(lián)想”一個(gè)鳳凰(phoenix)只能活一天”
【例句】
1)The mayfly’s life is ephemeral, lasting only24hours.(蜉蝣的生命轉(zhuǎn)瞬即逝,僅持續(xù)24小時(shí))
2)Their happiness was as ephemeral as a soap bubble.(他們的幸福如肥皂泡般短暫)
3)In the ephemeral world of fashion, trends change weekly.(在瞬息萬(wàn)變的時(shí)尚界,潮流每周都在變)
【測(cè)試】
1) 選擇題:”ephemeral”的反義詞是: a) permanent b) fragile c) visible d) ancient (?a)
2) 填空題:The___ beauty of cherry blossoms attracts millions of visitors. (ephemeral)
3) 造句題:請(qǐng)用ephemeral翻譯”網(wǎng)紅的名氣往往曇花一現(xiàn)” (Thefame of influencersisoften ephemeral.)
2. 低代碼工作流編排
低代碼構(gòu)建模式是支持用戶以編排工作流的形式,在指定業(yè)務(wù)場(chǎng)景下實(shí)現(xiàn)更加準(zhǔn)確、可靠的任務(wù)交付。在工作流,每一個(gè)節(jié)點(diǎn)都是具備不同功能的組件,包括輸入/輸出、大模型調(diào)用、Python編程算子、數(shù)據(jù)庫(kù)等節(jié)點(diǎn),其中輸入節(jié)點(diǎn)接收用戶請(qǐng)求,大模型調(diào)用節(jié)點(diǎn)執(zhí)行大模型功能,編程節(jié)點(diǎn)處理?xiàng)l件分支,輸出節(jié)點(diǎn)返回結(jié)果或觸發(fā)下游系統(tǒng)等。
用戶在設(shè)計(jì)工作流的過(guò)程中,常常需要具備一定的編程思維,即通過(guò)分而治之,把復(fù)雜問(wèn)題拆解為有順序的、前后依賴的小執(zhí)行步驟。同時(shí),用戶可能需要借助程序進(jìn)行硬編碼的方式把具體的業(yè)務(wù)規(guī)則落實(shí)到工作流中,才能讓大模型應(yīng)用在處理問(wèn)題時(shí)按照標(biāo)準(zhǔn)路徑去執(zhí)行。
舉例,在零售客服場(chǎng)景中,在零售客服對(duì)話工作流中,需要根據(jù)用戶問(wèn)題類型路由至不同知識(shí)庫(kù)。零售客服需快速處理用戶咨詢,常見(jiàn)問(wèn)題分為兩類:
- 售后問(wèn)題(退貨、換貨、物流查詢)。這類問(wèn)題需調(diào)用售后知識(shí)庫(kù)與訂單系統(tǒng)API。
- 促銷問(wèn)題(活動(dòng)規(guī)則、優(yōu)惠券使用)。這類問(wèn)題需連接促銷知識(shí)庫(kù)與營(yíng)銷數(shù)據(jù)庫(kù)。
用戶可以通過(guò)硬編碼的方式,確保不同意圖的請(qǐng)求精準(zhǔn)路由到對(duì)應(yīng)的處理流程,兼顧效率與準(zhǔn)確。典型的工作流實(shí)現(xiàn)思路是系統(tǒng)首先通過(guò)用戶輸入節(jié)點(diǎn)接收原始查詢;意圖解析模型節(jié)點(diǎn)使用DeepSeek等模型輸出結(jié)構(gòu)化標(biāo)簽;條件路由節(jié)點(diǎn)根據(jù)意圖類型分發(fā)任務(wù)。售后請(qǐng)求觸發(fā)售后處理子流程,促銷請(qǐng)求觸發(fā)促銷處理子流程,其他情況則轉(zhuǎn)人工處理。最后通過(guò)統(tǒng)一響應(yīng)節(jié)點(diǎn)格式化輸出結(jié)果。
在工作流的關(guān)鍵路由節(jié)點(diǎn)上,平臺(tái)支持硬編碼實(shí)現(xiàn)精確控制,常見(jiàn)的手段有使用正則表達(dá)式匹配特定關(guān)鍵詞、通過(guò)SQL查詢業(yè)務(wù)數(shù)據(jù)庫(kù)、編寫(xiě)Python函數(shù)處理復(fù)雜數(shù)據(jù)轉(zhuǎn)換等。例如在路由節(jié)點(diǎn)添加”售后”關(guān)鍵詞強(qiáng)制路由至售后流程的規(guī)則,確保關(guān)鍵業(yè)務(wù)規(guī)則的準(zhǔn)確執(zhí)行。這里參考偽代碼如下:
# 偽代碼:硬編碼路由規(guī)則
if intent == “售后”:
route_to(after_sales_workflow) # 跳轉(zhuǎn)售后流程
elif intent == “促銷”:
route_to(promotion_workflow) # 跳轉(zhuǎn)促銷流程
else:
fallback_to_human() # 默認(rèn)轉(zhuǎn)人工
3. 知識(shí)庫(kù)管理
知識(shí)庫(kù)管理是提升大模型應(yīng)用能力的一個(gè)核心功能,尤其當(dāng)大模型微調(diào)訓(xùn)練的成本過(guò)高時(shí),可以通過(guò)導(dǎo)入標(biāo)準(zhǔn)知識(shí)數(shù)據(jù)來(lái)輔助大模型回答,并且實(shí)現(xiàn)實(shí)時(shí)導(dǎo)入實(shí)時(shí)生效。
這里需要關(guān)注的是知識(shí)數(shù)據(jù)的模態(tài)已不限于文檔(PDF/WORD等),市面上已有大模型應(yīng)用平臺(tái)支持圖像、云文檔、網(wǎng)頁(yè)等多種模態(tài)的知識(shí)數(shù)據(jù)管理。這里,需要平臺(tái)層支持不同模態(tài)數(shù)據(jù)處理、語(yǔ)義對(duì)齊功能,進(jìn)而完成知識(shí)的存儲(chǔ)和索引。
在實(shí)際調(diào)用知識(shí)過(guò)程中,平臺(tái)需要支持多種檢索方式,包括使用用戶問(wèn)題的對(duì)應(yīng)的向量做檢索,或者用戶問(wèn)題中的關(guān)鍵詞做檢索等,從而將綜合歸納之后的知識(shí)提供給大模型,由大模型輸出最終的回答。這里簡(jiǎn)要分析下向量檢索和關(guān)鍵詞檢索兩種方式。
通過(guò)向量檢索的方式,會(huì)識(shí)別出用戶問(wèn)題中的一些常識(shí)信息,召回更寬泛的知識(shí)。比如用戶提問(wèn)”如何緩解長(zhǎng)時(shí)間看手機(jī)的眼睛疲勞”時(shí),大模型回答“電子屏幕藍(lán)光可能加劇視疲勞,建議每20分鐘遠(yuǎn)眺6米外物體20秒(20-20-20法則)?!保▉?lái)自健康科普文章)。這說(shuō)明了在向量檢索方式下,即使知識(shí)庫(kù)未包含”手機(jī)”關(guān)鍵詞,也能通過(guò)向量空間捕捉視疲勞相關(guān)的語(yǔ)義關(guān)聯(lián),進(jìn)而召回泛化性的健康建議。
通過(guò)關(guān)鍵詞檢索,會(huì)匹配出原有知識(shí)庫(kù)中更準(zhǔn)確的語(yǔ)句,在強(qiáng)業(yè)務(wù)屬性的問(wèn)答中有利于大模型輸出更準(zhǔn)確的回答。比如用戶提問(wèn)“SAP ERP產(chǎn)品支持哪些數(shù)據(jù)庫(kù)連接?時(shí),大模型回答“SAP ERP支持Microsoft SQL Sereve、IBM DB2和Oracle數(shù)據(jù)庫(kù)”(來(lái)自產(chǎn)品手冊(cè))。這里,檢索方式是嚴(yán)格匹配“SAP”、“數(shù)據(jù)庫(kù)”等關(guān)鍵詞,直接返回產(chǎn)品手冊(cè)文檔中的配置說(shuō)明,避免語(yǔ)義擴(kuò)展導(dǎo)致的內(nèi)容偏差。
此外,知識(shí)庫(kù)支持知識(shí)更新實(shí)時(shí)生效。平臺(tái)的知識(shí)庫(kù)管理模塊可建立版本控制體系,支持知識(shí)內(nèi)容的動(dòng)態(tài)更新。當(dāng)業(yè)務(wù)規(guī)則或產(chǎn)品信息變更時(shí),新知識(shí)數(shù)據(jù)可實(shí)時(shí)導(dǎo)入并建立索引,無(wú)需重新訓(xùn)練模型即可生效。這種機(jī)制特別適合政策法規(guī)頻繁更新的金融、醫(yī)療等領(lǐng)域,確保AI應(yīng)用始終基于最新知識(shí)去輸出答案。
大模型應(yīng)用平臺(tái)的核心價(jià)值在于技術(shù)普惠化。平臺(tái)層通過(guò)可視化工具降低開(kāi)發(fā)門檻,使業(yè)務(wù)人員無(wú)需掌握復(fù)雜編碼即可構(gòu)建AI應(yīng)用;同時(shí)渠道層的標(biāo)準(zhǔn)化接口讓研發(fā)團(tuán)隊(duì)快速對(duì)接業(yè)務(wù)系統(tǒng),提高AI應(yīng)用的落地效率。這種多層架構(gòu)使AI能力從實(shí)驗(yàn)室逐步走向產(chǎn)業(yè)實(shí)踐。
展望未來(lái),隨著組件微服務(wù)化的演進(jìn)和智能體生態(tài)的成熟,大模型賦能的廣度和深度將持續(xù)擴(kuò)展,為企業(yè)智能化的建設(shè)鋪設(shè)堅(jiān)實(shí)基石。企業(yè)需要深入理解大模型應(yīng)用平臺(tái)架構(gòu)與核心功能,才能充分發(fā)揮大模型技術(shù)的業(yè)務(wù)價(jià)值,在智能化浪潮中贏得競(jìng)爭(zhēng)優(yōu)勢(shì)。
本文由 @明思AI 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載
題圖來(lái)自Unsplash,基于CC0協(xié)議
該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)
- 目前還沒(méi)評(píng)論,等你發(fā)揮!