AI大模型架構(gòu)與產(chǎn)業(yè)鏈淺析(一)

0 評(píng)論 1507 瀏覽 6 收藏 11 分鐘

本文的核心思想,基于人工智能架構(gòu),識(shí)別AI大模型架構(gòu),從AI大模型架構(gòu)的組成部分,思考AI大模型產(chǎn)業(yè)鏈,并做淺析。

本篇章將開啟AI大模型系列分析。

一、人工智能架構(gòu)

人工智能架構(gòu)目前有眾多分類方法,雖然架構(gòu)分層有些許切分上的差異,但總體來(lái)看,包括應(yīng)用層、技術(shù)層,基礎(chǔ)層。

其中應(yīng)用層,按按照服務(wù)的對(duì)象和功能進(jìn)行分類,包括解決方案和應(yīng)用平臺(tái)。

解決方案層可從產(chǎn)品端分析分為軟件/硬件,從用戶對(duì)象屬性,分為b端和c端,從用戶行業(yè),細(xì)分為行業(yè)場(chǎng)景。

技術(shù)層可以從感知層、認(rèn)知層、平臺(tái)層分類,其中感知層主要是通用技術(shù),例如語(yǔ)音識(shí)別等,認(rèn)知層包括推理、邏輯、學(xué)習(xí)判斷等。

對(duì)于技術(shù)層分類也可以從通用技術(shù)層、算法層、框架層進(jìn)行分類。

平臺(tái)層包括技術(shù)開放平臺(tái)和基礎(chǔ)開源框架等。

基礎(chǔ)層包括數(shù)據(jù)和算力。

數(shù)據(jù)層負(fù)責(zé)數(shù)據(jù)的收集、存儲(chǔ)與處理,確保數(shù)據(jù)質(zhì)量。

技術(shù)能力層提供強(qiáng)大的計(jì)算資源和算法支持,包括高性能計(jì)算、云計(jì)算及硬件加速設(shè)備,為AI系統(tǒng)的穩(wěn)定運(yùn)行和高效性能奠定堅(jiān)實(shí)基礎(chǔ)。

應(yīng)用層:解決方案+應(yīng)用平臺(tái)

  • 解決方案層:智能客服、智能助理、無(wú)人車、機(jī)器人和自動(dòng)寫作等場(chǎng)景應(yīng)用。這些解決方案直接面向市場(chǎng)和用戶需求,提供定制化的服務(wù)。解決方案層的分析維度,可以從行業(yè)、軟件/硬件產(chǎn)品、業(yè)務(wù)方向(營(yíng)銷、生產(chǎn)、人力)等角度分類。
  • 應(yīng)用平臺(tái)層:這類平臺(tái)負(fù)責(zé)整合和管理AI解決方案,能被更廣泛的用戶群體所使用。

技術(shù)層:感知層+認(rèn)知層+平臺(tái)層

  • 感知層:語(yǔ)音識(shí)別(ASR)、語(yǔ)音合成(TTS)、計(jì)算機(jī)視覺(CV)、自然語(yǔ)言處理(NLP)、即時(shí)定位與地圖構(gòu)建(SLAM)等。
  • 認(rèn)知層:機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和增強(qiáng)學(xué)習(xí)等算法,這些算法是AI模型的“大腦”,用于指導(dǎo)模型進(jìn)行學(xué)習(xí)和推理。
  • 平臺(tái)層:提供了一系列用于構(gòu)建AI系統(tǒng)的工具和平臺(tái)。常見框架:TensorFlow、Caffe、Theano、Torch、DMTK、DTPAR 和 ROS等,這些框架簡(jiǎn)化了開發(fā)流程,讓開發(fā)者可以更容易地實(shí)現(xiàn)復(fù)雜的AI應(yīng)用。

基礎(chǔ)層:數(shù)據(jù)+計(jì)算算力

  • 數(shù)據(jù)層:數(shù)據(jù)層是AI系統(tǒng)的基礎(chǔ),負(fù)責(zé)數(shù)據(jù)的收集、存儲(chǔ)、預(yù)處理和標(biāo)注。它包括數(shù)據(jù)管理、安全、治理和訪問(wèn),確保數(shù)據(jù)質(zhì)量,支持模型訓(xùn)練和系統(tǒng)運(yùn)行。
  • 計(jì)算能力層:計(jì)算能力層提供了運(yùn)行AI所需的強(qiáng)大算力:覆蓋了云計(jì)算、GPU/FPGA等硬件加速以及專門的神經(jīng)網(wǎng)絡(luò)芯片。這些資源使得大規(guī)模的數(shù)據(jù)處理和復(fù)雜的模型訓(xùn)練成為可能。云計(jì)算:提供可擴(kuò)展的計(jì)算資源。GPU/FPGA:提供硬件加速,用于并行處理大量數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)芯片:專門為AI計(jì)算設(shè)計(jì)的芯片,如TPU。

二、AI大模型架構(gòu)

AI大模型架構(gòu)在人工智能架構(gòu)的基礎(chǔ)上,對(duì)數(shù)據(jù)層和計(jì)算能力層提出了更高的要求,以適應(yīng)大模型的復(fù)雜性和規(guī)模。同時(shí),它在應(yīng)用層和技術(shù)層也進(jìn)行了擴(kuò)展,以適應(yīng)更廣泛的行業(yè)應(yīng)用和更高級(jí)的AI功能。

例如,在應(yīng)用層,AI大模型更側(cè)重于行業(yè)特定的解決方案,需要更多行業(yè)數(shù)據(jù)進(jìn)行定制化訓(xùn)練,同時(shí)平臺(tái)層趨向于發(fā)展更高級(jí)的AI agent能力;在技術(shù)層,AI大模型更加集中于深度學(xué)習(xí)算法和大型模型專用框架,以支持復(fù)雜的模型訓(xùn)練和推理;在基礎(chǔ)層,AI大模型需要處理更大量的數(shù)據(jù),并且要求更強(qiáng)大的計(jì)算能力來(lái)支持大模型的訓(xùn)練和部署。

應(yīng)用層:當(dāng)前AI大模型的行業(yè)應(yīng)用呈現(xiàn)兩種趨勢(shì),包括通用大模型和垂類行業(yè)大模型

  • 解決方案層:更貼近垂類行業(yè)大模型,需要更多行業(yè)專業(yè)知識(shí)數(shù)據(jù)進(jìn)行二次訓(xùn)練,基于通用大模型打造垂類行業(yè)模型
  • 應(yīng)用平臺(tái)層:例如通用類的ChatGPT,它是一種基于Transformer架構(gòu)的大型語(yǔ)言模型,能夠進(jìn)行文本生成、對(duì)話交互等任務(wù),并且可以通過(guò)微調(diào)來(lái)適應(yīng)特定的應(yīng)用場(chǎng)景。通用類大模型的趨勢(shì)是向AIagent能力發(fā)展,即具備更強(qiáng)大的交互、理解和決策能力。

技術(shù)層:集感知、深度學(xué)習(xí)算法與專用框架于一體

  • 感知層:基于計(jì)算機(jī)視覺(CV)的圖像識(shí)別、視頻分析,以及基于自然語(yǔ)言處理(NLP)的文本生成、語(yǔ)言理解、對(duì)話系統(tǒng)等。這些感知技術(shù)為AI大模型提供了豐富的輸入信息。
  • 算法認(rèn)知層:作為AI大模型的核心算法,是AI大模型是大腦,深度學(xué)習(xí)算法是ALLMA架構(gòu)的核心技術(shù),深度學(xué)習(xí)使得AI大模型能夠自動(dòng)從數(shù)據(jù)中學(xué)習(xí)并提取特征,從而提高模型的準(zhǔn)確性和魯棒性。
  • 平臺(tái)層:AI大模型的框架層可能包括專門為大模型設(shè)計(jì)的框架,如TensorFlow、PyTorch等。這些框架能夠處理大規(guī)模的模型訓(xùn)練和部署,并提供豐富的工具和庫(kù)來(lái)支持開發(fā)者進(jìn)行模型開發(fā)和優(yōu)化。同時(shí),AI框架層還提供了構(gòu)建AI系統(tǒng)的其他工具和平臺(tái),如模型管理、版本控制、部署服務(wù)等。

基礎(chǔ)層:整合多源數(shù)據(jù),提供高性能算力,確保模型訓(xùn)練與運(yùn)行的高效與準(zhǔn)確

  • 數(shù)據(jù)層:典型的數(shù)據(jù)層數(shù)據(jù)類型,包括垂類知識(shí)庫(kù)、動(dòng)態(tài)數(shù)據(jù)集、第三方數(shù)據(jù)集。對(duì)于AI大模型而言,數(shù)據(jù)層的重要性更加凸顯,因?yàn)榇竽P托枰罅康臄?shù)據(jù)來(lái)訓(xùn)練。數(shù)據(jù)的質(zhì)量和數(shù)量直接影響模型的性能和效果。數(shù)據(jù)層主要包括多源訓(xùn)練數(shù)據(jù)脫敏/清洗/平臺(tái)化,以及評(píng)測(cè)數(shù)據(jù)和標(biāo)準(zhǔn)共建。
  • 計(jì)算能力層:AI大模型的計(jì)算能力層需要更強(qiáng)大的算力支持,因?yàn)榇竽P屯ǔ?shù)眾多,計(jì)算密集。這可能包括高性能的GPU/FPGA、云計(jì)算資源以及專門的神經(jīng)網(wǎng)絡(luò)芯片。而AI計(jì)算能力層則提供了運(yùn)行AI所需的基本算力。

三、基于AI大模型架構(gòu)的行業(yè)現(xiàn)狀淺析

從前文的AI大模型架構(gòu),我們可以明確AI大模型產(chǎn)業(yè)鏈的組成部分,并淺要分析產(chǎn)業(yè)鏈的差異。部分市場(chǎng)參與者可能已經(jīng)結(jié)合公司戰(zhàn)略,進(jìn)行類全產(chǎn)業(yè)鏈布局,部分市場(chǎng)參與者聚焦在部分產(chǎn)品及解決方案,高度占有市場(chǎng)份額。本文是總覽淺析,后續(xù)將從應(yīng)用層、技術(shù)層、基礎(chǔ)層選取相關(guān)部分產(chǎn)品進(jìn)行詳細(xì)的分析。

應(yīng)用層-解決方案:

  • 進(jìn)入門檻:進(jìn)入門檻較低,大量行業(yè)數(shù)據(jù)形成模型,競(jìng)爭(zhēng)相對(duì)激烈
  • 短期價(jià)值&長(zhǎng)期價(jià)值:短期價(jià)值高,長(zhǎng)期價(jià)值受市場(chǎng)變化影響大,市場(chǎng)更新速度快,低投入,變現(xiàn)快
  • 演化路徑:垂直行業(yè)應(yīng)用或跨行業(yè)應(yīng)用

應(yīng)用層-應(yīng)用平臺(tái):

  • 進(jìn)入門檻:進(jìn)入門檻較較高,需要有較高的行業(yè)影響力和號(hào)召力,需要構(gòu)建開發(fā)者生態(tài)和用戶群
  • 短期價(jià)值&長(zhǎng)期價(jià)值:短期價(jià)值較低,長(zhǎng)期價(jià)值較高
  • 演化路徑:向app store的方向發(fā)展

技術(shù)層-算法&框架:

  • 進(jìn)入門檻:需要一定規(guī)模的工程團(tuán)隊(duì),算法、框架及工具研發(fā)難度大
  • 短期價(jià)值&長(zhǎng)期價(jià)值:短期價(jià)值較高,長(zhǎng)期價(jià)值較低,投入適中,適合中長(zhǎng)期布局
  • 演化路徑:向算法工具平臺(tái)和開發(fā)者生態(tài)發(fā)展

基礎(chǔ)層-數(shù)據(jù):

  • 進(jìn)入門檻:入口被擁有流量的公司占據(jù)
  • 短期價(jià)值&長(zhǎng)期價(jià)值:短期和長(zhǎng)期價(jià)值天花板較高,高投入、高回報(bào)、適合長(zhǎng)期布局
  • 演化路徑:數(shù)據(jù)資產(chǎn)化

基礎(chǔ)層-計(jì)算能力:

  • 進(jìn)入門檻:大模型算力成本較高
  • 短期價(jià)值&長(zhǎng)期價(jià)值:短期和長(zhǎng)期價(jià)值天花板較高,高投入、高回報(bào)、適合長(zhǎng)期布局
  • 演化路徑:通用計(jì)算平臺(tái)和計(jì)算服務(wù)生態(tài)發(fā)展趨勢(shì)

本文由@Elaine.H 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)作者許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!