人工智能的科普文:從原理到落地

2 評(píng)論 2513 瀏覽 3 收藏 13 分鐘

人工智能已經(jīng)滲透到生活的方方面面,但很多人依然覺得它神秘莫測(cè)。本文用簡(jiǎn)潔通俗的描述帶你快速建立AI知識(shí)體系,揭秘技術(shù)背后的邏輯!

人工智能是什么

AI(人工智能)是指讓機(jī)器像人一樣感知外界環(huán)境,思考,決策,執(zhí)行。相比較能夠優(yōu)化資源配置的傳統(tǒng)產(chǎn)品(如打車軟件提升匹配效率),人工智能產(chǎn)品改變生產(chǎn)要素本身(如自動(dòng)駕駛無需駕駛員)。人工智能的本質(zhì)是實(shí)現(xiàn)推斷的概率可以無限逼近100%,最終替代人類做判斷,完成任務(wù),甚至超越人類的思維和判斷能力。人工智能產(chǎn)品/服務(wù)能否被人們認(rèn)可取決于從概率上能否大范圍滿足用戶需求,不同的場(chǎng)景,概率需求不同。例如輸入某個(gè)器官的醫(yī)學(xué)影像,需要準(zhǔn)確地判斷出該影像是身體的哪個(gè)器官。例如電商平臺(tái)的個(gè)性化推薦,按照用戶標(biāo)簽推薦與之相匹配的若干商品便可,并不是要求100%匹配。

算法支持

算法??是解決問題的明確步驟和規(guī)則集合,使用各種算法對(duì)數(shù)據(jù)進(jìn)行訓(xùn)練后生成的“中間件”(模型),當(dāng)數(shù)據(jù)輸入到模型后會(huì)有相應(yīng)的結(jié)果輸出。

在人工智能(AI)領(lǐng)域,算法是機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和大模型的??實(shí)現(xiàn)手段??,是AI應(yīng)用的基礎(chǔ)支持。例如常見的應(yīng)用—機(jī)器視覺(涉及圖像和視頻的分析)和自然語言處理(處理文本和語言)。?????????

機(jī)器學(xué)習(xí)(ML)是實(shí)現(xiàn)AI的核心技術(shù)手段,讓機(jī)器通過數(shù)據(jù)學(xué)規(guī)律,通過數(shù)據(jù)訓(xùn)練模型實(shí)現(xiàn)預(yù)測(cè)或決策,比如用歷史數(shù)據(jù)教機(jī)器識(shí)別貓狗。主要涵蓋監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)三大范式

  • 監(jiān)督學(xué)習(xí):當(dāng)有未知數(shù)輸入后,這個(gè)推斷函數(shù)可以準(zhǔn)確的預(yù)測(cè)輸出。監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)需要打標(biāo)簽,這種過分依賴人類專家指導(dǎo)的方式,反而會(huì)限制機(jī)器的潛力。
  • 無監(jiān)督學(xué)習(xí):無監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)沒有標(biāo)簽,是從沒有人為注釋的訓(xùn)練數(shù)據(jù)中抽取信息,學(xué)習(xí)從分布中采樣去尋找數(shù)據(jù)分布的隱藏規(guī)律,或是將數(shù)據(jù)中的相關(guān)樣本聚類。
  • 強(qiáng)化學(xué)習(xí):是利用已有的訓(xùn)練信息對(duì)行為進(jìn)行評(píng)價(jià),主要是通過學(xué)習(xí)怎樣獲得最大化獎(jiǎng)勵(lì)信號(hào)來反復(fù)嘗試,直至模型收斂。

深度學(xué)習(xí)(DL)是ML的高階形式,用神經(jīng)網(wǎng)絡(luò)算法(CNN、RNN等)自動(dòng)提取特征,比如讓機(jī)器看懂復(fù)雜圖片或聽懂語言。

大模型是DL的規(guī)?;a(chǎn)物,以算法為核心支撐,結(jié)合算力與數(shù)據(jù)實(shí)現(xiàn)突破。以ChatGPT為例,其底層是Transformer算法(深度學(xué)習(xí)),通過海量數(shù)據(jù)預(yù)訓(xùn)練(機(jī)器學(xué)習(xí)框架),最終形成千億參數(shù)的大模型,支持多輪對(duì)話、代碼生成等復(fù)雜任務(wù)。

算力支持

算力指的是算法模型需要的系統(tǒng)架構(gòu)支撐,其中硬件資源包括計(jì)算芯片、存儲(chǔ)以及構(gòu)成產(chǎn)品的硬件組件等。企業(yè)在使用滿足某個(gè)業(yè)務(wù)場(chǎng)景需求的大模型服務(wù)時(shí),要從數(shù)據(jù)安全性,模型應(yīng)用領(lǐng)域,研發(fā)復(fù)雜度,研發(fā)周期,硬件成本等多方面綜合考慮。主要有以下幾種方式

?1、調(diào)用廠商/MaaS平臺(tái)API??:直接調(diào)用第三方平臺(tái)的服務(wù),大模型本身和算力支持都不需要考慮,按需付費(fèi),適合初創(chuàng)企業(yè),非核心業(yè)務(wù)場(chǎng)景。缺點(diǎn)是無法深度定制模型,依賴平臺(tái)能力。業(yè)務(wù)數(shù)據(jù)需明碼上傳第三方,存在數(shù)據(jù)安全隱患。

2、購買模型私有化部署+租用算力平臺(tái):模型本地部署,規(guī)避外部數(shù)據(jù)泄露風(fēng)險(xiǎn)。租用算力(如云服務(wù))按需擴(kuò)容,降低初期投入。適合中大型企業(yè)、對(duì)數(shù)據(jù)安全敏感但算力資源有限(如金融風(fēng)控)。缺點(diǎn)是長(zhǎng)期使用算力租賃費(fèi)用可能較高,需維護(hù)模型與云平臺(tái)的兼容性。

3、購買模型私有化部署+自建算力平臺(tái)??:數(shù)據(jù)、模型、算力均在企業(yè)內(nèi)部閉環(huán),一次性投入硬件后,長(zhǎng)期使用成本遞減。適合中大型企業(yè)、對(duì)數(shù)據(jù)安全敏感且可以提供算力資源。缺點(diǎn)是需采購服務(wù)器、GPU 等硬件,建設(shè)周期長(zhǎng),需專業(yè)團(tuán)隊(duì)維護(hù)算力集群。

4、自研模型+租用算力平臺(tái)??:模型架構(gòu)與業(yè)務(wù)需求完全匹配,掌握核心算法。適合技術(shù)驅(qū)動(dòng)型、垂直領(lǐng)域深度優(yōu)化企業(yè)。缺點(diǎn)是研發(fā)投入大,需頂尖算法工程師與海量標(biāo)注數(shù)據(jù)。訓(xùn)練依賴外部算力,可能受供應(yīng)商限制。

5、自研模型+自建算力平臺(tái)??:從算法到硬件完全獨(dú)立,無外部依賴,形成企業(yè)獨(dú)有的 AI 競(jìng)爭(zhēng)力。適合巨頭企業(yè)、國(guó)家戰(zhàn)略級(jí)項(xiàng)目(如自動(dòng)駕駛?cè)珬W匝校?。缺點(diǎn)是成本高,研發(fā) + 硬件投入需數(shù)千萬至億元級(jí)資金。周期長(zhǎng),模型研發(fā)與算力建設(shè)需 1-3 年時(shí)間甚至更久。

數(shù)據(jù)支持

大模型自身并不直接存儲(chǔ)原始訓(xùn)練數(shù)據(jù),而是通過海量參數(shù)(參數(shù)規(guī)模通常達(dá)百億至萬億級(jí)別)將訓(xùn)練數(shù)據(jù)中的知識(shí)、模式和規(guī)律以數(shù)學(xué)形式壓縮存儲(chǔ)。

數(shù)據(jù)流轉(zhuǎn)

大模型問世的完整流程可分為以下五個(gè)核心階段,每個(gè)階段都和數(shù)據(jù)息息相關(guān):

1. 數(shù)據(jù)獲取:通過互聯(lián)網(wǎng)抓取、公開數(shù)據(jù)集、行業(yè)數(shù)據(jù)庫等多渠道收集海量文本、圖像等多模態(tài)數(shù)據(jù)。

2、數(shù)據(jù)預(yù)處理??:清洗數(shù)據(jù),如過濾廣告、修正錯(cuò)誤語句、丟掉錯(cuò)誤數(shù)據(jù)。通過分詞、向量化將文本轉(zhuǎn)化為機(jī)器可讀格式。

3、通用模型訓(xùn)練??:使用分布式計(jì)算框架在萬卡級(jí)GPU集群訓(xùn)練萬億參數(shù)模型,采用檢查點(diǎn)機(jī)制(每隔一段時(shí)間保存狀態(tài))應(yīng)對(duì)硬件故障。

4、垂直領(lǐng)域/特定任務(wù)微調(diào):在通用模型上注入行業(yè)知識(shí),生成垂直化領(lǐng)域應(yīng)用的模型。

5、應(yīng)用部署:投入應(yīng)用后持續(xù)監(jiān)控用戶反饋。

檢索增強(qiáng)生成(RAG)

參數(shù)固化的是訓(xùn)練截止時(shí)的數(shù)據(jù)知識(shí)。例如2025年前的模型參數(shù)無法包含2025年后的事件(如新政策或科研成果)。并且大模型中也無法整合企業(yè)的私有化數(shù)據(jù)?,F(xiàn)代大模型常通過??檢索增強(qiáng)生成(RAG)??突破參數(shù)的知識(shí)邊界,來解決私域數(shù)據(jù)整合和模型知識(shí)時(shí)效性約束的問題。具體的方式為實(shí)時(shí)接入互聯(lián)網(wǎng)搜索最新信息和對(duì)接企業(yè)知識(shí)庫補(bǔ)充私有知識(shí)庫等。

RAG(Retrieval-Augmented Generation)主要分為檢索,增強(qiáng),生成三個(gè)階段,該技術(shù)結(jié)合了信息檢索(Retrieval)與文本生成(Generation)兩大能力。當(dāng)用戶提問時(shí),RAG 會(huì)先檢索外部知識(shí)庫(如企業(yè)文檔、法律條文或醫(yī)學(xué)文獻(xiàn)),再將檢索結(jié)果作為上下文輸入大模型,最終生成融合實(shí)時(shí)信息的答案。這一機(jī)制使其既能保持生成模型的自然語言表達(dá)能力,又能通過檢索增強(qiáng)解決知識(shí)更新滯后和幻覺問題。

下圖為對(duì)接企業(yè)私有知識(shí)庫的簡(jiǎn)易流程:

1、把企業(yè)原有數(shù)據(jù)切割成知識(shí)塊,為了讓計(jì)算機(jī)處理,需要將文字轉(zhuǎn)化成向量,統(tǒng)一存儲(chǔ)到向量數(shù)據(jù)庫中(企業(yè)私有的知識(shí)庫)

2、用戶提問問題,同樣做切割還有向量化處理。然后從企業(yè)私有數(shù)據(jù)庫中檢索出合適的參考文檔

3、整合提問和參考文檔,輸入大模型,得到答案

微調(diào)

微調(diào)的本質(zhì)是參數(shù)優(yōu)化,通過少量數(shù)據(jù)調(diào)整預(yù)訓(xùn)練模型的權(quán)重,使其適應(yīng)新任務(wù),固化專業(yè)知識(shí)或固定流程的領(lǐng)域(如醫(yī)療報(bào)告生成、法律合同審核)。微調(diào)直接修改模型能力,而RAG通過外部知識(shí)庫檢索補(bǔ)充答案,兩者在知識(shí)更新成本、響應(yīng)速度上形成互補(bǔ)。需要注意的是微調(diào)可能會(huì)產(chǎn)生把之前模型具備的某種能力調(diào)成更差的情況。RAG和微調(diào)的區(qū)別詳見下圖

技術(shù)選型

隨著AI技術(shù)的成熟,越來越多的AI產(chǎn)品應(yīng)用在行業(yè)生產(chǎn)以及日常生活中。以下是常見的應(yīng)用以及采用技術(shù)的舉例。

  • 智能客服系統(tǒng)采用了自然語言處理(NLP)、對(duì)話系統(tǒng)(如GPT)、情感分析、知識(shí)圖譜等技術(shù),通過NLP理解用戶意圖,結(jié)合知識(shí)圖譜提供精準(zhǔn)回答,情感分析優(yōu)化交互體驗(yàn)。
  • 自動(dòng)駕駛采用了計(jì)算機(jī)視覺(目標(biāo)檢測(cè))、傳感器融合(激光雷達(dá)/雷達(dá))、強(qiáng)化學(xué)習(xí)、路徑規(guī)劃等技術(shù),實(shí)時(shí)識(shí)別道路環(huán)境,融合多傳感器數(shù)據(jù),規(guī)劃安全行駛路徑。
  • 醫(yī)療影像分析采用了深度學(xué)習(xí)(如卷積神經(jīng)網(wǎng)絡(luò)CNN)、圖像分割、遷移學(xué)習(xí)、異常檢測(cè)等技術(shù),自動(dòng)識(shí)別CT/MRI中的腫瘤、骨折等病變,輔助醫(yī)生診斷。
  • 智能家居助手語音識(shí)別(ASR)、語音合成(TTS)、物聯(lián)網(wǎng)(IoT)、計(jì)算機(jī)視覺(人臉識(shí)別)等技術(shù)。可以實(shí)現(xiàn)語音控制家電(如調(diào)節(jié)燈光)、人臉識(shí)別解鎖門禁、異常行為報(bào)警。

在項(xiàng)目中,如何選擇更合適的模型吶?根據(jù)不同的需求場(chǎng)景,不同的任務(wù)類型去選擇能實(shí)現(xiàn)相關(guān)功能的模型,例如圖生文,語音轉(zhuǎn)文字,數(shù)字人,金融模型等。在能滿足需求的情況下盡量選擇小尺寸模型,參數(shù)越小速度越快越便宜。還要考慮模型的一些限制,例如長(zhǎng)文本的處理能力(輸入輸出限制),是否能調(diào)用外部工具。token是AI產(chǎn)品運(yùn)營(yíng)的最大指出項(xiàng),所以購買API時(shí)要看每萬token的費(fèi)用。接入模型之后需要調(diào)整輸出結(jié)果的最大token數(shù),輸出結(jié)果的多樣性程度等配置信息。

小結(jié)

本篇文章從人工智能的定義,人工智能的三要素—算法、算力 、數(shù)據(jù),人工智能的應(yīng)用以及模型選擇等方面給大家搭建了AI知識(shí)體系,從原理到落地一網(wǎng)打盡。最近一直在學(xué)習(xí)AI相關(guān)的知識(shí),后續(xù)將會(huì)為大家持續(xù)分享~

本文由 @Grace 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來自Unsplash,基于 CC0 協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 其實(shí)就是算法,還有就是基于深度學(xué)習(xí)的一個(gè)大模型,不過這樣訓(xùn)練出來的他們的能力會(huì)非常強(qiáng)

    來自廣東 回復(fù)
  2. 深入淺出地講解了人工智能的核心知識(shí),從技術(shù)原理到應(yīng)用落地都一目了然,讓我對(duì)AI的理解更加全面,也看到了它與生活的緊密聯(lián)系和巨大潛力。

    來自山東 回復(fù)