大模型的核心秘密:開(kāi)學(xué)季與招聘季的思考啟示

0 評(píng)論 431 瀏覽 0 收藏 10 分鐘

大模型技術(shù)在近年來(lái)取得了顯著的進(jìn)展,特別是在開(kāi)學(xué)季和招聘季,它成為了一個(gè)熱門(mén)話(huà)題。本文探討了大模型的核心秘密,分析了其背后的關(guān)鍵因素,包括數(shù)據(jù)源、算法和算力,并討論了數(shù)據(jù)科學(xué)專(zhuān)業(yè)和數(shù)據(jù)分析師職業(yè)發(fā)展的道路。

一、大模型的密碼

又到了一年的開(kāi)學(xué)季,也是招聘季,今年最火的應(yīng)該就是大模型應(yīng)用了,作為一名互聯(lián)網(wǎng)從業(yè)者,肯定要去獨(dú)立思考一個(gè)問(wèn)題:大模型的本質(zhì)是什么,為何突然就火了?

以最熱的chatgpt來(lái)說(shuō),仔細(xì)研究發(fā)現(xiàn),竟然用的還是前饋神經(jīng)網(wǎng)絡(luò)和自回歸模型這些算法,很巧的是,這套東西就是我讀書(shū)時(shí)的研究方向,也就是說(shuō),十幾年前都有了,這么多年,還是那一套。那到底是什么驅(qū)動(dòng)大模型的本質(zhì)變化

大家都知道,一個(gè)模型效果好壞的核心三個(gè)元素是:數(shù)據(jù)源、算法、算力。算法這塊沒(méi)什么新花樣,那就只能是其他兩個(gè)因素了,數(shù)據(jù)源這塊最大的挑戰(zhàn)是數(shù)據(jù)質(zhì)量問(wèn)題,算力這塊最大的挑戰(zhàn)就是計(jì)算顯卡。

數(shù)據(jù)源質(zhì)量:在數(shù)據(jù)正式可用之前,要做的一件事就是數(shù)據(jù)標(biāo)注,就是打標(biāo)簽,得定義他,要不然計(jì)算機(jī)程序無(wú)法理解。但是呢,數(shù)據(jù)標(biāo)注這個(gè)事人工工作量非常大,要想把幾千億、幾百T數(shù)據(jù)很好的使用,肯定不能靠手工,必須要有模型能夠?qū)o(wú)標(biāo)注數(shù)據(jù)進(jìn)行理解。具體來(lái)說(shuō)就是讓模型在大規(guī)模無(wú)標(biāo)注數(shù)據(jù)上針對(duì)通用型任務(wù)進(jìn)行訓(xùn)練,使模型具備理解語(yǔ)言的基礎(chǔ)能力。這一套在ML里面有個(gè)專(zhuān)業(yè)名詞—無(wú)監(jiān)督學(xué)習(xí)

無(wú)監(jiān)督預(yù)(自監(jiān)督)訓(xùn)練:在沒(méi)有標(biāo)注的數(shù)據(jù)上做預(yù)訓(xùn)練。假設(shè)我們有一段文本,里面每一個(gè)詞都是有序的,模型使用 Transformer 解碼器來(lái)預(yù)測(cè)第一個(gè)詞出現(xiàn)的概率。預(yù)測(cè)的方式就是通過(guò)前面的詞的序列來(lái)預(yù)測(cè)接下來(lái)詞出現(xiàn)的概率,某種意義上講就是各種枚舉然后看概率,前面的詞越長(zhǎng),預(yù)測(cè)出后面詞出現(xiàn)的概率精度就越高,這點(diǎn)應(yīng)該是非常容易理解的。同時(shí)我們也可以想象出,這個(gè)計(jì)算是非??植赖摹?/p>

此外,數(shù)據(jù)量的大小對(duì)于運(yùn)算計(jì)算機(jī)算力的要求往往呈現(xiàn)指數(shù)級(jí)別的關(guān)系,這也是強(qiáng)大算法的核心需求。原因是數(shù)據(jù)清洗和數(shù)據(jù)標(biāo)注的核心意義就是將人們理解的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)變成計(jì)算機(jī)可以理解的結(jié)構(gòu)化數(shù)據(jù)。而人工智能對(duì)數(shù)據(jù)的本質(zhì)理解其實(shí)就是矩陣的運(yùn)算,矩陣的維度往往代表著數(shù)據(jù)特征的維度,這也是訓(xùn)練神經(jīng)網(wǎng)絡(luò)參數(shù)的基礎(chǔ),一般情況下,數(shù)據(jù)維度越多,模型參數(shù)量越多,模型越復(fù)雜,模型的準(zhǔn)確度越高,對(duì)算力的指數(shù)需求越高。本質(zhì)是數(shù)據(jù)維度與算力指數(shù)呈現(xiàn)正相關(guān)。

綜上我們可以得出:大模型與小模型或者說(shuō)傳統(tǒng)模型對(duì)比,本質(zhì)就是兩個(gè)差異,一是算力變強(qiáng)了,也就是顯卡性能好,二是數(shù)據(jù)量變多了,過(guò)往可能就是幾千個(gè)參數(shù),現(xiàn)在動(dòng)不動(dòng)就是多少個(gè)B,而這一切又離不開(kāi)算力。所以說(shuō)本質(zhì)還是因?yàn)樗懔Φ倪M(jìn)步帶來(lái)了大模型的可想像力及落地。至于算法本身,無(wú)非就是調(diào)優(yōu)再調(diào)優(yōu),總能找到空間

二、開(kāi)學(xué)季,高校的數(shù)據(jù)科學(xué)專(zhuān)業(yè)

以前數(shù)據(jù)分析風(fēng)口的時(shí)候,很多人轉(zhuǎn)型數(shù)據(jù)分析,現(xiàn)在又到大模型了,肯定會(huì)心動(dòng),不少人都想去轉(zhuǎn)型。其中一種方式就是去讀個(gè)對(duì)口的在職研究生,目前大模型這塊還是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專(zhuān)業(yè)這個(gè)分支下。

數(shù)據(jù)科學(xué)專(zhuān)業(yè)的課程包括數(shù)學(xué)、統(tǒng)計(jì)學(xué)、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、程序設(shè)計(jì)、數(shù)據(jù)庫(kù)管理、數(shù)據(jù)可視化、數(shù)據(jù)處理和數(shù)據(jù)分析等內(nèi)容。學(xué)習(xí)如何使用編程語(yǔ)言(如Python、R等)和數(shù)據(jù)分析工具(如SQL、Tableau等)來(lái)處理和分析數(shù)據(jù),并掌握基本的統(tǒng)計(jì)學(xué)和數(shù)學(xué)知識(shí)。研究方向主要包括以下幾個(gè)方面:

1、人工智能方向:研究如何用人工的方法去模擬和實(shí)現(xiàn)人類(lèi)智能,其研究基礎(chǔ)是知識(shí)表示和推理、人工神經(jīng)網(wǎng)絡(luò)等。

2、數(shù)據(jù)技術(shù)方向:以Hadoop生態(tài)圈工具為代表的一系列對(duì)數(shù)據(jù)的收集、存儲(chǔ)、分析和計(jì)算,強(qiáng)調(diào)對(duì)此類(lèi)工具的熟練掌握和使用。

3、數(shù)據(jù)分析、計(jì)算與可視化方向:使用R或Python語(yǔ)言進(jìn)行數(shù)據(jù)分析,基于Tableau、D3.js和Echarts等工具對(duì)數(shù)據(jù)進(jìn)行可視化和可視分析

根據(jù)中國(guó)大學(xué)排行榜官網(wǎng)(CNUR)專(zhuān)業(yè)排名及評(píng)級(jí)結(jié)果。北京大學(xué)、復(fù)旦大學(xué)和華東師范大學(xué)排名全國(guó)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專(zhuān)業(yè)前三,評(píng)級(jí)結(jié)果為S

三、招聘季,后續(xù)就業(yè)發(fā)展的三條路

基于數(shù)據(jù)科學(xué)的三個(gè)研究分支,在就業(yè)的時(shí)候會(huì)有三個(gè)方向,這也基本代表了目前數(shù)據(jù)分析人員發(fā)展的三條道路

1、人工智能方向:后續(xù)會(huì)從事算法的研究,包括算法設(shè)計(jì)、AB測(cè)試、模型調(diào)試,非常值錢(qián),要求就是數(shù)學(xué)基本功扎實(shí)。本身大模型就是這個(gè)方向

2、大數(shù)據(jù)技術(shù)方向:后續(xù)會(huì)從事數(shù)據(jù)處理工作,包括采集、加工、存儲(chǔ)、傳輸、平臺(tái)建設(shè),要求就是編程功底好。大模型本身也非常依賴(lài)

3、數(shù)據(jù)分析業(yè)務(wù)策略方向:后續(xù)會(huì)從事業(yè)務(wù)分析師、數(shù)據(jù)產(chǎn)品經(jīng)理工作,包括提數(shù)、分析、報(bào)告,商業(yè),要求就是綜合能力強(qiáng),人手不夠的時(shí)候就當(dāng)產(chǎn)品來(lái)上。大模型本身也需要數(shù)據(jù)策略產(chǎn)品經(jīng)理,一個(gè)大模型可能會(huì)有不同的版本,基于不同數(shù)據(jù)也可能訓(xùn)練出不同的結(jié)果。策略產(chǎn)品經(jīng)理的角色在于評(píng)估大模型的訓(xùn)練效果和制定優(yōu)化策略。

可以看出,數(shù)據(jù)分析這條路一直很值錢(qián),核心就是你要自己成長(zhǎng),能夠自我進(jìn)化

四、什么性格特質(zhì)適合數(shù)據(jù)分析師

今年奧運(yùn)會(huì)男乒1/4決賽樊振東VS張本智和的對(duì)決中,解說(shuō)的一句話(huà)很有感觸,拼到最后的已經(jīng)不是技術(shù),而是你的性格,你內(nèi)心想成為的那種人。我們都知道性格,實(shí)際上就是你面對(duì)一個(gè)事情時(shí)候下意識(shí)的那個(gè)反應(yīng),比如說(shuō)把你扔在陌生人當(dāng)中,突然有人向你說(shuō)話(huà)。你會(huì)不會(huì)回應(yīng)他。這個(gè)就跟你性格當(dāng)中的內(nèi)向跟外向有關(guān)。那么究竟什么樣的性格適合做數(shù)據(jù)分析師?

那測(cè)量性格的方法有很多種,比如說(shuō)MBTI、disc,那其中呢,我覺(jué)得MBTI比較全面,并且我身邊很多人都做過(guò),所以我知道我身邊的數(shù)據(jù)分析師都是什么樣的性格,所以我就拿MBTI做例子,跟大家做一個(gè)分享。MBTI呢,主要是通過(guò)四個(gè)維度來(lái)考察性格,分別是

1、外向E,內(nèi)向I

2、實(shí)感S,直覺(jué)N

3、理智T,情感F

4、判斷J,感知P

每個(gè)維度下有兩種類(lèi)型,總共四個(gè)維度。據(jù)我身邊的觀察,我身邊的數(shù)據(jù)分析師有大量的人都是STJ,也就是I和E無(wú)所謂,也就是內(nèi)向和外向并沒(méi)有明顯的區(qū)分,這兩個(gè)都可以,因?yàn)閮?nèi)向外向是相對(duì)的。然后偏務(wù)實(shí)、理智能夠很快決策,這個(gè)也很好理解。這里也分享下MBTI鏈接,大家可以自己花1分鐘時(shí)間去測(cè)試看下是否適合做數(shù)據(jù)分析師,特別是進(jìn)化出的大模型架構(gòu)師,很值錢(qián)!

本文由 @數(shù)據(jù)分析與人工智能 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)作者許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!