從工業(yè)化到智能化,未來AB實(shí)驗(yàn)的終局
編輯導(dǎo)讀:工業(yè)化時(shí)代下的AB實(shí)驗(yàn)對(duì)互聯(lián)網(wǎng)公司來說,它的重要性已經(jīng)得到了時(shí)代的驗(yàn)證。隨著工業(yè)化向智能化過渡的這一過程中,AB實(shí)驗(yàn)將會(huì)迎來什么樣的結(jié)局,趨勢(shì)將會(huì)如何?本文給你答案,我們一起來看看。
前幾天讀到字節(jié)的一篇文章《9年70萬次實(shí)驗(yàn),字節(jié)跳動(dòng)首次揭秘A/B測(cè)試》 ,文章內(nèi)容暫且不論,主要想聊下這個(gè)標(biāo)題。
實(shí)驗(yàn)方面的權(quán)威著作《Trustworthy Online Controlled Experiments》將實(shí)驗(yàn)平臺(tái)按成熟度分成了crawl, walk, run, fly四個(gè)階段。
中國(guó)互聯(lián)網(wǎng)公司中,字節(jié)與快手其實(shí)都早已進(jìn)入了其中的最高階段fly,即AB實(shí)驗(yàn)的大規(guī)模自動(dòng)化,乃至事必AB。
這之后,筆者認(rèn)為AB實(shí)驗(yàn)的次數(shù)已不再是一個(gè)多么重要的數(shù)字,而平臺(tái)應(yīng)該向更高的階段去發(fā)展,從工業(yè)時(shí)代進(jìn)入到智能時(shí)代。
而在新的時(shí)代里,實(shí)驗(yàn)的數(shù)量實(shí)際上不會(huì)上升,反而會(huì)下降。
因?yàn)槠脚_(tái)將對(duì)海量的實(shí)驗(yàn)數(shù)據(jù)進(jìn)行知識(shí)挖掘與發(fā)現(xiàn),沉淀出更系統(tǒng)的業(yè)務(wù)知識(shí)體系,指導(dǎo)后續(xù)的策略迭代(可類比智能駕駛的L2階段),并最終構(gòu)建出一套預(yù)測(cè)體系,在實(shí)驗(yàn)之前,便對(duì)大量實(shí)驗(yàn)評(píng)估出其正負(fù)向結(jié)果(L4/L5階段)。
本文將剖析工業(yè)時(shí)代實(shí)驗(yàn)平臺(tái)存在的問題,并探討未來智能時(shí)代對(duì)這些問題的解決路徑。
一、工業(yè)時(shí)代的A/B實(shí)驗(yàn):?jiǎn)吸c(diǎn)模式下的效率與認(rèn)知兩大難題
1. 工業(yè)時(shí)代實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)目標(biāo)-單點(diǎn)模式
工業(yè)時(shí)代實(shí)驗(yàn)平臺(tái)的特征是大規(guī)模、自動(dòng)化。
平臺(tái)通過一系列通用模塊實(shí)現(xiàn)了各種實(shí)驗(yàn)低成本、大規(guī)模的并行測(cè)試,保障實(shí)驗(yàn)結(jié)果互不干擾(所謂“正交”),同時(shí)還給出詳盡的實(shí)驗(yàn)數(shù)據(jù)分析及顯著性檢測(cè)以供決策。
上述模式以單個(gè)實(shí)驗(yàn)作為其設(shè)計(jì)與操作的單位,每個(gè)策略單獨(dú)開實(shí)驗(yàn),單獨(dú)看效果。
更深層次地,筆者認(rèn)為,整個(gè)實(shí)驗(yàn)平臺(tái)以低成本測(cè)試單個(gè)想法為其設(shè)計(jì)目標(biāo)。甚至AB這個(gè)名字,也側(cè)面體現(xiàn)了低成本的目標(biāo)。
因?yàn)榻y(tǒng)計(jì)實(shí)驗(yàn)其實(shí)有很多方法,A/B只是其中最簡(jiǎn)單,理解成本也最低的一種實(shí)驗(yàn),正因如此才最有利于大規(guī)模實(shí)現(xiàn),而A/B也成了實(shí)驗(yàn)平臺(tái)的代名詞。
2. 單點(diǎn)模式下失控的成本:缺乏預(yù)判
但這個(gè)設(shè)計(jì)目標(biāo)中的成本,考慮的僅是實(shí)驗(yàn)的實(shí)施成本,并沒有考慮業(yè)務(wù)成本。
遺憾的是,業(yè)務(wù)成本才是總成本中的主體部分。
一個(gè)產(chǎn)品feature進(jìn)行實(shí)驗(yàn)的業(yè)務(wù)成本其實(shí)是相當(dāng)高的,尤其是其中的時(shí)間成本。
一個(gè)產(chǎn)品idea從創(chuàng)意到PRD、評(píng)審、到研發(fā)、封版、發(fā)版,要經(jīng)歷幾周,然后用戶更新版本,DA進(jìn)行實(shí)驗(yàn)分析,業(yè)務(wù)決定是否推全。
整個(gè)流程走下來,最快也要三周,經(jīng)常需要一個(gè)月以上。
這樣的速度,好像與我們平時(shí)說的快速迭代并不相符。
看起來,大廠的快速迭代可能更多是通過高并發(fā)來實(shí)現(xiàn)的,字節(jié)9年70萬次實(shí)驗(yàn),也就是平均每天200+實(shí)驗(yàn),我好像明白了什么。
那么,如何才能降低業(yè)務(wù)成本呢?從實(shí)驗(yàn)策略各階段所占的人天數(shù)來看,業(yè)務(wù)成本最主要是從研發(fā)階段才開始增加的。
所以降低成本,提升效率的關(guān)鍵問題在于預(yù)判,即在決定研發(fā)前,預(yù)判該想法能夠?qū)嶒?yàn)正向的概率。
3. 單點(diǎn)模式下迭代的難題:難以歸因
上面的環(huán)節(jié)其實(shí)還沒有說完,一個(gè)策略往往不是上了實(shí)驗(yàn)就能正向的。
業(yè)內(nèi)的基本事實(shí)是,大部分實(shí)驗(yàn)都是負(fù)向或不顯著的,且隨產(chǎn)品的不斷完善與成熟,實(shí)驗(yàn)要正向變得愈加困難。
而當(dāng)前期已投入大量成本時(shí),常會(huì)選擇繼續(xù)迭代。
隨著業(yè)務(wù)與實(shí)驗(yàn)的發(fā)展,負(fù)向迭代的需求也愈演愈烈,繼續(xù)推高了成本,同時(shí)又帶來了新的問題,如何確定實(shí)驗(yàn)迭代的方向?
迭代方向探索這個(gè)問題,往往要基于DA對(duì)原實(shí)驗(yàn)負(fù)向的歸因。
從本質(zhì)上來說,實(shí)驗(yàn)歸因問題,是要找到策略變量與結(jié)果變量之間缺失的因果鏈條。
即,我們通過實(shí)驗(yàn)已知實(shí)驗(yàn)策略A導(dǎo)致關(guān)鍵指標(biāo)Y正向或負(fù)向的變化,希望知曉其影響路徑,比如找到中間變量B或C,有A=>B, B=>C, C=>Y。
而負(fù)向?qū)嶒?yàn)迭代的問題,則是已知實(shí)驗(yàn)策略A導(dǎo)致關(guān)鍵指標(biāo)Y負(fù)向,希望找到其變體A’,能使Y正向。
目前解這類問題的一種自然思路是先嘗試歸因,理解清楚可被更直接操控的中間變量B或C后,通過調(diào)整策略為A’,來影響B(tài)或C,最終使得Y正向。
于是,我們可以把歸因視為迭代的基礎(chǔ)。
對(duì)于統(tǒng)計(jì)不顯著的實(shí)驗(yàn),是否推全要case-by-case具體分析。
但依據(jù)經(jīng)驗(yàn)法則:如果該feature增加了產(chǎn)品復(fù)雜度,提高了用戶認(rèn)知成本,一般不建議推全(Occam’s Razor: 如無必要,勿增實(shí)體)。
否則各種不顯著實(shí)驗(yàn)推全,產(chǎn)品會(huì)變得越來越復(fù)雜。
實(shí)驗(yàn)歸因問題往往比較困難,有兩個(gè)難點(diǎn),都與實(shí)驗(yàn)分析的單點(diǎn)模式有關(guān)。
1)實(shí)驗(yàn)歸因是個(gè)構(gòu)造性問題,需要構(gòu)造出中間變量
那用什么方法來構(gòu)造呢?目前DA側(cè)在進(jìn)行歸因時(shí),更多是通過維度下探來進(jìn)行定位,但嚴(yán)格來說定位不是歸因,未必能歸結(jié)到原因。
下探時(shí)也時(shí)常缺乏好的分析框架作為指導(dǎo),采用諸如用戶畫像之類的常用維度,實(shí)際可能與問題關(guān)系不大,我把這種方法稱之為旁(yuan)敲(mu)側(cè)(qiu)擊(yu)法。
還有的采用遍歷窮舉法,將常用維度全都下探一遍,如果能找到相關(guān)的則是萬幸,找不到那對(duì)于業(yè)務(wù)方也算有了交代,之后的迭代方向就交給業(yè)務(wù)自己去拍腦袋吧。
實(shí)際上,要解決歸因問題,需對(duì)業(yè)務(wù)機(jī)制有深入理解,本質(zhì)上構(gòu)造出整個(gè)因果關(guān)系鏈相當(dāng)于建立了一個(gè)業(yè)務(wù)模型。
這除了需要對(duì)業(yè)務(wù)具備基本認(rèn)知,還需對(duì)相關(guān)實(shí)驗(yàn)進(jìn)行研究與歸納,從中抽象出業(yè)務(wù)模型。
2)實(shí)驗(yàn)歸因常常是個(gè)欠定問題
所謂欠定是說,實(shí)驗(yàn)結(jié)果之所以表現(xiàn)為這樣,原因可能是B1,也可能是B2或C3。
單個(gè)實(shí)驗(yàn)蘊(yùn)含的信息可能不充分,不能唯一確定出是哪個(gè)原因。
實(shí)際上,歸因問題常常需要一個(gè)歸納-演繹的迭代過程(如下圖),需要有新的數(shù)據(jù)輸入才能更好判斷。
這可能需要設(shè)計(jì)新的實(shí)驗(yàn),或通過更多相關(guān)實(shí)驗(yàn)的研究,才能有“唯一”指向性,更嚴(yán)謹(jǐn)?shù)氐玫浇Y(jié)論。
因此,歸因問題不是僅靠邏輯推理就能解決的,而需要分析師經(jīng)過大量實(shí)踐,刻意練習(xí)與思考。
這首先需要我們有更中心化的知識(shí)沉淀與挖掘,擺脫單點(diǎn)模式,將大量實(shí)驗(yàn)的結(jié)果信息整合起來,才能有big picture,從中獲得洞察,有更大的自信來判斷究竟是怎么回事,并保障分析師解讀的可靠性與一致性(consistency)。
由此可見,工業(yè)時(shí)代,我們對(duì)于實(shí)驗(yàn)平臺(tái)的理解,往往停留在工程系統(tǒng)上,更多將其理解為一個(gè)功能性與評(píng)估/驗(yàn)證性的工具,因此未能很好降低業(yè)務(wù)成本,從根本上提高業(yè)務(wù)發(fā)展的效率。
提效的關(guān)鍵問題在于預(yù)判與歸因。
我們?nèi)绾文茉趯?shí)驗(yàn)前就較好預(yù)判實(shí)驗(yàn)成功的概率,從一開始就排除掉一些大概率負(fù)向?qū)嶒?yàn)?
同時(shí),當(dāng)負(fù)向發(fā)生時(shí)又如何更有效地找到迭代路徑?
這些問題,需要智能時(shí)代來解決。
二、智能時(shí)代的A/B實(shí)驗(yàn):網(wǎng)絡(luò)協(xié)同下預(yù)判與歸因雙重引擎
1. 智能時(shí)代實(shí)驗(yàn)平臺(tái)的設(shè)計(jì)目標(biāo)
智能時(shí)代的實(shí)驗(yàn)平臺(tái)具有一個(gè)硬幣的兩面。
- 一面是工程視角下的實(shí)驗(yàn)平臺(tái),即進(jìn)行實(shí)驗(yàn)的基礎(chǔ)設(shè)施,包括流量分配,數(shù)據(jù)評(píng)估等等,主要由工程團(tuán)隊(duì)來負(fù)責(zé);
- 另一面則是業(yè)務(wù)視角下的實(shí)驗(yàn)平臺(tái),是通過實(shí)驗(yàn)來最優(yōu)化業(yè)務(wù)發(fā)展整體效率的工具。
因此需要配備預(yù)判與歸因兩大智能引擎,以及DA/DS的介入。
那么預(yù)判與歸因這兩個(gè)問題又該如何解決呢?
從強(qiáng)化學(xué)習(xí)的EE框架來看,工業(yè)時(shí)代實(shí)驗(yàn)平臺(tái)上,每個(gè)實(shí)驗(yàn)都是單點(diǎn)實(shí)驗(yàn),只有Explore(探索),沒有Exploit(利用)。
智能時(shí)代則將更多利用實(shí)驗(yàn)之間的網(wǎng)絡(luò)協(xié)同來進(jìn)行Exploit,我認(rèn)為有兩個(gè)潛在的方向:
表層是數(shù)據(jù)驅(qū)動(dòng)的方法,目前階段最主要是利用實(shí)驗(yàn)策略的相似性進(jìn)行遷移學(xué)習(xí)。
底層則從第一性原理出發(fā),假設(shè)我們可以抽象出一些普適的,有業(yè)務(wù)意義的關(guān)鍵概念,如用戶體驗(yàn)等心理變量,建立分析框架,同時(shí)結(jié)合實(shí)驗(yàn)數(shù)據(jù)等各類型數(shù)據(jù),進(jìn)行分析與度量,從而預(yù)判實(shí)驗(yàn)的正負(fù)向,并在同時(shí)解決歸因問題。
2. 表層策略:遷移學(xué)習(xí)
遷移學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域,可以最大限度地利用有標(biāo)注領(lǐng)域的知識(shí),來輔助目標(biāo)領(lǐng)域的知識(shí)獲取和學(xué)習(xí)。
比如,國(guó)際象棋和中國(guó)象棋比較相近,有部分棋子相同、走法相近,計(jì)算機(jī)學(xué)會(huì)了國(guó)際象棋,運(yùn)用遷移學(xué)習(xí)的方法,只用觀摩較少的棋局,就可以學(xué)會(huì)中國(guó)象棋。
遷移學(xué)習(xí)的核心在于,找到源領(lǐng)域和目標(biāo)領(lǐng)域之間的相似性,并加以合理利用。
這里的源領(lǐng)域和目標(biāo)領(lǐng)域,可以認(rèn)為分別對(duì)應(yīng)于我們已有的實(shí)驗(yàn),和正準(zhǔn)備進(jìn)行的實(shí)驗(yàn)。
例如短視頻巨頭快手,目前已有不少產(chǎn)品,國(guó)內(nèi)有主App、極速版。
字節(jié)作為App工廠,產(chǎn)品就更數(shù)不勝數(shù)。另一方面,同一產(chǎn)品內(nèi)的不同產(chǎn)品模塊,也常有共性,比如短視頻App的不同F(xiàn)eed間,這些都提供了相似性。
就使用場(chǎng)景的不同,這里的遷移學(xué)習(xí)又可分為兩類:
1)歸納式遷移學(xué)習(xí)(inductive transfer learning)
在這種學(xué)習(xí)方法中,兩個(gè)實(shí)驗(yàn)對(duì)每個(gè)個(gè)體產(chǎn)生的效果可以不同(源Task與目標(biāo)Task可以不同)。
因?yàn)椴煌?,就要求在目?biāo)領(lǐng)域中必須有一些已標(biāo)注的數(shù)據(jù),才能進(jìn)行學(xué)習(xí)。
實(shí)踐中,上面提到有一些新App用戶量較小,做實(shí)驗(yàn)常有不置信的問題。這一問題歷史上曾經(jīng)嘗試過一些方差縮減(variance reduction)方法,但實(shí)際對(duì)方差的降幅有限,不能根本上解決問題。
更可行的思路應(yīng)該是結(jié)合更大的數(shù)據(jù)集(核心App相似實(shí)驗(yàn)的數(shù)據(jù)),進(jìn)行多任務(wù)學(xué)習(xí)。
具體需結(jié)合實(shí)際場(chǎng)景,嘗試基于實(shí)例的學(xué)習(xí)算法、基于超參數(shù)的學(xué)習(xí)算法等,這里不再贅述。
2)轉(zhuǎn)導(dǎo)式遷移學(xué)習(xí)(transductive transfer learning)
在這種學(xué)習(xí)方法中,需假設(shè)兩個(gè)實(shí)驗(yàn)對(duì)每個(gè)個(gè)體產(chǎn)生的效果相同。
但在不少情況下,這個(gè)假設(shè)還是過于強(qiáng)了,比如動(dòng)圖實(shí)驗(yàn)在發(fā)現(xiàn)頁與關(guān)注頁的表現(xiàn)就不一樣。
實(shí)踐中,我們需要研發(fā)一些方法來判斷該假設(shè)是否合理。
由此可知,遷移學(xué)習(xí)目前對(duì)于我們的場(chǎng)景仍有較大局限性。
- 首先該方法要求此前已有相似實(shí)驗(yàn),才能進(jìn)行遷移,適用場(chǎng)景相對(duì)??;
- 其次,歸納式遷移學(xué)習(xí)需要當(dāng)前實(shí)驗(yàn)已有樣本,這可以解決小樣本實(shí)驗(yàn)的置信問題,但不能事先進(jìn)行預(yù)測(cè)。而轉(zhuǎn)導(dǎo)式遷移學(xué)習(xí)在不少場(chǎng)景下假設(shè)過強(qiáng),實(shí)踐中,也需要研發(fā)方法來判斷假設(shè)是否合理;
- 最后,遷移不能解決歸因問題,不能直接帶來認(rèn)知。
因此,筆者認(rèn)為遷移學(xué)習(xí)可以在恰當(dāng)場(chǎng)景下作為預(yù)測(cè)系統(tǒng)的重要補(bǔ)充,在有相似實(shí)驗(yàn)的場(chǎng)景下,預(yù)測(cè)或能更準(zhǔn)確。
但我們還需要研發(fā)更好的方案,作為實(shí)驗(yàn)決策系統(tǒng)的主戰(zhàn)場(chǎng)。
3. 底層策略:業(yè)務(wù)結(jié)構(gòu)模型
在給出預(yù)判問題的解決方案前,讓我們先回顧一下,產(chǎn)品經(jīng)理是如何做類似決策的?
以產(chǎn)品聞名的騰訊有一套基于用戶價(jià)值的產(chǎn)品方法論,提倡一切以用戶價(jià)值為歸依,通過將自己帶入普通用戶,人同此心地去感受與體驗(yàn)產(chǎn)品,思考產(chǎn)品對(duì)于用戶的價(jià)值。
這種方法特別強(qiáng)調(diào)同理心,即“一秒變小白”的能力,產(chǎn)品經(jīng)理快速將自己對(duì)產(chǎn)品的所有已知信息抹除,讓自己和目標(biāo)用戶具有相同的視角。
時(shí)刻審問自己:如果我是用戶,會(huì)使用這個(gè)功能嗎?一些名家的原話如下:
① 馬化騰:任何產(chǎn)品的核心功能,其宗旨都是能對(duì)用戶有所幫助,能夠解決用戶某一方面的需求,如節(jié)省時(shí)間、解決問題、提升效率等,而產(chǎn)品經(jīng)理就是要將這種核心能力做到極致,通過技術(shù)實(shí)現(xiàn)差異化。
② 張小龍(在提到微信新上線的7.0版本時(shí)):我在新舊版本切換使用2個(gè)月后,我就不愿意切換回舊版本了 ,所以我想想用戶會(huì)喜歡這個(gè)版本,只是需要時(shí)間來適應(yīng)。
③ 張小龍:個(gè)人對(duì)用戶體驗(yàn)的目標(biāo)是,做到“自然”?!白匀弧笨赡苋菀讓?dǎo)致玄學(xué),因此這里想強(qiáng)調(diào)的是,“自然”的思維方式一般是需要長(zhǎng)期的非常理性的訓(xùn)練才能獲得,而不是突然幻想自己獲得了一種使用“自然原則”的能力。
記得知乎上有個(gè)問題問“喬布斯為什么能憑直覺知道該怎么做”。
我認(rèn)為沒有任何人有天生的可重復(fù)的直覺來立即成為一個(gè)領(lǐng)域的專業(yè)人員。
比如,對(duì)于復(fù)雜事物,如何“抽象”為一個(gè)簡(jiǎn)單模型,是需要大量案例鍛煉的。
但是,如果經(jīng)過一萬小時(shí)的有意識(shí)的朝某個(gè)方向的訓(xùn)練(比如對(duì)“自然”的反復(fù)思考和實(shí)際工作練習(xí)),并且是極為理性的思維和實(shí)踐訓(xùn)練,是可以獲得一些直覺的。
大量的理性訓(xùn)練有助于形成一種對(duì)同類事物的識(shí)別模式,這種模式形成直覺。
比如大部分中國(guó)人其實(shí)是沒有經(jīng)受過“簡(jiǎn)單是美”的訓(xùn)練的,表現(xiàn)在現(xiàn)實(shí)中,很多人其實(shí)是很難接受一套極簡(jiǎn)主義的裝修風(fēng)格的居室的。
只有當(dāng)對(duì)“極簡(jiǎn)”有反復(fù)體驗(yàn)和思考,才能將“簡(jiǎn)單是美”變成骨子里的審美觀,并體現(xiàn)在設(shè)計(jì)中。
俞軍公式:產(chǎn)品的用戶價(jià)值=(新體驗(yàn)-舊體驗(yàn))-替換成本。
筆者自己高度認(rèn)同上述方法論,但也認(rèn)為這套方法用于實(shí)驗(yàn)預(yù)判時(shí)會(huì)存在一些問題。
- 實(shí)驗(yàn)正負(fù)向的問題,很需要定量思維,因?yàn)槎际歉鞣N因素的權(quán)衡交互,一些定性的方法實(shí)踐中往往不能給出直接的決策建議;
- 這套方法不太scalable,按張小龍與俞軍的說法,要做好產(chǎn)品決策,需要經(jīng)過反復(fù)思考,一萬小時(shí)的刻意練習(xí)才能練就相應(yīng)的直覺,構(gòu)建心理表征。所以這套方法,對(duì)人的素質(zhì)與經(jīng)驗(yàn)要求有點(diǎn)高,且掌握之后,也無法高效地傳遞給他人。
我們認(rèn)為,從歷史趨勢(shì)來看,未來的決策方式會(huì)更分布式、更scable,在基本的理論框架下,新的實(shí)驗(yàn)不斷創(chuàng)造新的數(shù)據(jù),從而不斷迭代、更新原有的決策模型。
筆者在一開始接觸產(chǎn)品分析時(shí),直覺上便希望建立這樣一套決策體系(雖然被告知很難、不可能),一年后因?yàn)橐恍╇H遇,始有心得,提出一套用戶體驗(yàn)(UE)結(jié)構(gòu)模型。
之后近兩年的時(shí)間里,有機(jī)會(huì)時(shí)便去預(yù)測(cè)各種實(shí)驗(yàn)的結(jié)果,驗(yàn)證該理論,看起來它多少經(jīng)受住了時(shí)間的考驗(yàn),雖然過程中需要技巧,并更完善的度量結(jié)果。
幸運(yùn)的是,筆者發(fā)現(xiàn),這一模型恰巧也是解決許多實(shí)驗(yàn)歸因問題的關(guān)鍵所在。
歸因問題需要我們建立一個(gè)合適的分析框架作為瞄準(zhǔn)器,而不是常規(guī)性地拆分各種常用維度,這個(gè)框架需要切近業(yè)務(wù)場(chǎng)景,而對(duì)于產(chǎn)品實(shí)驗(yàn)的歸因,最直接的不就是產(chǎn)品交互,產(chǎn)品體驗(yàn)的角度嘛。
所以,UE結(jié)構(gòu)模型,恰好提供了這樣的工具,來幫助我們分解相關(guān)問題。
更一般地,對(duì)于各種業(yè)務(wù)場(chǎng)景的實(shí)驗(yàn),我們可嘗試構(gòu)建相應(yīng)的業(yè)務(wù)結(jié)構(gòu)模型。
這個(gè)模型包括兩部分,一方面有一個(gè)合理的理論框架,連接了關(guān)鍵變量Y及其主要影響因素Bi。
然后我們考察實(shí)驗(yàn)策略A如何影響B(tài),以及最終對(duì)Y的綜合影響。
另一方面我們需要能定量刻畫Bi,通過大量實(shí)證數(shù)據(jù),來自AB、科學(xué)實(shí)驗(yàn)或是用研、用戶反饋等。
具體的業(yè)務(wù)結(jié)構(gòu)模型不一而足,但不少重要的模型基于一定的心理變量,這些變量以前往往未被很好探究并賦予結(jié)構(gòu),當(dāng)然我們需要這些變量有一定的信度與效度,從而是真正有意義與可測(cè)量的。
這當(dāng)中最通用的有用戶體驗(yàn)結(jié)構(gòu)模型,用戶心智模型等。
用戶體驗(yàn)更適合解決當(dāng)前產(chǎn)品的形態(tài)優(yōu)化問題。用戶需求與心智模型則更多應(yīng)用于新產(chǎn)品的成敗這樣一個(gè)更復(fù)雜與困難的問題分析中。
在之后的一系列文章中,筆者將不揣淺陋,更詳細(xì)地闡述一些業(yè)務(wù)結(jié)構(gòu)模型,來初步實(shí)現(xiàn)實(shí)驗(yàn)的預(yù)判與歸因。
預(yù)測(cè)體系的好處是可證偽,也歡迎大家給出各種case,來驗(yàn)證這種理論,更新我的認(rèn)知。
#專欄作家#
作者:孟敬慈,快手?jǐn)?shù)據(jù)科學(xué)家
本文公眾號(hào):趙小洛洛洛,人人都是產(chǎn)品經(jīng)理專欄作家。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載
題圖來自Pexels,基于CC0協(xié)議
- 目前還沒評(píng)論,等你發(fā)揮!