一個(gè)讓風(fēng)控模型工作如此簡(jiǎn)單的決策邏輯

0 評(píng)論 1565 瀏覽 5 收藏 12 分鐘

在風(fēng)控模型的開(kāi)發(fā)與優(yōu)化中,許多從業(yè)者常常陷入無(wú)盡的特征挖掘、標(biāo)簽調(diào)整和模型迭代中,卻忽略了核心問(wèn)題:如何高效地提升模型的價(jià)值。本文從風(fēng)控模型的三大痛點(diǎn)出發(fā),指出模型開(kāi)發(fā)中真正值得投入的優(yōu)化方向,供大家參考。

模型訓(xùn)練,就是模式識(shí)別,模型本身是一個(gè)復(fù)雜的函數(shù)。模型越復(fù)雜,你就可以理解這個(gè)函數(shù)最強(qiáng),模式識(shí)別地越精準(zhǔn)。

一個(gè)想法值不值得做,你只需要判斷它有沒(méi)有信息增益,以及大概有多大,后者尤其重要。建模是其實(shí)現(xiàn),想法本身的價(jià)值是模型價(jià)值的上限。

而判斷一個(gè)想法有多大的信息增益,基本都可以在事前,不需要建模去試。

如果你知道這一點(diǎn),并且掌握基本的事前判斷能力,你的風(fēng)控模型工作就必然是如此之簡(jiǎn)單。

本文要做的就是闡述這兩點(diǎn)。如果此番決策邏輯被清晰地闡述,就必然得出了一個(gè)讓很多人羞愧的結(jié)論:如果你做模型做得很忙很累很頭大,不僅不能說(shuō)明你牛逼你努力,反而說(shuō)明的是你不懂風(fēng)控。

很好,我寫(xiě)了一個(gè)很有力的開(kāi)頭。?

常常引發(fā)無(wú)數(shù)模型同學(xué)熬夜加班掉頭發(fā)的困擾,大概都在三點(diǎn)優(yōu)化上:特征、標(biāo)簽和客群。

我們一個(gè)一個(gè)說(shuō)。

一、特征優(yōu)化

開(kāi)發(fā)新特征、引入新的數(shù)據(jù)源,在已有的特征域上進(jìn)一步衍生特征,都在此列。這三點(diǎn)優(yōu)化,對(duì)模型KS有多大的提升?你可以結(jié)合你的經(jīng)驗(yàn)思考這個(gè)問(wèn)題。

如果說(shuō)引入一個(gè)新的數(shù)據(jù)維度,模型效果提升10%,那么對(duì)該數(shù)據(jù)維度過(guò)度衍生特征,其增益還得乘10%。??????????????

例如你引入了銀聯(lián)銀杏分,把它融合進(jìn)你的A卡模型里,效果提升10%,這是很合理的大致范圍,KS從30變成了33;假如你去銀聯(lián)聯(lián)合建模,定制一個(gè)模型,再把它融合進(jìn)你的A卡模型里,也許KS能更高一點(diǎn),例如34;假如你嫌棄銀聯(lián)底層變量不夠,你硬要強(qiáng)行衍生更多變量,再建模型,融入A卡,那KS幾乎還是34,可能是34.1、34.3、34.5,絕對(duì)不會(huì)變成35。????????????

再例如征信數(shù)據(jù),從幾百個(gè)變量,衍生到幾千個(gè)變量,到幾萬(wàn)個(gè)變量,對(duì)KS的提升,頂多有一次10%,很快就邊際遞減到1%,到忽略不計(jì)。??????????????????????????

因?yàn)樾畔⒃隽侩S著特征數(shù)量邊際遞減。緯度爆炸的價(jià)值是那個(gè)1%,不是10%。

1%的價(jià)值做還是不做?如果不麻煩,當(dāng)然可以做。但如果這個(gè)1%只能用在很小的客群分支上,那就不用做了。

例如,一個(gè)很新奇的想法,它可能有點(diǎn)用,但是因?yàn)樽龇ㄟ^(guò)于奇怪,有較大的操作風(fēng)險(xiǎn),策略最多會(huì)在一個(gè)特別小的分支流量上應(yīng)用,1%的增益,疊乘一個(gè)10%的流量,再加上策略應(yīng)用對(duì)模型性能的折損,這個(gè)項(xiàng)目你做嗎?

二、標(biāo)簽優(yōu)化

涉及標(biāo)簽優(yōu)化的模型工作,主要就是換不同標(biāo)簽做不同的模型。長(zhǎng)期風(fēng)險(xiǎn)表現(xiàn)做一個(gè)模型,短期風(fēng)險(xiǎn)表現(xiàn)做一個(gè)模型,例如mob12和mob6,甚至mob3、FPD。

既然有長(zhǎng)期短期,進(jìn)一步就有長(zhǎng)短期,短期好長(zhǎng)期壞怎么辦?是不是要建三個(gè)模型????????????????????

長(zhǎng)短期、長(zhǎng)期、短期,它們有等式關(guān)系,這意味著其中任意兩個(gè)的信息量就是全部的信息總量。建兩個(gè)模型就等于三個(gè)模型,f_長(zhǎng)短期=g(f_長(zhǎng)期, f_短期),這個(gè)g是簡(jiǎn)單的,留給策略就好了。

甚至我們還可以這樣理解,短期的壞最壞,長(zhǎng)期的壞比短期的壞略好,長(zhǎng)期的好最好,二分建模的時(shí)候,長(zhǎng)期還是短期,無(wú)非是二分的gap大小的問(wèn)題。

長(zhǎng)期和短期的信息量也不過(guò)是10%這個(gè)級(jí)別的差異而已。兩個(gè)模型相比一個(gè)模型,也不過(guò)是10%這個(gè)級(jí)別的增益而已。

基于此邏輯,如果一個(gè)模型在一個(gè)標(biāo)簽下好于另一個(gè)模型,那就是各種標(biāo)簽下都好。你不用關(guān)心他們的建模目標(biāo)是什么。當(dāng)然,我們說(shuō)的是一般情況。

從樸道、百行那里給你10個(gè)評(píng)分產(chǎn)品,你去測(cè)試,完全不需要考慮這些產(chǎn)品是基于什么樣的標(biāo)簽做成的。你只關(guān)心絕對(duì)效果及其可靠性,和價(jià)格。???????????????????????????

三、客群優(yōu)化

這里主要包括,分客群建模和常規(guī)化的迭代模型,他們本質(zhì)上都是樣本即客群的差異化。??????????

兩個(gè)完全不同的客群分別建模是有必有的,例如12%、24%、36%這樣不同定價(jià)的客群,例如花唄、借唄這種不同類(lèi)型的產(chǎn)品。???????????????????????????????????????????????????????????

但如果你沒(méi)有資源這樣分別建模的話,你把不同客群的樣本合在一起建模也是可以的。復(fù)雜模型會(huì)自動(dòng)解決樣本差異問(wèn)題,當(dāng)你合理增加模型復(fù)雜度,一個(gè)模型相比多個(gè)模型的信息量的減少會(huì)越來(lái)越小。

如果你不太相信,我們換一個(gè)說(shuō)法,以樹(shù)模型為例:分客群建??梢钥醋鞯谝粚臃至堰M(jìn)行了手動(dòng)分群,合并建模就是留給算法自己分。如果你保證后者的復(fù)雜度和前者一樣,樹(shù)深+1或棵樹(shù)x2,模型的信息量能有多大區(qū)別??

當(dāng)然,有別的原因限制你不同產(chǎn)品各自建模,例如它們背后的可衍生特征不一樣,組織架構(gòu)權(quán)責(zé)有別。????????????

所以,如果你有多個(gè)產(chǎn)品,多個(gè)客群,要和某個(gè)數(shù)據(jù)源聯(lián)合建模,完全不需要分客群建立多個(gè)模型,你只需要合理構(gòu)建你的樣本組合。??????????????

模型迭代也是一樣,其客群差異由時(shí)間界定。把新樣本加入進(jìn)來(lái),不要只要新樣本。該話題我們已經(jīng)討論足夠多了,到此為止吧。如你需要,請(qǐng)看《什么是好迭代》及文中指向的三篇文章。????????????????????????

到了該建立方法論的時(shí)候了。

我們的討論有兩個(gè)關(guān)鍵詞:信息量和邊際遞減。我們做更多模型的努力,只會(huì)帶來(lái)邊際遞減的信息增量。

我要借助結(jié)構(gòu)力學(xué)中一階和二階的概念。結(jié)構(gòu)在受力后會(huì)產(chǎn)生形變,一般而言結(jié)構(gòu)變形是微小的,可以忽略變形對(duì)內(nèi)力分布的影響,這就是一階分析。如果我們考慮形變?chǔ)?,結(jié)構(gòu)在承受豎向荷載P時(shí)因形變會(huì)產(chǎn)生附加彎矩(即P-Δ效應(yīng))從而導(dǎo)致結(jié)構(gòu)進(jìn)一步變形,這是二階效應(yīng)。??

一階是直接的,二階是間接的;一階是先的,二階是后的;一階是好做的,二階是不好做的……??????

我要總結(jié)的底層邏輯是,模型開(kāi)發(fā)存在一階效用和二階效用,一階效用值得做,二階效用不值得做。?

一階的增益是你決策的依據(jù),二階不是,二階的價(jià)值不是你決策的依據(jù),是你資源過(guò)??梢园才鸥傻氖虑?。

當(dāng)你的業(yè)務(wù)目標(biāo),例如余額規(guī)模和風(fēng)險(xiǎn)指標(biāo),還有很大差距的時(shí)候,你肯定要找一些事情做,但不是什么都有用,去找具備一階效用的事做,不要找二階效用的事做。

如果你業(yè)務(wù)玩不下去了,卻提需求給模型同學(xué)說(shuō)必須靠你這個(gè)二階優(yōu)化,不然業(yè)務(wù)就黃了,那不是壞就是蠢,你應(yīng)該去尋求其他的解決方案。

例如去找更好的流量,去找更有效的三方數(shù)據(jù),不要去做無(wú)窮個(gè)特征,做無(wú)數(shù)個(gè)模型。

我見(jiàn)過(guò)很多無(wú)效的項(xiàng)目,浪費(fèi)了很多人無(wú)數(shù)的時(shí)間。那些辛辛苦苦加班熬夜的時(shí)間,不僅毫無(wú)意義,還起到了反重用:它讓你對(duì)工作是如此的厭倦和疲憊,以至于你的成長(zhǎng)還不如一天就上八小時(shí)可以獲得的那么大。

當(dāng)你把時(shí)間都花在沒(méi)有意義的建模試驗(yàn)和調(diào)優(yōu)上,你不焦慮嗎?對(duì)于只有二階效用甚至更高階效用的任務(wù),最好的做法就是拒絕掉這樣的項(xiàng)目。拖黃掉不會(huì)有多大的損害,做好了也沒(méi)有多大的益處。

不幸的是,大部分團(tuán)隊(duì),80%的時(shí)間都在做只有二階效用的東西,20%在做一階效用。

前面我說(shuō):如果你做模型做得很忙很累很頭大,不僅不能說(shuō)明你牛逼你努力,反而說(shuō)明的是你不懂風(fēng)控。好吧,我承認(rèn),我太嚴(yán)格了。你說(shuō)你身不由己,但既然如此,何必內(nèi)耗?

再一次強(qiáng)調(diào),經(jīng)驗(yàn)讓工作更輕松。如果你沒(méi)有,你一定心存懷疑,請(qǐng)務(wù)必相信你的懷疑。

我可以下這個(gè)斷言:任何人,如果模型工作做得累得要死,都是因?yàn)檫`背了本文所提的決策邏輯。你應(yīng)該知曉這件事情,想清楚這個(gè)違背是因?yàn)槭裁?,再想辦法改善自己的處境。

最后,讓我們給我們的決策邏輯起一個(gè)宏大的口號(hào),就像AI大模型那樣:

Less work, more value.

本文由人人都是產(chǎn)品經(jīng)理作者【雷帥】,微信公眾號(hào):【雷帥快與慢】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自 Pixabay,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!