拒絕薅羊毛行為:AI產(chǎn)品經(jīng)理的工作全流程揭秘

3 評(píng)論 3747 瀏覽 31 收藏 8 分鐘

這篇文章的筆者主要講的是舉了一個(gè)可以篩選出愛(ài)薅羊毛用戶(hù)的項(xiàng)目例子,從而介紹關(guān)于AI產(chǎn)品落地的流程分析,大家一起往下看看吧!

上文簡(jiǎn)述了人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)和大模型的概念和關(guān)系,讓大家對(duì)這些名詞有了一個(gè)初步的印象。

今天我們通過(guò)一個(gè)篩選出薅羊毛用戶(hù)的項(xiàng)目,了解AI項(xiàng)目從0到上線的全流程,在此過(guò)程中,大家可以了解到產(chǎn)品經(jīng)理在每個(gè)環(huán)節(jié)中的職責(zé)和產(chǎn)出,對(duì)以后的學(xué)習(xí)和工作會(huì)很有幫助。

一、項(xiàng)目背景

有段時(shí)間,我發(fā)現(xiàn)負(fù)責(zé)的項(xiàng)目數(shù)據(jù)統(tǒng)計(jì)有些異常,細(xì)查之后,發(fā)現(xiàn)存在夜間偷數(shù)據(jù)的情況,大致行為路徑如下:

  1. 淘寶上買(mǎi)一批手機(jī)號(hào),注冊(cè)新賬號(hào)。
  2. 通過(guò)自動(dòng)薅羊毛的方式(新手禮包、每日簽到、周任務(wù)等),獲取免費(fèi)券等資源。
  3. 夜深人靜的時(shí)候,使用免費(fèi)券或積分批量下載數(shù)據(jù)。

亡羊補(bǔ)牢,猶未晚矣。我們決定開(kāi)發(fā)一套篩選薅羊毛用戶(hù)的產(chǎn)品,徹底堵住這個(gè)缺口。

二、產(chǎn)品定義

這個(gè)環(huán)節(jié)需要確定該項(xiàng)目的預(yù)期目標(biāo),定義要解決的具體問(wèn)題。

在和運(yùn)營(yíng)同事溝通后,確定了產(chǎn)品需求如下:

  1. 在領(lǐng)取新手禮包或周任務(wù)獎(jiǎng)勵(lì)時(shí),需要用戶(hù)綁定手機(jī)號(hào)(薅羊毛時(shí)簡(jiǎn)單卡一下,以免影響正常的用戶(hù)體驗(yàn))。
  2. 在使用券進(jìn)行下載操作時(shí),判斷是薅羊毛用戶(hù)的概率,并根據(jù)概率高低分成 正常、疑似、高危 三類(lèi)。
  3. 針對(duì)“疑似”用戶(hù),就觸發(fā) 極驗(yàn) 或 驗(yàn)證碼校驗(yàn) 等邏輯。針對(duì)高危用戶(hù),就鎖定賬號(hào),并在激活時(shí)要求綁定微信,避免再出現(xiàn)大量偷數(shù)據(jù)的情況。

其中AI相關(guān)的需求拆解如下:

  1. 基本需求:通過(guò)算法判斷用戶(hù)是否為薅羊毛用戶(hù),并根據(jù)概率分為 正常、疑似、高危 三類(lèi)。
  2. 離線/實(shí)時(shí)模式:支持實(shí)時(shí)判斷,所以應(yīng)該定義為實(shí)時(shí)模型。
  3. 覆蓋率:期望該模型的覆蓋率為100%,面向所有用戶(hù)。
  4. 傾向:盡可能找出所有羊毛黨,追求高“召回率”,可以接受一定程度的誤報(bào)。寧可錯(cuò)殺一千,不可放過(guò)一個(gè)。

三、技術(shù)預(yù)研

產(chǎn)品經(jīng)理把需求同步給技術(shù),技術(shù)需要預(yù)判現(xiàn)有的數(shù)據(jù)和算法是否可支撐需求實(shí)現(xiàn)。

如果現(xiàn)有數(shù)據(jù)不滿(mǎn)足需求,要么增加埋點(diǎn)補(bǔ)齊數(shù)據(jù),要么想辦法獲取目標(biāo)數(shù)據(jù),要么替換成其他類(lèi)似數(shù)據(jù)。

如果算法支持度不夠,可能需要調(diào)整需求內(nèi)容,以便達(dá)到更適配的效果。

以該項(xiàng)目為例,實(shí)時(shí)模式的話,可能會(huì)對(duì)原業(yè)務(wù)的響應(yīng)速度有一定影響,所以最后調(diào)整為離線模型,每天定時(shí)處理前一天的用戶(hù)數(shù)據(jù)。

四、數(shù)據(jù)收集

接下來(lái),就要根據(jù)技術(shù)預(yù)研的結(jié)果,從各種來(lái)源收集需要的數(shù)據(jù)了。

產(chǎn)品經(jīng)理需要基于對(duì)業(yè)務(wù)的深度理解,判斷哪些數(shù)據(jù)、哪些特征對(duì)模型提升有幫助,把自己想到的要點(diǎn)和技術(shù)溝通,得到更完善的數(shù)據(jù)集,再動(dòng)手去獲取數(shù)據(jù)。

比如該用戶(hù)是否主要在夜間活動(dòng)?操作頻率是否過(guò)高?短時(shí)間內(nèi)同一臺(tái)終端是否登錄過(guò)多個(gè)用戶(hù)?用戶(hù)是否觸發(fā)過(guò)新手引導(dǎo)?

盡可能準(zhǔn)確的找到羊毛黨用戶(hù)的特征,對(duì)模型質(zhì)量的提升會(huì)有極大的幫助。

獲取數(shù)據(jù)時(shí),不局限于自身的業(yè)務(wù)數(shù)據(jù),還可以獲取公司內(nèi)的中臺(tái)數(shù)據(jù),甚至可以購(gòu)買(mǎi)第三方外部數(shù)據(jù),或與其他公司聯(lián)合建模。

五、模型構(gòu)建

數(shù)據(jù)收集之后,就可以進(jìn)入模型構(gòu)建環(huán)節(jié)了。

模型構(gòu)建主要是技術(shù)的工作,但是產(chǎn)品經(jīng)理也必須知道具體的構(gòu)建流程,以便更好的配合和溝通,進(jìn)而準(zhǔn)確把控項(xiàng)目進(jìn)度。

模型構(gòu)建流程大概包括算法選擇、特征工程、模型訓(xùn)練、模型驗(yàn)證和模型融合等步驟,下篇文章我們會(huì)詳細(xì)介紹。

六、模型宣講、評(píng)估和驗(yàn)收

模型構(gòu)建完成后,產(chǎn)品經(jīng)理需要組織技術(shù)宣講訓(xùn)練好的模型,介紹內(nèi)容如下:

  • 使用的什么算法?為什么選這個(gè)算法?
  • 選用了哪些特征。
  • 訓(xùn)練集、測(cè)試集的大致情況。
  • 模型的測(cè)試結(jié)果。
  • 是否達(dá)到了預(yù)期?哪些指標(biāo)未達(dá)預(yù)期?未達(dá)預(yù)期的原因是什么。

宣講之后,產(chǎn)品經(jīng)理需要對(duì)模型進(jìn)行評(píng)估和驗(yàn)收,該環(huán)節(jié)也非常重要,至于如何選擇合適的評(píng)估指標(biāo),后續(xù)章節(jié)會(huì)詳細(xì)介紹。

如果評(píng)估結(jié)果有瑕疵,還需要對(duì)模型進(jìn)行優(yōu)化,優(yōu)化方式可能是調(diào)整算法參數(shù),也可能是調(diào)整特征,直到達(dá)到滿(mǎn)意的效果為止,驗(yàn)收通過(guò)。

七、業(yè)務(wù)開(kāi)發(fā)并上線

驗(yàn)收通過(guò)之后,技術(shù)會(huì)把模型部署到線上,并按之前和業(yè)務(wù)開(kāi)發(fā)同事約定的接口提供能力。

業(yè)務(wù)開(kāi)發(fā)完成相應(yīng)功能后,和模型接口聯(lián)調(diào)通過(guò),就可以進(jìn)入常規(guī)的走查、測(cè)試、上線流程了。

需要注意的是,模型上線后,還需要持續(xù)監(jiān)控模型的效果,若運(yùn)行一段時(shí)間后,發(fā)現(xiàn)模型效果有明顯衰減,就需要分析原因,并針對(duì)性的升級(jí)模型。

八、總結(jié)

本文通過(guò)一個(gè)篩選出薅羊毛用戶(hù)的項(xiàng)目,簡(jiǎn)單介紹了AI產(chǎn)品落地的全流程。下篇文章,我會(huì)詳細(xì)介紹模型構(gòu)建環(huán)節(jié)的詳細(xì)內(nèi)容,敬請(qǐng)期待。

本文由 @AI小當(dāng)家 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自 Unsplash,基于 CC0 協(xié)議

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 例子追求高召回率的同時(shí),是不是也要高精確率,因?yàn)檫^(guò)多的誤殺會(huì)嚴(yán)重影響正常用戶(hù)的體驗(yàn),得不償失

    來(lái)自遼寧 回復(fù)
    1. 個(gè)人看法,當(dāng)然越準(zhǔn)確越好了,但是一開(kāi)始模型還沒(méi)搭建出來(lái)總歸要有取舍,這是個(gè)假設(shè)的例子,得先有數(shù)據(jù)再定下一個(gè)目標(biāo),比如穩(wěn)定運(yùn)行后誤殺率是50%,下個(gè)階段目標(biāo)是20%

      來(lái)自上海 回復(fù)
  2. 學(xué)習(xí)到了!謝謝分享。

    來(lái)自美國(guó) 回復(fù)