国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

對產(chǎn)品經(jīng)理來說，尤其是大公司里的策略產(chǎn)品經(jīng)理，每一次的策略改進(jìn)都需要拿出實(shí)實(shí)在在的證據(jù)來說明新策略的效果。有時(shí)候，新策略有好的效果，這當(dāng)然是我們希望看到的，但有時(shí)候也會(huì)失手。但是無論數(shù)據(jù)是否好看，你都需要拿出準(zhǔn)確可信的數(shù)據(jù)來說明策略的效果，并根據(jù)評估效果做出最終決策，效果優(yōu)則使用，效果劣則改進(jìn)。而能讓你做出靠譜決策的基礎(chǔ)，就是靠譜的效果評估。

一個(gè)靠譜的效果評估，首先要有明確和合理的評估標(biāo)準(zhǔn)，為了給后續(xù)評估相關(guān)的工作提供指導(dǎo)，這個(gè)標(biāo)準(zhǔn)甚至是在設(shè)計(jì)策略之前都已經(jīng)確定了的。評估標(biāo)準(zhǔn)規(guī)定的是我們用哪些維度的數(shù)據(jù)來體現(xiàn)策略的效果，如果說策略的優(yōu)化是不斷的朝著一個(gè)方向前進(jìn)，那么評估標(biāo)準(zhǔn)就是指引前進(jìn)方向的路標(biāo)。正是因?yàn)樵u估標(biāo)準(zhǔn)的路標(biāo)屬性，所以明確、合理是對評估標(biāo)準(zhǔn)的基本要求。明確是指方向是唯一的，或者有時(shí)候是主要方向是唯一的，這個(gè)方向，一般也是和策略改進(jìn)的方向一致的。比如策略產(chǎn)品常見的策略優(yōu)化目標(biāo)點(diǎn)擊率、使用率、轉(zhuǎn)化率等等。合理是指評估的數(shù)據(jù)維度是和策略產(chǎn)品目標(biāo)高度相關(guān)的，如果你的策略優(yōu)化的是列表的展示順序，那你就不能把列表召回的內(nèi)容質(zhì)量作為評估標(biāo)準(zhǔn)。

評估標(biāo)準(zhǔn)確定之后，后續(xù)就是貫穿產(chǎn)品策略上線前后的評估過程，主要包括效果預(yù)估、離線評估、線上評估三步。

效果預(yù)估是產(chǎn)品經(jīng)理根據(jù)項(xiàng)目的性質(zhì)，借鑒已有的一些數(shù)據(jù)，在項(xiàng)目還沒有啟動(dòng)之前做的對策略效果的一個(gè)大致評估。比如，我們需要對用戶搜索A類關(guān)鍵詞無結(jié)果的情況做優(yōu)化，這種詞的搜索比例是10%，而與A類詞相似的B類詞的搜索結(jié)果到支付的轉(zhuǎn)化率是8%，那么策略上線之后影響范圍是10%的搜索次數(shù)，再預(yù)估A類詞搜索結(jié)果到支付的轉(zhuǎn)化率也是8%，那么理論上，策略上線之后能夠提高10%*8%的轉(zhuǎn)化率。

從性質(zhì)我們就可以知道，這種預(yù)估是不可能完全準(zhǔn)確的，但是，無法準(zhǔn)確絕對不是不去做效果預(yù)估的借口。效果預(yù)估的值是一個(gè)策略效果的基準(zhǔn)線，它能夠?yàn)椴呗酝瓿缮暇€之后的效果提供一個(gè)對比標(biāo)準(zhǔn)，以直觀的說明新策略是否有效，或者更功利的去說，效果預(yù)估往往是項(xiàng)目立項(xiàng)的數(shù)據(jù)支持，甚至?xí)蔀槟愕腒PI。

離線評估是策略上線的最后一道檢驗(yàn)程序，離線評估效果的好壞決定了策略是否有上線策略測試的機(jī)會(huì)。

離線評估有兩種方式，一種是最原始的人肉檢查，一種是機(jī)器評估。

人肉檢查好理解，這就是憑人眼對策略生效場景一個(gè)個(gè)（Case By Case）的去驗(yàn)證。以前面說過的搜索策略優(yōu)化的為例，我們拿A類詞去搜索服務(wù)上測試，看新的策略下A類詞的搜索結(jié)果是否符合我們的預(yù)期（判斷如何算達(dá)到預(yù)期需要一套合理的評估工具，暫且不表），達(dá)到預(yù)期才算離線評估通過，否則就需要繼續(xù)優(yōu)化。

機(jī)器評估的工作原理其實(shí)人肉檢查一樣，只是在某些情況下，機(jī)器評估能夠覆蓋更多的場景，更能從全局場景下來說明效果好壞。

離線評估通過之后，策略就可以上線測試了。為什么一定要進(jìn)行線上測試呢？如果離線評估確認(rèn)策略有效，是不是就可以不經(jīng)過線上測試呢？不行！因?yàn)椴徽撃憧紤]的有多么全面，不論產(chǎn)品和工程師能力有多么強(qiáng)經(jīng)驗(yàn)有多么足，你也不可能完完全全考慮真實(shí)環(huán)境的方方面面，總會(huì)有你遺漏的地方，所以只有在真實(shí)環(huán)境下測試有效的策略，才是真正有效的策略，應(yīng)該說線上測試是檢驗(yàn)策略的唯一標(biāo)準(zhǔn)。

效果評估除了驗(yàn)證策略效果優(yōu)劣之外，還能給深入的策略效果分析、后續(xù)改進(jìn)提供數(shù)據(jù)支持，甚至能夠在新策略線上效果的數(shù)據(jù)中挖掘出新的有價(jià)值數(shù)據(jù)。

評估內(nèi)容

前面已經(jīng)提到，效果評估一般有效果預(yù)估、離線評估和線上測試三步，這三個(gè)評估從需求最開始啟動(dòng)開始，一直到需求正式上線前結(jié)束，就像是流水線上的一系列檢驗(yàn)程序，保證最終呈現(xiàn)給用戶的是最好的策略。由于這三個(gè)評估處于產(chǎn)品設(shè)計(jì)的不同階段，作用和目的也不盡相同，因而評估方式和評估維度也存在著或大或小的差異。下面將對這三種評估做細(xì)致的介紹和分析。

1、效果預(yù)估

效果預(yù)估最主要的作用是評估一個(gè)需求的價(jià)值，它往往構(gòu)成需求文檔的前半部分，它需要說明某個(gè)需求在完成之后預(yù)計(jì)能解決多少問題，帶來多少收益。或許你已經(jīng)發(fā)現(xiàn)了，往實(shí)際了說，我們需要用效果預(yù)估來說服你的Leader以及合作伙伴，給自己的產(chǎn)品爭取足夠的資源和支持，如果你恰好是在一個(gè)產(chǎn)品經(jīng)理不那么強(qiáng)勢或者資源緊張的公司，其重要性不言而喻。除了這些比較實(shí)際的原因，效果預(yù)估能夠讓你對你將要做的事情心里有數(shù)，而這個(gè)數(shù)，會(huì)是需求進(jìn)行中許多重要決策的基礎(chǔ)，比如根據(jù)需求各細(xì)節(jié)部分重要程度調(diào)整需求開發(fā)順序，設(shè)定需求進(jìn)展里程碑，砍掉部分不重要的需求等等。

效果預(yù)估很重要，那么如何才能做好需求預(yù)估呢？四字總結(jié)：合理類比。在需求正式上線前，需求的效果確實(shí)是很難確定的，或許你能掌握一些數(shù)據(jù)，比如舊策略對多少比例的情境無效，或者舊策略壞的程度如何（根據(jù)評估標(biāo)準(zhǔn)來確定），但是新策略能多大程度解決問題，只有先知才能知道。這種情況下，擺在我們面前的能夠采用的預(yù)估方式也就是拍腦袋和類比，在某些經(jīng)驗(yàn)豐富的PM哪里，拍腦袋其實(shí)是已經(jīng)在腦子里進(jìn)行了類比，但是如果你希望你的需求能夠順利推進(jìn)的話，我們依然謹(jǐn)慎使用這種方式（雖然幾乎每個(gè)人都會(huì)或多或少的拍腦袋），拍腦袋的東西實(shí)在太沒有說服力了，你不想在Leader和合作伙伴那里留下不靠譜的印象吧？類比是通過和新策略相似的策略在使用情境也相似的情況下的表現(xiàn)，來類比新策略的表現(xiàn)。相似策略在相似情境下的表現(xiàn)數(shù)據(jù)，一般可以從兩種途徑獲得。一個(gè)是自家產(chǎn)品的其他類似策略的效果，比如你要在自家產(chǎn)品上開辟一個(gè)新的推薦位置，那么你大概能找到一個(gè)類似的位置推薦策略的表現(xiàn)數(shù)據(jù)，這個(gè)數(shù)據(jù)，就可以用來預(yù)估新策略的效果。除了在自家產(chǎn)品上找，你還可以通過某種方式來“竊取”競對相似策略的效果數(shù)據(jù)。這個(gè)數(shù)據(jù)的獲取看起來很難，但是請相信互聯(lián)網(wǎng)上啥都有；如果互聯(lián)網(wǎng)上沒有，你身邊總有從競對來的同事吧（這個(gè)是最有效的）；如果這些條件你都沒有，建議你去了解一下社會(huì)工程學(xué)（好像進(jìn)入灰色地帶了）。

現(xiàn)在你手里已經(jīng)有了足夠的類比數(shù)據(jù)，這表示你已經(jīng)有了足夠的資本去說服（忽悠）Leader和合作伙伴了。不過最后還是要提醒一下，由于一些你未知的原因，策略上線之后的效果很可能和你的預(yù)估存在差異。

2、離線評估

在講離線評估之前，首先要告訴大家的是離線評估并不一定是必需的，如果已經(jīng)確定了新策略一定會(huì)比舊策略效果好，而恰好同時(shí)你又必需讓新策略及早上線測試（往往是因?yàn)榕f策略存在錯(cuò)誤或者爛到無以復(fù)加或者業(yè)務(wù)需要），那么離線測試這一步（大概）是可以省略的。不過這里仍然建議大家不要這么做，一個(gè)全面的離線評估能夠避免我們將不好的策略推向前臺(tái)，避免不必要的用戶體驗(yàn)或商業(yè)損失。

前面已經(jīng)介紹了離線評估的兩種方式，人肉檢查和機(jī)器檢查。人肉檢查相對費(fèi)時(shí)費(fèi)力（產(chǎn)品經(jīng)理的時(shí)和力），但卻是最直觀的方式，也是最簡單易達(dá)的方式，特別是對一些我們通過Badcase而產(chǎn)生的需求來說，人肉檢查尤其合適。假設(shè)我們有一個(gè)新策略需求，需求來源是推薦的內(nèi)容完全不符合用戶的預(yù)期，那么最能說明新策略效果的離線評估方式，就是把需求開始前我們整理的Badcase拿出來，一條條的對比在相同情況下新策略的表現(xiàn)。如果我們?nèi)巳庥^測的這些Badcase已經(jīng)解決，那就可以認(rèn)為新策略解決了所有的相似問題，也就是新策略通過了離線評估（這里又要用到評估標(biāo)準(zhǔn)和工具）。而對于一些人肉無法檢測的策略型需求，我們需要借助工程師的力量來進(jìn)行機(jī)器評估。比如一個(gè)以點(diǎn)擊轉(zhuǎn)化率為目標(biāo)的排序策略優(yōu)化需求。因?yàn)檗D(zhuǎn)化率是一個(gè)整體的概念，人肉的方式是無法判定策略是否起到了優(yōu)化的作用的，這時(shí)候我們只有借助機(jī)器來進(jìn)行評估。或許你不懂怎么使用機(jī)器評估，或者沒找到合適自己的工具，給你的工程師新開一個(gè)需求吧。

3、線上測試

如果新策略通過了離線評估，那么有很大概率新策略在線上也是有效的，但這仍然是停留在理論上，為了確認(rèn)新的策略真的有效，你必須把新策略放到真實(shí)場景去進(jìn)行檢驗(yàn)。如果你是有一些工作經(jīng)驗(yàn)的產(chǎn)品經(jīng)理，一定知道AB測試的概念，你也應(yīng)該知道AB測試就是用來對比測試產(chǎn)品線上效果的常用方式。AB測試是將產(chǎn)品的不同策略或設(shè)計(jì)推給不同的用戶，在一個(gè)滿足單一變量試驗(yàn)的情境中來確定新策略或設(shè)計(jì)的效果。一般來說，所有公司都會(huì)有AB測試系統(tǒng)去支持AB測試，這不是什么難事兒。但是AB測試有一些常見的陷阱和誤區(qū)，后續(xù)部分詳細(xì)介紹。

評估系統(tǒng)搭建和評估方式

前面已經(jīng)說到，線上評估是檢驗(yàn)策略的唯一標(biāo)準(zhǔn)，那么為了能夠做好線上評估，我們必須對策略后臺(tái)系統(tǒng)進(jìn)行改造以方便的做好線上測試和數(shù)據(jù)的搜集。從評估本身、成本和用戶等方面考慮，一個(gè)好的評估系統(tǒng)應(yīng)該具有以下特征：

1.可用的測試數(shù)據(jù)

策略產(chǎn)品是一個(gè)非常細(xì)致極度依賴數(shù)據(jù)的工作，可以說，可用的測試數(shù)據(jù)就是策略產(chǎn)品工作的基礎(chǔ)，數(shù)據(jù)可用有兩個(gè)方面的含義，一是數(shù)據(jù)能夠獲得，二是取得的數(shù)據(jù)是準(zhǔn)確的。要獲得可用的測試數(shù)據(jù)，就必須有可靠的數(shù)據(jù)統(tǒng)計(jì)工具，雖然數(shù)據(jù)工具和產(chǎn)品本身沒有關(guān)系，但是卻是產(chǎn)品持續(xù)改進(jìn)的基礎(chǔ)系統(tǒng)之一，在大公司，數(shù)據(jù)工具往往是一個(gè)很龐大的部門，這個(gè)部門負(fù)責(zé)設(shè)計(jì)數(shù)據(jù)統(tǒng)計(jì)框架，提供測試工具以便在各產(chǎn)品線上使用，對小公司來說，可以使用第三方的統(tǒng)計(jì)工具來完成這個(gè)工作。GA是常使用的第三方數(shù)據(jù)統(tǒng)計(jì)工具，還有我們常見的以某某統(tǒng)計(jì)命名的流量統(tǒng)計(jì)工具，這類工具會(huì)提供一個(gè)可調(diào)用的JS語句，插入到網(wǎng)頁、App中，再在頁面或app中需要統(tǒng)計(jì)的地方加上特殊標(biāo)記，這樣數(shù)據(jù)就能夠生產(chǎn)、上報(bào)給第三方，然后我們可以在第三方工具后臺(tái)查看到數(shù)據(jù)統(tǒng)計(jì)信息。這類工具對業(yè)務(wù)單一的小公司來說已經(jīng)足夠，但是它們往往提供的功能有限，不能夠根據(jù)產(chǎn)品統(tǒng)計(jì)需要提供個(gè)性化的統(tǒng)計(jì)方案，所以業(yè)務(wù)復(fù)雜的大公司會(huì)自行搭建自己的統(tǒng)計(jì)系統(tǒng)。對策略產(chǎn)品來說，我們必須要選擇一個(gè)可靠的統(tǒng)計(jì)工具來上報(bào)統(tǒng)計(jì)我們想要的數(shù)據(jù)，如果你能夠拿到的統(tǒng)計(jì)方式不能夠滿足你的要求，那么你就應(yīng)該推動(dòng)數(shù)據(jù)產(chǎn)品經(jīng)理幫你解決這個(gè)問題，或者親自去解決了。

2.取樣科學(xué)

既然我們的數(shù)據(jù)是用來做統(tǒng)計(jì)分析的，那么我們的分析過程就必須遵循一些統(tǒng)計(jì)學(xué)的基本原則，其中最重要的就是取樣科學(xué)。在互聯(lián)網(wǎng)產(chǎn)品中，我們最熟悉的就是測試方式就是AB測試，將不同的策略按照一定的比例放到真實(shí)場景中，一個(gè)作為對照組一個(gè)作為實(shí)驗(yàn)組，再把不同策略的數(shù)據(jù)拿出來分析兩個(gè)策略的優(yōu)劣。但是大家往往忽視了一個(gè)科學(xué)實(shí)驗(yàn)的基本問題，而這個(gè)問題決定了測試是否是可信的，那就是AB測試的A和B是不是真的單一變量。比如我見過有產(chǎn)品分iPhone和Android平臺(tái)做AB測試，也見過分業(yè)務(wù)區(qū)域（比如O2O產(chǎn)品中的北京和上海）做AB測試的，這類測試表面上是做了對比，實(shí)際上對照組和實(shí)驗(yàn)組連可對比性都沒有。在確認(rèn)iPhone和Android用戶行為一致前，這種AB測試的愚蠢程度就好比生物試驗(yàn)中讓驢做實(shí)驗(yàn)組讓馬做對照組。其實(shí)，即使確認(rèn)了iPhone和Android用戶行為“一致”，我也不建議采用這種方式做AB測試，因?yàn)槟闼_認(rèn)的行為“一致”，只是你觀測到的那部分一致，而你是不可能知道全部的情況的。

前面說到了一些不好的AB測試方案，下面給大家說說什么是好的AB測試方案。做過實(shí)驗(yàn)的人都知道，前面所提的單一變量是做對照實(shí)驗(yàn)的基本原則，在產(chǎn)品策略的評估中，我們首先應(yīng)該保證策略的不同是A和B的單一變量，簡單的說，我們應(yīng)該讓我們AB方案的區(qū)分是盡量隨機(jī)的。說到盡量隨機(jī)，最直接的當(dāng)然是每一次策略的調(diào)用都使用隨機(jī)方式，確實(shí)它能夠做到盡量隨機(jī)，但是違背了下面要講的第三條原則（后續(xù)詳細(xì)介紹），所以一般情況下不適用這種方式。這里給大家介紹一種移動(dòng)互聯(lián)網(wǎng)情況下的比較合理的AB測試方案，根據(jù)設(shè)備標(biāo)識(shí)符為每個(gè)設(shè)備生成唯一的數(shù)字識(shí)別符，然后取某一位的數(shù)字作為AB分配的基礎(chǔ)，這種方式首先能夠盡量的保證隨機(jī)，而且能夠分配AB方案的流量比例，比如0-1的使用A策略，2-9的使用B策略，那么A策略的線上流量就大概在20%左右。一般來說，這個(gè)方案能夠解決大部分移動(dòng)產(chǎn)品AB測試取樣科學(xué)的問題，但是不能排除在某些特殊的情況下，還是需要產(chǎn)品經(jīng)理們開動(dòng)腦筋，設(shè)計(jì)出合適自己產(chǎn)品的AB測試分配方案。

事實(shí)上，如果你對自己的AB測試分配方案沒有信心，你還可以用AA測試的辦法去評估分配方案的合理性。AA測試是指認(rèn)為將流量標(biāo)記分為對照組流量和實(shí)驗(yàn)組，但是兩組流量都使用相同的策略，如果在這種情況下兩組流量的目標(biāo)表現(xiàn)沒有顯著差異，則可以認(rèn)為對照組和實(shí)驗(yàn)組的取樣是隨機(jī)的，符合統(tǒng)計(jì)要求的。否則，說明對照組和實(shí)驗(yàn)組樣本上本身就存在差異，基于這種AB分組方式的AB測試是不可信的。

3.對用戶打擾少

每一次策略的變更，都會(huì)帶來展示的差異，雖然對策略性產(chǎn)品來說，這種差異是很難察覺的（比如排序的細(xì)微變化），但是我們畢竟是產(chǎn)品經(jīng)理，減少對用戶的打擾是我們必須要考慮的事情。在前面介紹科學(xué)取樣時(shí)，我們介紹一種最符合隨機(jī)要求的AB測試方法，那就是每一次策略調(diào)用層面上隨機(jī)，我們已經(jīng)說了這種方式不夠好，原因在于它有一個(gè)很大的弊端，那就是你不能保證每個(gè)用戶看到的策略是固定的。如果使用這種方式，那么用戶每刷新一次，都有可能看到和上一次不一樣的展示策略。想象一下，如果你刷新一次就看到一個(gè)跳動(dòng)的列表，你會(huì)不會(huì)罵產(chǎn)品經(jīng)理呢？前面介紹的設(shè)備層面的隨機(jī)方式，就很大層面上解決了這個(gè)問題，這也是我們認(rèn)為它相對合理的原因。順便一提，前面介紹的分業(yè)務(wù)區(qū)域AB測試的方案同樣存在打擾用戶的問題。所以我們在設(shè)計(jì)評估測試系統(tǒng)的時(shí)候，應(yīng)該考慮每一次策略優(yōu)化的測試不要過多的給用戶造成困擾。這方面的內(nèi)容很難窮舉，每個(gè)不同的產(chǎn)品都會(huì)有不同的打擾用戶的問題，但是只要我們不忘初心及早考慮，這個(gè)問題是可以很大程度上避免的。

4.靈活迭代

作為策略產(chǎn)品經(jīng)理，我們應(yīng)該有一個(gè)最基本的常識(shí)：策略優(yōu)化是一個(gè)持續(xù)的過程。它永遠(yuǎn)沒有終點(diǎn)，就是像Google這樣的公司，依然在不斷的迭代更新搜索引擎算法?？紤]到策略的優(yōu)化是一個(gè)持續(xù)的過程，那么線上測試也會(huì)是一個(gè)持續(xù)不斷的過程。認(rèn)識(shí)到這點(diǎn)，那么將測試評估系統(tǒng)設(shè)計(jì)的方便迭代就是顯而易見的事情。工欲善其事，必先利其器，一個(gè)方便迭代測試的系統(tǒng)，能夠很大程度上節(jié)省工程師的時(shí)間，讓工程師不在陷于無盡的無意義的測試開發(fā)，這對團(tuán)隊(duì)士氣和工作效率的提升都是很大的幫助。針對這個(gè)問題，通常的處理方式搭建一個(gè)能夠后臺(tái)配置實(shí)時(shí)生效的后臺(tái)，當(dāng)需要進(jìn)行測試或者進(jìn)行策略切換的時(shí)候，能夠方便快速的通過后臺(tái)配置完成。如果更近一步，能夠和流量分配功能結(jié)合在一起，那將是一個(gè)極佳的方案。

評估工具

如果你已經(jīng)有了用于分析的數(shù)據(jù)，下一個(gè)擺在你面前的問題會(huì)是如何去分析？數(shù)據(jù)分析是策略產(chǎn)品經(jīng)理必須具備的基本能力，掌握一些常見的策略產(chǎn)品分析工具和方法也是策略產(chǎn)品經(jīng)理的必修課。對于一些常見通用的分析方式，在“產(chǎn)品經(jīng)理應(yīng)該了解的搜索排序評估方法”已經(jīng)做了介紹。

評估不是目的

策略優(yōu)化是一個(gè)持續(xù)的過程，策略產(chǎn)品經(jīng)理的存在就是讓策略越來越有效，某一次的策略優(yōu)化不是我們的終點(diǎn)（雖然這將是你的KPI），效果評估也不是我們的目的。最理想的情況當(dāng)然是我們每一次的優(yōu)化都是有效的，但是往往事情并不會(huì)如此，這時(shí)候我們除了嘆氣之外，其實(shí)可以做的事情還很多。很多時(shí)候成功的原因很難找，但是失敗的原因找起來卻容易的多，當(dāng)我們發(fā)現(xiàn)沒有取得期望的效果的時(shí)候，那一定某個(gè)地方出了差錯(cuò)，如果我們深入挖掘測試數(shù)據(jù)中的內(nèi)容，或許能挖到真的寶石。比如鄙人某一次信心滿滿的上了一個(gè)新策略，結(jié)果發(fā)現(xiàn)完全沒有效果，在沮喪之下，我將場景做了拆分，發(fā)現(xiàn)這個(gè)策略在某些場景下是正面效果在某些場景下是負(fù)面效果，而這兩個(gè)場景在整個(gè)策略使用場景中占比剛好是差不多都是50%。如果你已經(jīng)做了足夠的數(shù)據(jù)分析，所有的證據(jù)的都表明策略是無效的，而且也沒有什么有價(jià)值的東西值得挖掘，那也不要?dú)怵H，它就是無效，這很正常。不過這時(shí)候你還有要做的事情，回顧分析上線前的那些分析哪里出了問題，以及，你要告訴所有人，這個(gè)策略可能是無效的，請大家謹(jǐn)慎嘗試。

本文系作者@metalony （微信公眾號(hào)：hihipm）授權(quán)發(fā)布于人人都是產(chǎn)品經(jīng)理 ，未經(jīng)許可，不得轉(zhuǎn)載。