国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

編輯導(dǎo)讀：A/B測試支撐著產(chǎn)品的高速迭代發(fā)展，同時也沉淀著海量的最佳實踐和方法論。本文作者從自身工作經(jīng)驗出發(fā)，講述如何更專業(yè)地做A/B測試，如何拿到更加置信的數(shù)據(jù)結(jié)論，希望對你有幫助。

A/B測試支撐著產(chǎn)品的高速迭代發(fā)展，同時也沉淀著海量的最佳實踐和方法論。筆者在某頭條做C端產(chǎn)品時，做了大量的A/B實驗，快捷測試驗證新功能。其中在2020年8月份，1個月做了12個A/B實驗，帶來明顯的OKR指標提升，當月獲得績效最高檔（蓋章可查詢）。給大家整理了一些A/B實驗方法論，分享給需要的同學(xué)。

本文講述如何更專業(yè)的做A/B測試，如何拿到更加置信的數(shù)據(jù)結(jié)論。后續(xù)會陸續(xù)給大家分享如何思考設(shè)計新的功能，確保A/B實驗的正向率，避免成為A/B實驗的終結(jié)者（結(jié)論總是負向）。

一、什么情況下需要做A/B實驗？

大多數(shù)A/B實驗建立在：當不確定哪種方案更有利于達成核心目標，不確定新的方案會不會對核心指標之外的其他指標造成負向影響，我們通過做A/B實驗來進行測試。

關(guān)于A/B實驗的功能場景，我們看個簡單的例子：

場景還原：優(yōu)化前的商品詳情頁展示商品價格以及該商品可以用的優(yōu)惠券，如何提升商品的交易轉(zhuǎn)化率呢，產(chǎn)品經(jīng)理想：幫用戶把券后價直接展示出來是否能提升轉(zhuǎn)化率，能提升多少。

由于商品詳情頁是電商交易鏈路的核心頁面，直接全量上某個功能，萬一效果不好則影響巨大。通過切一部分流量進行A/B測試，密切觀察實驗數(shù)據(jù)、灰度發(fā)布是最佳策略。

大家熟知的今日頭條、抖音、西瓜這些產(chǎn)品的名字，都不是產(chǎn)品經(jīng)理或者業(yè)務(wù)負責(zé)人拍腦袋經(jīng)驗主義決策的結(jié)果，而是把不同名稱的應(yīng)用包上架到應(yīng)用市場，看哪個名字的下載率和分享率最高，就用哪個。本質(zhì)上通過A/B測試的思想，把產(chǎn)品決策權(quán)交給了用戶。

二、怎樣設(shè)計A/B試驗？

A/B實驗的整體流程：

2.1 確定實驗?zāi)繕?/h3>

確定實驗?zāi)繕思匆允裁粗笜撕饬繉嶒灲M的好壞。

提升頁面轉(zhuǎn)化率：例如電商行業(yè)中，提升列表頁到商詳頁的轉(zhuǎn)化率，商詳頁到訂單確認頁的轉(zhuǎn)化率，訂單確認頁到交易成功頁的轉(zhuǎn)化率。在家裝行業(yè)中，最常見的是提升留資頁面內(nèi)“預(yù)約裝修”提交按鈕的點擊轉(zhuǎn)化率。
提升用戶留存：提升用戶在平臺內(nèi)的次日、3日、7日等留存率

在觀察實驗組數(shù)據(jù)指標時，以一個核心指標為主，同時需要觀注其他相關(guān)指標，全面衡量，得出結(jié)論。

舉個栗子：筆者在愛奇藝任職期間，為了提升核心指標“人均VV（人均播放次數(shù)）”，產(chǎn)品做了“自動播放”功能。短期內(nèi)核心指標顯著提升，但由于自動播放功能造成用戶反感，用戶留存指標受到了影響。為避免長期造成用戶流失，該功能下線。

2.2 設(shè)計實驗

2.2.1 設(shè)置實驗組和對照組

• 唯一變量：實驗組和對照組的設(shè)置采用控制變量法，實驗組和對照組設(shè)置本次實驗想要驗證的唯一的變量，其他條件均不變。
• 同層實驗：如果有多個實驗在進行，選擇同層實驗，避免分層實驗。因為同層實驗互斥（用戶只會在一個實驗組），而分層實驗可以復(fù)用流量（一個用戶可以命中多個實驗）

以上是基礎(chǔ)的流量分層設(shè)置，A/B實驗成熟的情況下，還可以進行獨占實驗和長期對照。

獨占實驗：某些實驗層專門為某些特定的實驗準備，其他實驗不可使用。

長期對照：設(shè)置一部分用戶做長期對照，不參加任何實驗，可以評估多種實驗疊加后的效果。

例如筆者所在部門，有幾十個實驗專項層，筆者獨占3個，專門用于做交易鏈路相關(guān)的A/B實驗。

流量設(shè)置：給實驗組和對照組分別設(shè)置一定的流量，這是做實驗的必要準備條件。

例如：如果實驗分對照組和實驗組2個組，選擇“層1”取40%的流量，每組20%。如果實驗分3個組，對照組和實驗組1、實驗組2，那么在“層1”取60%的流量，每組20%。

另外，初期每組設(shè)置多少百分比的流量，這個要參考當前頁面平均每天有多少UV，每組至少保證2000個以上UV，實驗相對置信。

2.2.2 空轉(zhuǎn)實驗

空轉(zhuǎn)即A/A實驗，在成熟的實驗平臺可自行設(shè)置。

例如：設(shè)置7-8組實驗流量，空轉(zhuǎn)3天，監(jiān)控PV/UV、轉(zhuǎn)化、留存等核心指標，看有無明顯差異。取2組最相近的用來做實驗，其余的釋放掉。

空轉(zhuǎn)可以明顯地發(fā)現(xiàn)抽樣不均，去掉因為抽樣不均帶來的實驗影響因素，提升實驗置信度。

2.2.3 反轉(zhuǎn)實驗

• 反轉(zhuǎn)的前提：A/B實驗根據(jù)需求功能不同，實驗進行的周期不同，短則3-7天，長則1個月。當觀察實驗結(jié)果正向的情況下，可對實驗進行反轉(zhuǎn)。
• 反轉(zhuǎn)操作：將實驗組和對照組進行對調(diào)，實驗組變成對照組，對照組變成實驗組，再次觀察實驗結(jié)果。
• 反轉(zhuǎn)分析：如果反轉(zhuǎn)后的對照組和實驗組相比是正向，那么實驗成功，可全量。
• 不可反轉(zhuǎn)的情況：如果A/B實驗觀察的結(jié)論為負向，切記不可進行反轉(zhuǎn)實驗，會損傷原對照組的用戶體驗。

三、如何分析A/B試驗

舉2個例子進行說明：

實驗一：對最近7日流失新用戶進行push召回，以提升新用戶留存。

由于目標用戶群大多為白領(lǐng)，早上7點在吃飯或者通勤，很少有機會打開APP。而中午到下午有些許的休息時間，推送效果最好。

實驗二：對秒殺商品列表頁價格樣式做優(yōu)化，以提升秒殺頻道轉(zhuǎn)化率。

通過優(yōu)化秒殺商品原價展示樣式，突出商品原價的展示，進而強調(diào)秒殺頻道的商品的價格差，提升用戶購買轉(zhuǎn)化率。

四、A/B測試的價值

數(shù)據(jù)驅(qū)動創(chuàng)新，數(shù)據(jù)驅(qū)動增長，A/B測試是其中核心的工具和引擎。字節(jié)跳動的實驗平臺，每天新開的實驗有1500多個，同時運行的實驗有上萬個。上到中高層管理人員，下到一線產(chǎn)品和運營人員，大家的普遍共識是：A/B測試是一切決策的前提和基礎(chǔ)，用數(shù)據(jù)說話。

業(yè)務(wù)創(chuàng)新：通過持續(xù)的功能優(yōu)化打磨，累積創(chuàng)新效果，逐步形成迄今最優(yōu)的產(chǎn)品形態(tài)，同時可將優(yōu)秀的功能模塊抽象沉淀至通用化組件平臺。

筆者曾將驗證過后最優(yōu)的產(chǎn)品功能，抽象為可配置通用組件，沉淀在樂高平臺（自助搭建h5頁面的平臺，類似京東的通天塔），供不同業(yè)務(wù)使用，從而將產(chǎn)品效應(yīng)發(fā)揮到最大。

收益提升：在電商/金融等交易相關(guān)產(chǎn)品中，通過優(yōu)化交易鏈路可直接帶來可觀的經(jīng)濟收益。

管理提效：通過A/B實驗精準衡量新功能產(chǎn)出，為管理層提供準確的數(shù)據(jù)依據(jù)和科學(xué)度量。

五、寫在最后

A/B測試是一個非常有用的工具，它很強大，但它僅僅是一個工具。產(chǎn)品經(jīng)理在日常工作中，應(yīng)該是帶著想法、思考，然后再去運用它來幫助驗證。張一鳴在2019年字節(jié)成立7周年大會上說過一句話：“同理心是地基，想象力是天空，中間是邏輯和工具” ，希望A/B測試這些理論的基石，能夠成為大家解鎖未來產(chǎn)品之門的一把鑰匙。

本文由 @王妍 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議