做數(shù)據(jù)分析如何從囚徒困境到合作的進化

1 評論 4634 瀏覽 11 收藏 30 分鐘

編輯導讀:囚徒困境是指兩個被捕的囚徒之間的一種特殊博弈,說明為什么甚至在合作對雙方都有利時,保持合作也是困難的。做數(shù)據(jù)分析時,也時常會遇到囚徒困境。應當如何解決呢?本文作者對此進行了分析,希望對你有幫助。

在推進業(yè)務線各種項目的過程中,做數(shù)據(jù)分析的人員在整體項目中起到了非常核心的作用,不管是決策支持還是數(shù)據(jù)支持,有著對業(yè)務線承上啟下的意義,需要了解業(yè)務,還要與多個部門、各種不同外部組織以及個人打交道,但是,有的時候結果往往很難達到預期的效果,可能遇到項目無法推進,與技術或者業(yè)務人員無法有效的溝通等問題,其主要原因之一就是在工作過程中不知不覺的陷入了“囚徒困境”。

而從“社會學”角度觀察,不同組織之間,容易出現(xiàn)“本位主義”,越大的組織,越容易陷入“囚徒困境”中。那么,做數(shù)據(jù)分析的人員如何有效的解決工作中的“囚徒困境”呢?

所以今天,小飛象非常榮幸的邀請到了快用云科創(chuàng)始人兼CEO,創(chuàng)業(yè)老兵周海鵬,最近十年創(chuàng)業(yè),一直在大數(shù)據(jù)技術、數(shù)據(jù)分析、數(shù)據(jù)應用的各個方面工作。服務過很多世界五百強企業(yè)(金融、房產(chǎn)、零售、醫(yī)療),對相關行業(yè)的背景、數(shù)據(jù)分析、數(shù)據(jù)智能和數(shù)據(jù)應用方面都有詳細的了解。

將會為大家分享《做數(shù)據(jù)分析如何從囚徒困境到合作的進化的相關內(nèi)容,分為四部分:

  1. 線下環(huán)境觀察和零售選址案例
  2. 什么是所謂的“囚徒困境”
  3. 數(shù)據(jù)工作領域的囚徒困境
  4. 如何有效的解決囚徒困境?

做一個對世界充滿好奇的人!在分享之前,我們可以先思考幾個問題:

  • 你認為/了解過“囚徒困境”是什么?
  • 你結合自身經(jīng)歷,是否在工作中也遇到過“囚徒困境”?
  • 你覺得在數(shù)據(jù)分析領域的囚徒困境好解決么?以及數(shù)據(jù)分析有什么作用?
  • ……

在分享的過程中,建議全程認真聽,帶著思考來聽(去看),希望通過本次分享,幫助大家剖析一下“囚徒困境”和“純粹理想情況下的解決方案”,并給做數(shù)據(jù)分析的人員提供一些思路,有任何問題都可以隨時交流哦!

01 大數(shù)據(jù)時代如何推動智能化,線下環(huán)境觀察和零售選址

在進入正題之前,我先講一下咱今天分享的核心思想,我在一個大數(shù)據(jù)公司創(chuàng)業(yè),做了好幾個產(chǎn)品,從統(tǒng)計分析平臺,到廣告監(jiān)測平臺,再到用收集到的數(shù)據(jù)為移動設備打標簽,最后到用這些數(shù)據(jù)進行商業(yè)分析,幫助客戶增收降本。在這十年的工作中,我發(fā)現(xiàn)一個非常重要,但是很困難的職業(yè)—數(shù)據(jù)(商業(yè))分析師。

作為一個技術人員,我曾經(jīng)以為數(shù)據(jù)分析師只要會寫SQL,就可以做數(shù)據(jù)分析,但是隨著工作年限的提高,我發(fā)現(xiàn),做好數(shù)據(jù)分析的難度遠高于我的想象。我從互聯(lián)網(wǎng)上查找了一些關于“數(shù)據(jù)(商業(yè))分析師技能要求”的文章,發(fā)現(xiàn)要想當好數(shù)據(jù)(商業(yè))分析師,需要具備的能力可能遠遠超出技術人員的想象(如下圖所示)

從這個圖中,我覺得優(yōu)秀的數(shù)據(jù)分析人員,簡直就是個神的存在。從我常年在數(shù)據(jù)方面的工作而言,一個優(yōu)秀的技術人員,可以很好的掌握這里面幾項技術已經(jīng)相當不錯了。

那么,數(shù)據(jù)分析師如何成長成為這種神一樣的存在呢?我認為,除了技術性因素外,還有一個組織問題:數(shù)據(jù)分析師在企業(yè)內(nèi)承上啟下,和多個部門、組織和個人打交道,在組織里起到組織核心的作用。從“社會學”角度觀察,不同組織之間,容易出現(xiàn)“本位主義”,越大的組織,越容易陷入“囚徒困境”中。

所以,我今天想剖析一下“囚徒困境”和“純粹理想情況下的解決方案”,并給數(shù)據(jù)分析師提供一點個人建議:數(shù)據(jù)(商業(yè))分析師,應該以“幫企業(yè)更好、更快決策”為目標,尋求和下游(數(shù)據(jù)工程師團隊)、左右(其他合作部門,例如銷售、供應鏈團隊等)、上游(老板)通力合作、保持有效溝通,減輕學習的負擔,加快自身進化,最終成就了自己,也促進了企業(yè)發(fā)展。

接下來,以某全球零售餐飲連鎖企業(yè)選址的方法論為例,來講講在這個通過數(shù)據(jù)分析選址的項目中,出現(xiàn)的“囚徒困境”是如何解決的?

某全球零售餐飲連鎖企業(yè),在中國市場開一家火一家,除了特有的餐飲文化和嚴格的復制標準,還有一項在連鎖餐飲界引以為豪的競爭力——選址成功率,幾乎百分之一百的選址成功率!肯德基經(jīng)營成功的首要三大因素必然是選址、選址、選址。

“選址”對于連鎖經(jīng)營實體的重要性不言而喻,但同時也是長久以來所有實體連鎖的痛點,而且對于目標客群和商業(yè)模式并不清晰的便利店/超市連鎖而言,選址的難度更高。

傳統(tǒng)的選址作業(yè)流程主要靠人工調(diào)研和實地考察,大量及長時間周期的人工作業(yè),使得選址開發(fā)的流程過長,同時人工作業(yè)模式也存在太多的不可控性。

漫長的門店開發(fā)流程,單純依靠人工管控,對于進度的管理和追蹤的難度極大。而與人口相關的各類數(shù)據(jù),如目標門店區(qū)域的到訪量、到訪年齡比例等情況需靠長時間的人工現(xiàn)場采集,成本高,而且極易出現(xiàn)核心數(shù)據(jù)缺失的狀況。

同時,手動作業(yè)處理數(shù)據(jù)不及時等因素導致信息滯后,結果缺乏相應的參考價值。下圖是PIE指標體系和應用。

我們知道選址,在商圈數(shù)據(jù)調(diào)研的時候,會走訪很多線下網(wǎng)點,還要采集很多線下環(huán)境數(shù)據(jù),例如人口數(shù)據(jù)。我們可能可以從高德、百度獲得這樣的熱力圖,雖然看著非常煥麗。但是在精細的選址中卻沒有鳥用。

原因:在精細的選址中,業(yè)務方需要知道某個大樓、小區(qū),甚至是小區(qū)的東門還是小區(qū)的西門人多。但是我們無法從這種圖里獲得具體的人口數(shù)字(或者指數(shù))。

所以,數(shù)據(jù)不標準,現(xiàn)場調(diào)研的數(shù)據(jù)和地圖數(shù)據(jù)無法綁定在一起。

場景:數(shù)據(jù)分析師發(fā)現(xiàn)地圖上某個區(qū)域的流量特別大。他會找數(shù)據(jù)工程師進行排查:請幫忙查一下“某酒店”,流量為什么這么高?

數(shù)據(jù)工程師會反問:具體是哪個區(qū)域?能不能給我一個經(jīng)緯度列表。

分析師可能沒有工具獲取經(jīng)緯度列表,因此這個問題就耽誤了,后續(xù)的分析會遇到意想不到的坑。

不要小看這個Hash ID,它讓該企業(yè)第一次有了把所有數(shù)據(jù)放置到一個標準度量體系中的方法。徹底解決了前臺團隊、后臺數(shù)據(jù)團隊、分析師團隊、數(shù)據(jù)智能團隊之間溝通的溝壑。

在選址過程中,可能很多分析師都用過POI數(shù)據(jù),如上圖,客戶提出了新的挑戰(zhàn)??蛻粝牍浪愠鲞@個區(qū)域里人口的購買力指標,所以想用當前區(qū)域里房價來進行折算。但是,這個區(qū)域里,只有幾個小區(qū)有房價數(shù)據(jù),剩下的5、6個沒有辦法填充,造成這個指標一直參差不齊。

客戶提出了新的挑戰(zhàn)??蛻粝牍浪愠鲞@個區(qū)域里人口的購買力指標,所以想用當前區(qū)域里房價來進行折算。但是,這個區(qū)域里,只有幾個小區(qū)有房價數(shù)據(jù),剩下的5、6個沒有辦法填充,造成這個指標一直參差不齊。

所以,數(shù)據(jù)缺失多、數(shù)據(jù)精度比較差,無法對商圈進行標準的畫像。

場景:數(shù)據(jù)分析師期待對左圖進行分析,他手里有不少POI數(shù)據(jù),但是,他如何給這塊區(qū)域打標簽呢?例如餐飲標簽。

他想了個辦法:區(qū)域中餐飲個數(shù)/區(qū)域的面積=此餐飲密度。

現(xiàn)場調(diào)研員拿到這個標簽后會質(zhì)疑:這個區(qū)域餐飲門店遠比西南的高,這個密度不能顯示現(xiàn)實情況。另外,現(xiàn)在只有十幾種數(shù)據(jù)可以評估這塊區(qū)域,調(diào)研員還想要更多的數(shù)據(jù)標簽,例如房價標簽、交通標簽等等。但是,其他數(shù)據(jù)的缺失更多,更難標準化和歸一化。

大家需要客觀接受一個現(xiàn)實,就是這個世界離廣泛、真實、準確的數(shù)據(jù)化,還差的遠。在這種條件下,要多個團隊(有巨大差異化的同事),進行合作、探索、挖掘數(shù)據(jù)的價值,就要給出一個有效、標準的框架和解決方案。

這套數(shù)字化的方法,讓每一個網(wǎng)格都可以有一套標準、通用的標簽,可以想象,原來不同團隊需要在顯示器前,大家一起看地圖解決的問題,可以進一步轉換成計算機自動進行計算的問題。

數(shù)據(jù)準備的差不多以后,想標準化評估一個區(qū)域,也是很難的,我們看上圖,這種打分表,在選址團隊中很常用,的確起到了一定作用。但是請注意,這個打分表是很主觀的,而且無法精確量化。所以,評估難,這種打分表,在選址團隊中很常用,的確起到了一定作用。但是請注意,這個打分表是很主觀的,而且無法精確量化。

選址工作,是該企業(yè)成功的一個金鑰匙。但是,隨著企業(yè)的發(fā)展想三四線城市發(fā)展,如何快速評估一塊區(qū)域,越來越不能靠調(diào)研員各地探訪了。客戶急需一種標準化的方法,來進行評估度量。前線調(diào)研員需要和總部分析師一起,構建起一種溝通和評估的標準,這樣,選址調(diào)研才能標準化、規(guī)?;?/strong>。

在選址評估上,客戶也在轉變,從原來的“線下調(diào)研員給一個門店,評估一個門店”,轉換成“在城市所有網(wǎng)格里”智能搜索出潛在門店的模式。

我們進行門店選址模型探索。產(chǎn)出的模型,在上海市進行搜索,經(jīng)過現(xiàn)實開店數(shù)據(jù)驗證,在推薦的網(wǎng)點400米內(nèi),有80%的可能性有一家在運營的門店。解決進入同類型、同等級新城市冷啟動問題。

公式:F(某網(wǎng)格開店成功概率) = 0.14*某網(wǎng)格購物中心個數(shù)1.24+0.101*某網(wǎng)格購物中心營業(yè)額0.88+0.08*某網(wǎng)格火車站流量1.2+……

雖然選址是一個數(shù)據(jù)分析和智能的冷門方向,但是要做的工作也有很多。在數(shù)字化企業(yè)的構建過程中,數(shù)據(jù)分析師一個非常重要的角色。他需要把很多工作串接在一起,得到對企業(yè)有價值的結論。但是現(xiàn)實的條件是殘酷的。我給大家的建議,是邊溝通、邊解決問題,而且要時刻注意能不能做到數(shù)據(jù)標準化、算法智能化、應用簡單化。讓企業(yè)的上下游同事都可以認可數(shù)據(jù)采集、加工、分析的方法,最終讓大家在數(shù)字化的世界中解決業(yè)務決策問題。

個人認為如何高效推進工作的方法總結:

標準化的數(shù)據(jù)架構(網(wǎng)格)

標準化的內(nèi)容架構(標簽)

標準化的評價架構(算法)

02 什么是所謂的“囚徒困境”

綜上,我們了解的選址的案例,那到底什么是“囚徒困境”呢?

囚徒困境是博弈論的非零和博弈中具代表性的例子,反映個人最佳選擇并非團體最佳選擇?;蛘哒f在一個群體中,個人做出理性選擇卻往往導致集體的非理性。雖然困境本身只屬模型性質(zhì),但現(xiàn)實中的價格競爭、環(huán)境保護等方面,也會頻繁出現(xiàn)類似情況。

美國著名的科學家羅伯特·阿克塞爾羅德在1970年代向棘手的“重復囚徒困境”難題發(fā)起了沖擊,并最終取得了重大突破。在他的研究之前,我們發(fā)現(xiàn)古往今來的眾多學者對于人類能否跳出“囚徒困境”的詛咒都充滿了悲觀的看法,可是一戰(zhàn)西線塹壕戰(zhàn)里“圣誕?;稹边@種奇跡的出現(xiàn),又證明人類在沒有權威的情況下,其實是具有自發(fā)形成合作關系的可能性的。

阿克塞爾羅德利用當時剛剛興起的計算機技術,沿著“計算模擬”這條不同于歸納和演繹的新研究路徑,舉辦了三場對后世影響深遠的“重復囚徒困境博弈策略的計算機錦標賽”,幾十個出自世界各地不同學科專家之手的博弈策略作為比賽選手,在既定規(guī)則下彼此展開了激烈的對決。這三場比賽的結果直接指向了合作產(chǎn)生的本質(zhì),“圣誕?;稹钡拿孛芫筒卦谶@三場比賽的背后。

試驗的過程挺讓人吃驚的:不同對手,經(jīng)過激烈對抗,每個選擇不同策略的參與者一再重復了很長時間之后,從利己的角度來判斷,最終“貪婪”策略趨向于減少,而比較“利他”策略更多地被采用。他用這個博弈來說明,通過自然選擇,一種利他行為的機制可能從最初純粹的自私機制進化而來。最佳確定性策略被認為是“以牙還牙”。

這里要解釋一下:以牙還牙不是字面意義上的,呈現(xiàn)死循環(huán)的報復,而是,有一定概率以德報德,以德報怨,但是,如果對手持續(xù)作惡,那么可以被激發(fā)的憤怒,也有一定概率相應的報復。這個試驗說明了一個深刻的道理:以善意對待對手,推進整體合作的進化,是可以讓大家走出囚徒困境的。

I.友善

最重要的條件是策略必須“友善”,這就是說,不要在對手背叛之前先背叛。在現(xiàn)實中,可以解釋為:要盡可能善意的對待別人,不要抱怨、更不要給別人造成麻煩。

II.報復

但是,成功的策略必須不是一個盲目樂觀者。要保持報復的可能,始終合作肯定不會獲得最后的好結果(因為“下流”策略將殘酷地剝削這樣的傻瓜)。在現(xiàn)實中,一味的對邪惡妥協(xié),只會造成徹底的囚徒困境和崩潰。

III.寬恕

成功策略的另一個品質(zhì)是必須要寬恕。雖然它們不報復,但是如果對手不繼續(xù)背叛,它們會一再退卻到合作。這停止了報復和反報復的長期進行,最大化了得分點數(shù)。在現(xiàn)實中,我們要容忍別人的偶然的錯誤,給與一定的寬恕是挽救合作的必然條件。

IV.不嫉妒

最后一個品質(zhì)是不嫉妒,就是說不去爭取得到高于對手的分數(shù)(“友善”的策略必然不嫉妒,也就是說“友善”的策略永遠無法得到高于對手的分數(shù))。

03 數(shù)據(jù)工作領域的囚徒困境

正如背景部分描述的,數(shù)據(jù)工作領域里,數(shù)據(jù)分析師處于核心地位,在不同組織的協(xié)作中,容易出現(xiàn)“囚徒困境”。

經(jīng)過好幾輪折騰,數(shù)據(jù)分析師拿到數(shù)據(jù),已經(jīng)過去一周了,離老板給出的Deadline只剩下半天了。這時候肯定出現(xiàn)“囚徒困境”,分析師一般會投訴:拿個數(shù)據(jù)太慢了,工程是會反訴:你的需求提的不清楚,我怎么知道你要什么數(shù)據(jù)?

數(shù)據(jù)質(zhì)量是數(shù)據(jù)分析、數(shù)據(jù)科學、甚至是AI的基礎,為什么提高不了數(shù)據(jù)質(zhì)量?假設先排除搜集端的問題,后續(xù)數(shù)據(jù)清洗是一個非常重要的工作。普遍情況是,工程師不懂業(yè)務、分析師普遍不懂技術,兩個團隊又容易陷入到第二個陷阱中。

幾天后,分析師和工程師團隊,總算把例行任務上線了,發(fā)現(xiàn)數(shù)據(jù)庫性能上不去,工程師提出方案改成Spark執(zhí)行,但是分析師不會Spark,又要排期。

04 如何有效的解決囚徒困境

上面只是羅列了一些“囚徒困境”的實際場景,兩個團隊之間,在需求溝通、數(shù)據(jù)質(zhì)量控制、最終數(shù)據(jù)加工方案上,很容易遇到各種各樣的問題。本質(zhì)上這些問題就是:技術不懂業(yè)務、業(yè)務不懂技術,雞同鴨講,能講通嗎?那么我們?nèi)绾巫叱鰜砟兀?/p>

回到現(xiàn)實條件下,客觀的看待阿克塞爾羅德的試驗,雖然他指出了走出囚徒困境的解法,但是,這個試驗的條件相對簡單,而且試驗的次數(shù)可以是幾千幾萬次,而對于現(xiàn)實工作,我們?nèi)绾卧谟邢迼l件下走出囚徒困境,是需要各找各的辦法的;另外,也要依托一些先進的產(chǎn)品,想辦法降低摩擦,找到雙方友善、寬容的合作方案,不陷入囚徒困境。

文檔,在傳播需求,達成共識的過程中,起到非常重要的因素。在數(shù)據(jù)產(chǎn)品中,文檔是一個不太起眼,但是非常重要的環(huán)節(jié)。它應該有這樣的功能:

1.在文檔中可以直接嵌入數(shù)據(jù),包括數(shù)據(jù)的鏈接、字段,可以讓讀者快速讀取數(shù)據(jù)、字段定義等,當然,最好還能包含數(shù)據(jù)的作者、業(yè)務含義等描述??梢员M量降低溝通的磨蹭。

2.文檔需要有版本管理,可以進行對比。數(shù)據(jù)工作是一項繁瑣、嚴肅的工作,文檔隨意更改、變更、丟失,對于構建一個完整的數(shù)據(jù)系統(tǒng)是致命的。

具體操作如下:

1.數(shù)據(jù)表統(tǒng)一

分析師和工程人員對表名的叫法統(tǒng)一,甚至可以通過工具可以自動跳轉到頁面對數(shù)據(jù)進行查詢

2.數(shù)據(jù)字段統(tǒng)一

數(shù)據(jù)分析師經(jīng)常使用中文的明年,比如“客戶ID”,但是工程師習慣的是英文命名“CustID”,遵循統(tǒng)一的命名標準是一個很好的習慣

3.注意文檔版本

分析師的文檔,會隨著業(yè)務發(fā)展產(chǎn)生不同的版本,編輯時間、發(fā)布時間、功能描述等,都需要關注版本,雙方溝通中要基于同一個版本的數(shù)據(jù)、文檔進行討論。

之前在一些群里,看到數(shù)據(jù)分析師討論學習哪些技術,比如Spark、SPSS、SAS,我個人覺得這些技術工具值得學,但是更重要的是要從業(yè)務的角度入手。

1.數(shù)據(jù)(商業(yè))分析師的職責,不是和數(shù)據(jù)工程師搶飯碗,而是幫助老板、企業(yè)研究數(shù)據(jù),基于數(shù)據(jù)做決策,因此,更要以業(yè)務的視角去理解、使用數(shù)據(jù)。

2.工程師們,如果只想從事技術工作,需要更好的做好技術性的支撐,例如確保數(shù)據(jù)系統(tǒng)可靠性、易用性,做好不同系統(tǒng)之間的整合工作。要及時、有效的從搬數(shù)據(jù)、抽取數(shù)據(jù)中解放出來。

隨著技術的發(fā)展,基礎的數(shù)據(jù)平臺會越來越多,數(shù)據(jù)分析師不太可能全部學會,更不要說精通。那么,一個業(yè)務邏輯,數(shù)據(jù)(業(yè)務)分析師如何讓技術團隊看懂、翻譯自己的工作,就非常有講究了。但是非要讓別人看懂、翻譯嗎?我們數(shù)據(jù)分析師團隊,能不能直接操作大數(shù)據(jù)平臺呢?

1. 數(shù)據(jù)加工本身可以被抽象成語義,經(jīng)過不同的編譯過程,理論上就可以翻譯成SQL語句、Spark程序等等。數(shù)據(jù)分析師對數(shù)據(jù)的整理、建模,盡可能不用工程師幫忙,這樣可以盡可能的降低重復勞動、減少工作的誤差、浪費。

2. 數(shù)據(jù)工程師,可以騰出時間去處理數(shù)據(jù)平臺的其他工作,做好不同組件的整合,做好數(shù)據(jù)加工的性能優(yōu)化。

05 總結

以上就是本次分享的全部內(nèi)容!囚徒困境,是一個很讓人難堪的境地。我想指出的是,博弈的雙方/多方,有很多機會可以避免最差的結果。雖然友善、報復、寬恕等等字眼,屬于倫理學的范疇,貌似和現(xiàn)實生活離的很遠,但是,其實在日常溝通、協(xié)調(diào)中,哪怕一點細微的改進,都能體現(xiàn)合作的光輝。

我們不要小看溝通的威力,從某種角度來說,世界是多樣性的,是讓世界變得豐富多彩的基礎。我們可以想辦法在多元的世界之間設計出巧妙的溝通橋梁,一定可以產(chǎn)生友善和寬恕的化學反應,進一步促成整體的合作進化。我覺得其實在我的心目中,數(shù)據(jù)分析和數(shù)據(jù)工程師可以一起來協(xié)作,來去逃脫這種數(shù)據(jù)的困境,還包括這個深層的這個操作空間,能更好地幫助公司來進行發(fā)展決策。

相信大家通過不斷的學習和實操,認識到數(shù)據(jù)分析對企業(yè)或者組織的重要意義。學貴在行,需要我們在以后的學習工作中不斷地積累經(jīng)驗掌握工具,學以致用。能站在多方角度,發(fā)現(xiàn)問題,分析問題,解決問題,總結問題。

后期小飛象會繼續(xù)為邀請各業(yè)的精英分享數(shù)據(jù)領域的內(nèi)容。祝愿大家都能在自己所在的領域內(nèi),用數(shù)據(jù)思維,成就更好的自己,在可預見的未來,遇到更好的自己。謝謝大家!

 

作者:周海鵬

本文由@小飛象-木兮 整理發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉載

題圖來自Unsplash,基于CC0協(xié)議

更多精彩內(nèi)容,請關注人人都是產(chǎn)品經(jīng)理微信公眾號或下載App
評論
評論請登錄
  1. 囚徒困境是指兩個被捕的囚徒之間的一種特殊博弈,說明為什么甚至在合作對雙方都有利時,保持合作也是困難的。學到了

    來自云南 回復