阿里巴巴云上數(shù)據(jù)中臺(tái)之道01

0 評(píng)論 2361 瀏覽 4 收藏 9 分鐘

本文將帶你深入了解阿里巴巴如何構(gòu)建云上數(shù)據(jù)中臺(tái),分享其背后的大數(shù)據(jù)思想發(fā)展史和具體的實(shí)施策略,引導(dǎo)你探索如何利用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展,希望對(duì)您在數(shù)據(jù)管理和應(yīng)用方面的理解和實(shí)踐有所幫助。

近日,疫情卷土重來(lái),原本安排的旅游出行計(jì)劃泡湯,所以還是老老實(shí)實(shí)在家看書(shū)吧,靈魂和身體總有一個(gè)要在路上,不是嗎~

接下來(lái)我們來(lái)一起讀讀《大數(shù)據(jù)大創(chuàng)新:阿里巴巴云上數(shù)據(jù)中臺(tái)之道》這本書(shū),了解阿里建設(shè)數(shù)據(jù)中臺(tái)的由來(lái)以及如何建設(shè)數(shù)據(jù)中臺(tái)。

有跡可循的大數(shù)據(jù)思想萌芽,可追溯至1974年,當(dāng)時(shí)便有學(xué)者撰寫論文,研究如何用程序處理“大數(shù)據(jù)集”。

1991年,Bill Inmon出版了《建立數(shù)據(jù)倉(cāng)庫(kù)》一束,其中首次提到了數(shù)據(jù)倉(cāng)庫(kù)的定義——面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合。

2003年,Google公開(kāi)了內(nèi)部海量數(shù)據(jù)處理技術(shù)——基于冗余存儲(chǔ)機(jī)制的分布式文件系統(tǒng)GFS、用于搜索索引計(jì)算的并行處理框架MapReduce,這些促成了分布式系統(tǒng)基礎(chǔ)架構(gòu)Hadoop。

2011年,EMC世界大會(huì)以“云計(jì)算相遇大數(shù)據(jù)”為主題,正式提出“大數(shù)據(jù)”的概念,同年,麥肯錫全球研究院發(fā)布報(bào)告《大數(shù)據(jù):創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)新領(lǐng)域》。

2017年,根據(jù)CCW的研究,全球的大數(shù)據(jù)市場(chǎng)規(guī)模已達(dá)到2000億美元。

而阿里在2012年開(kāi)始探索在云上構(gòu)建大數(shù)據(jù)體系,云上數(shù)據(jù)中臺(tái)致力于構(gòu)建“快、準(zhǔn)、全、統(tǒng)、通”的智能大數(shù)據(jù)體系。其最終目標(biāo)為催生數(shù)據(jù)智能化,促進(jìn)業(yè)務(wù)發(fā)展與模式創(chuàng)新,數(shù)據(jù)價(jià)值變現(xiàn)乃至產(chǎn)業(yè)變革升級(jí)。

簡(jiǎn)而言之,就是我們最常聽(tīng)到的用數(shù)據(jù)來(lái)驅(qū)動(dòng)業(yè)務(wù)發(fā)展。

當(dāng)然說(shuō)歸說(shuō),那怎么用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)發(fā)展的呢?那我們一起來(lái)看看中臺(tái)大佬阿里是怎么做的吧~

阿里巴巴云上數(shù)據(jù)中臺(tái)之道01

整個(gè)數(shù)據(jù)中臺(tái)包含三個(gè)層面:統(tǒng)一計(jì)算后臺(tái)、統(tǒng)一云上數(shù)據(jù)中臺(tái)、賦能業(yè)務(wù)前臺(tái)。

1. 計(jì)算中臺(tái)

計(jì)算后臺(tái)同時(shí)具有離線計(jì)算、實(shí)時(shí)計(jì)算、在線分析能力,從而讓用戶盡可能早并準(zhǔn)確地看到歷史數(shù)據(jù)。

2. 數(shù)據(jù)中臺(tái)

通過(guò)智能數(shù)據(jù)能力實(shí)現(xiàn)全局?jǐn)?shù)倉(cāng)規(guī)劃、數(shù)據(jù)規(guī)范定義、數(shù)據(jù)建模研發(fā)、數(shù)據(jù)連接萃取、數(shù)據(jù)運(yùn)維監(jiān)控等。這些能力需要如何構(gòu)建的呢?

首先是數(shù)據(jù)采集,采集盡可能豐富的數(shù)據(jù),包含業(yè)務(wù)數(shù)據(jù)、服務(wù)器日志數(shù)據(jù)、埋點(diǎn)數(shù)據(jù)、第三方數(shù)據(jù)等。

接著進(jìn)行數(shù)據(jù)預(yù)處理,清晰、結(jié)構(gòu)化采集所得的數(shù)據(jù)后,行程垂直數(shù)據(jù)中心,即統(tǒng)一的ODS數(shù)據(jù)基礎(chǔ)層。

然后進(jìn)行數(shù)據(jù)建模研發(fā),并處理不因組織架構(gòu)變動(dòng)而輕易轉(zhuǎn)移的數(shù)據(jù)中間層,包含DWD數(shù)據(jù)明細(xì)層和DWS匯總數(shù)據(jù)中間層,它們與ODS基礎(chǔ)層一起行程公共數(shù)據(jù)中心。

最后增加數(shù)據(jù)標(biāo)準(zhǔn),基于OneData規(guī)范構(gòu)建指標(biāo)體系,計(jì)算出復(fù)用性強(qiáng)的統(tǒng)計(jì)指標(biāo),將其增加到公共數(shù)據(jù)中心。

基于OneEntity規(guī)范構(gòu)建標(biāo)簽體系、數(shù)據(jù)體系,將各個(gè)垂直的孤島數(shù)據(jù)連接起來(lái),并萃取不同于統(tǒng)計(jì)指標(biāo)的精華數(shù)據(jù),如行為標(biāo)簽、關(guān)系等,行程萃取數(shù)據(jù)中心,包括消費(fèi)者數(shù)據(jù)體系、企業(yè)數(shù)據(jù)體系、商品數(shù)據(jù)體系和位置數(shù)據(jù)體系。

其最終形態(tài)可分為指標(biāo)體系和標(biāo)簽/數(shù)據(jù)體系,通常指標(biāo)體系以業(yè)務(wù)線的視角進(jìn)行劃分,如劃分電商、金融2套指標(biāo)體系;而標(biāo)簽/數(shù)據(jù)體系通常以某個(gè)實(shí)體對(duì)象視角進(jìn)行劃分,如劃分消費(fèi)者、商家數(shù)據(jù)體系。

3. 業(yè)務(wù)前臺(tái)

阿里內(nèi)部部門眾多,受眾有三大類,阿里小二、阿里客戶、社會(huì)大眾,他們基于同一數(shù)據(jù)體系,同一份可復(fù)用的數(shù)據(jù)。

阿里小二即內(nèi)部工作人員,可以使用內(nèi)部數(shù)據(jù)平臺(tái),進(jìn)行業(yè)務(wù)數(shù)據(jù)化,包含全局?jǐn)?shù)據(jù)監(jiān)控、數(shù)據(jù)化運(yùn)營(yíng)、數(shù)據(jù)植入業(yè)務(wù)等,數(shù)據(jù)平臺(tái)為其提供如下4個(gè)層次的服務(wù)。

第一層:數(shù)據(jù)工具服務(wù)

普通運(yùn)營(yíng)有查看或分析業(yè)務(wù)數(shù)據(jù)的需求,所以阿里數(shù)據(jù)平臺(tái)提供了多種BI工具,如快門、小站、孔明燈等,供運(yùn)營(yíng)自助獲取數(shù)據(jù)、多維分析、DIY個(gè)性化數(shù)據(jù)門戶。目前具有綜合性代表意義的是Quick BI。

第二層:專題分析服務(wù)

運(yùn)營(yíng)對(duì)類目分析具有強(qiáng)烈的訴求,平臺(tái)按照分析師沉淀的成熟分析思路組織數(shù)據(jù),幫助運(yùn)營(yíng)自助分析行業(yè)異動(dòng)的原因,實(shí)現(xiàn)人人都是分析師的目標(biāo)。代表產(chǎn)品有:

直播廳:輔助業(yè)務(wù)根據(jù)實(shí)時(shí)數(shù)據(jù)調(diào)整資源及分配流量

行業(yè)360:行業(yè)一體化分析產(chǎn)品,從行業(yè)視角提供360度數(shù)據(jù)披露及沉淀數(shù)據(jù)分析的思路

A+:流量分析產(chǎn)品,從流量視角積累并提供流量相關(guān)數(shù)據(jù),包括對(duì)站點(diǎn)、頁(yè)面、區(qū)塊、位置瀏覽、曝光、點(diǎn)擊分布數(shù)據(jù),一級(jí)資源位活動(dòng)投放數(shù)據(jù)等進(jìn)行數(shù)據(jù)分析

第三層:應(yīng)用與分析服務(wù)

日常營(yíng)銷活動(dòng)中,需要選擇商品和商家搭建專場(chǎng)活動(dòng),使用黃金策這類的數(shù)據(jù)產(chǎn)品,可以完成系統(tǒng)間數(shù)據(jù)的對(duì)接,通過(guò)設(shè)定條件篩選出目標(biāo)數(shù)據(jù),支持自助分析、調(diào)整條件,將調(diào)優(yōu)后的結(jié)果直接對(duì)接到前臺(tái)的應(yīng)用系統(tǒng),滿足個(gè)性化推薦的需求

第四層:數(shù)據(jù)決策服務(wù)

高層管理者和決策者需要宏觀的業(yè)務(wù)數(shù)據(jù),可沉淀的數(shù)據(jù)和豐富的趨勢(shì)來(lái)輔助決策,包括通過(guò)數(shù)據(jù)了解業(yè)務(wù)進(jìn)展、判斷當(dāng)前進(jìn)展是否合理,調(diào)整業(yè)務(wù)方向等。

阿里數(shù)據(jù)平臺(tái)提供定制化的數(shù)據(jù)產(chǎn)品,如全景洞察、高管日?qǐng)?bào)等,為高層管理者提供宏觀決策分析服務(wù),包括歷史數(shù)據(jù)規(guī)律分析、未來(lái)發(fā)展趨勢(shì)預(yù)測(cè)、全行業(yè)動(dòng)態(tài)洞察等。

阿里客戶即商家、內(nèi)容創(chuàng)作者等,可以使用生意參謀。

但羅馬非一天建成的,阿里龐大的數(shù)據(jù)體系也是在不同業(yè)務(wù)驅(qū)動(dòng)下,經(jīng)過(guò)4個(gè)階段的建設(shè),才不斷完善起來(lái)。

那對(duì)于即將建設(shè)數(shù)據(jù)數(shù)據(jù)中臺(tái)的企業(yè)而言,在缺乏經(jīng)驗(yàn)的情況下,如何建設(shè)適合自己的數(shù)據(jù)中臺(tái)服務(wù)呢?

接下來(lái)一章,草帽小子會(huì)繼續(xù)分享阿里云上數(shù)據(jù)中臺(tái)執(zhí)行計(jì)劃的文章,敬請(qǐng)關(guān)注吧~

專欄作家

草帽小子,公眾號(hào):一個(gè)數(shù)據(jù)人的自留地,人人都是產(chǎn)品經(jīng)理專欄作家?!洞髷?shù)據(jù)實(shí)踐之路:數(shù)據(jù)中臺(tái)+數(shù)據(jù)分析+產(chǎn)品應(yīng)用》書(shū)籍作者,專注用戶畫像領(lǐng)域。

本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!