国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

本文深入探討了數(shù)據(jù)中臺建設(shè)的具體路徑和實施計劃，詳細(xì)闡述了從現(xiàn)狀梳理到項目成果的全過程，引導(dǎo)讀者了解如何高效構(gòu)建企業(yè)級數(shù)據(jù)中臺，希望對你在數(shù)據(jù)管理和戰(zhàn)略規(guī)劃方面有所啟發(fā)。

本篇主要寫建設(shè)數(shù)據(jù)中臺的建設(shè)路徑，具體的項目實施計劃，以及實施過程中的注意點。

整個過程包含：

一、現(xiàn)狀梳理，明確當(dāng)前主要問題

二、勾勒自下而上的解決方案

三、制定項目計劃

四、項目人員規(guī)劃

五、項目成果

一、首先進(jìn)行現(xiàn)狀梳理，明確當(dāng)前主要問題

每一塊業(yè)務(wù)都有對應(yīng)的ETL開發(fā)團(tuán)隊為其提供數(shù)據(jù)支持，每個團(tuán)隊按自己的思路建設(shè)一套數(shù)據(jù)體系。

指標(biāo)定義階段：字段命名不規(guī)范、口徑不統(tǒng)一、算法不一致。

指標(biāo)規(guī)劃階段：數(shù)據(jù)部門疲于對業(yè)務(wù)支持、缺乏全局規(guī)劃，產(chǎn)品化能力不足。

指標(biāo)開發(fā)階段：煙囪式數(shù)據(jù)開發(fā)，數(shù)據(jù)重復(fù)，不可信。

指標(biāo)維護(hù)階段：復(fù)雜關(guān)系引用導(dǎo)致指標(biāo)下線牽扯面大。

從此可看出，公司業(yè)務(wù)線較為單一的情況下，不需要盲目上中臺服務(wù)；數(shù)據(jù)中臺往往建立在解決一定交叉性數(shù)據(jù)問題的基礎(chǔ)上。

二、勾勒自下而上的解決方案

統(tǒng)一數(shù)據(jù)源：統(tǒng)一ODS數(shù)據(jù)基礎(chǔ)層，并有一個團(tuán)隊負(fù)責(zé)和管控，其他團(tuán)隊無權(quán)復(fù)制數(shù)據(jù)基礎(chǔ)層中的數(shù)據(jù)。

進(jìn)行數(shù)據(jù)的統(tǒng)一規(guī)劃：面向業(yè)務(wù)提供服務(wù)前，由數(shù)據(jù)團(tuán)隊負(fù)責(zé)從業(yè)務(wù)中抽象源于業(yè)務(wù)而又不同于業(yè)務(wù)的數(shù)據(jù)域，再主導(dǎo)統(tǒng)一建設(shè)數(shù)據(jù)中間層。

建設(shè)oneservice服務(wù)體系：將openAPI升級為緩解業(yè)務(wù)變化對數(shù)據(jù)模型沖擊的方法論、數(shù)據(jù)產(chǎn)品，提供統(tǒng)一公用服務(wù)的同事，兼容面向個性化應(yīng)用的服務(wù)。

三、繼而制定項目計劃

梳理清楚現(xiàn)狀之后，明確問題所在，明確解決方案，接下來需要做具體的實施。

第一步：確定并堅定項目目標(biāo)

在不影響業(yè)務(wù)發(fā)展的同時，在業(yè)務(wù)上推進(jìn)數(shù)據(jù)價值化，降本提效為基礎(chǔ)目標(biāo)，創(chuàng)造業(yè)務(wù)價值。

第二步：確定指導(dǎo)性的方法論

OneData：公共層建設(shè)核心方法論，知道構(gòu)建與管理數(shù)據(jù)。

OneService：7x24h無間斷、無差異服務(wù)

OneEntity：連接孤島數(shù)據(jù)，實現(xiàn)數(shù)據(jù)連接后萃取各類標(biāo)簽進(jìn)行用戶畫像。

其中OneEntity體系包含如下：

1）OneEntity統(tǒng)一實體：全域關(guān)系打通設(shè)想ID-mapping

2）GProfile全域標(biāo)簽：四維標(biāo)簽體系探索，包含自然屬性、社會屬性、興趣偏好、行業(yè)消費偏好…

3）GRelation全域關(guān)系：設(shè)想以全域Entity關(guān)系打通為基礎(chǔ)的等關(guān)系圖譜

4）GBehavior全域行為：以全域Entity關(guān)系聚攏形成全域行為中心

第三步：確定三步走的項目執(zhí)行計劃

第一階段：完成全局架構(gòu)

1. 全面接管ODS數(shù)據(jù)基礎(chǔ)層

全面接管ODS數(shù)據(jù)基礎(chǔ)層，是一件十分吃力不討好的事情，事項十分繁瑣。但接管了ODS數(shù)據(jù)基礎(chǔ)層，則是從數(shù)據(jù)源頭上做了一層把關(guān)控制，防止重復(fù)建設(shè)數(shù)據(jù)體系的現(xiàn)象。

建設(shè)離線數(shù)ODS數(shù)據(jù)基礎(chǔ)層和實時ODS數(shù)據(jù)基礎(chǔ)層。

2. 升級OneData體系

將OneData體系升級到OneDataII，比較關(guān)鍵的是制定關(guān)于數(shù)據(jù)規(guī)范定義、數(shù)據(jù)模型設(shè)計、ETL開發(fā)規(guī)范3大環(huán)節(jié)的方法大綱。

3. 完成業(yè)務(wù)數(shù)據(jù)架構(gòu)

從源頭控制住所有數(shù)據(jù)，并且也確定了未來如何建設(shè)和管理數(shù)據(jù)的方法論，那接下來如何設(shè)計具有前瞻性、可持續(xù)性、可擴(kuò)展性的直接面向業(yè)務(wù)層的服務(wù)呢？

需要對業(yè)務(wù)數(shù)據(jù)進(jìn)行盤點、分析和認(rèn)知。但是，如果對所有業(yè)務(wù)都同時進(jìn)行盤點，不僅耗時長且難以深入，不具備可行性。

于是，可以按照“二八原則”，先對關(guān)鍵業(yè)務(wù)及其關(guān)鍵數(shù)據(jù)進(jìn)行第一批盤點，并從業(yè)務(wù)視角和技術(shù)視角同時進(jìn)行盤點。

例如，對淘系數(shù)據(jù)的4100多張報表中的2萬多個指標(biāo)盤點，經(jīng)過多輪篩選，最終保留6600多個指標(biāo)，即可保障當(dāng)時的業(yè)務(wù)需求，其中1.4萬個指標(biāo)，一部分直接下線，一部分在后續(xù)數(shù)據(jù)公共層建成并切換下線。

第二階段：抓關(guān)鍵業(yè)務(wù)的數(shù)據(jù)建設(shè)

在構(gòu)建好ODS層之后，需要進(jìn)一步豐富和完善DWD、DWS、ADS數(shù)據(jù)應(yīng)用層?？偣舶?個方向。

1. 離線數(shù)據(jù)公共層建設(shè)（ODS、DWD、DWS）

最開始建設(shè)淘系數(shù)據(jù)基礎(chǔ)層治理項目，接盤ODS層之后，進(jìn)行深度數(shù)據(jù)治理。，降低存儲和計算資源的消耗，提升數(shù)據(jù)監(jiān)控管理力度。

2. 離線數(shù)據(jù)應(yīng)用層建設(shè)（ADS、報表）

一是面向應(yīng)用服務(wù)的數(shù)據(jù)寬表的建設(shè)：基于數(shù)據(jù)公共層，向各個業(yè)務(wù)部門提供方便、快捷的數(shù)據(jù)服務(wù)。

二是給領(lǐng)導(dǎo)們提供關(guān)鍵數(shù)據(jù)：建設(shè)面向COO領(lǐng)導(dǎo)層的重點關(guān)注的經(jīng)營指標(biāo)。

三是建設(shè)各業(yè)務(wù)線、行業(yè)的數(shù)據(jù)。

3. 數(shù)據(jù)存儲的專項治理

4. 實時數(shù)據(jù)公共層建設(shè)

第三階段：全面鋪開，逐步推進(jìn)各個項目的數(shù)據(jù)建設(shè)

（下一篇文章中進(jìn)行展開）

第四步：明確處理好關(guān)鍵矛盾

第五步：緊盯業(yè)務(wù)并超越業(yè)務(wù)滿意度

一個月內(nèi)完成第一階段的全局架構(gòu)工作，并快速啟動第二階段。第二階段第一期切入關(guān)鍵應(yīng)用，并在2個月內(nèi)完成數(shù)據(jù)公共層初始化；第二階段二期在遷移存量應(yīng)用的同時支持新需求。

把服務(wù)雙十一和雙十二作為階段性業(yè)務(wù)目標(biāo)，讓業(yè)務(wù)人員看到實際效果，技術(shù)人員感受到技術(shù)進(jìn)步，數(shù)據(jù)公共層建設(shè)的推進(jìn)就會由難到易，由慢到快。

第六步：業(yè)務(wù)和技術(shù)，兩手都要抓，兩手都要硬

數(shù)據(jù)技術(shù)是數(shù)據(jù)公共層建設(shè)的內(nèi)核力量，包含數(shù)據(jù)模型、存儲治理、數(shù)據(jù)質(zhì)量、安全權(quán)限、平臺運維、研發(fā)工具等。

第七步：以產(chǎn)品化思維推進(jìn)項目

將數(shù)據(jù)公共層建設(shè)視為一個需要長期運營的產(chǎn)品。

第八步：關(guān)注預(yù)警和加強(qiáng)風(fēng)險管理

提前進(jìn)行風(fēng)險規(guī)劃，制定保障措施，如：

風(fēng)險描述：數(shù)據(jù)規(guī)范定義和數(shù)據(jù)模型設(shè)計體系化，需要專業(yè)人才和工具保障。

保障措施：

1）制定規(guī)則及工作流，完善onedata體系數(shù)據(jù)規(guī)范定義，同時以工具化保障onedata體系工作流

2）數(shù)據(jù)產(chǎn)品經(jīng)理和數(shù)據(jù)模型師培養(yǎng)，輸出多名具有建模思想和建模能力、同時熟悉業(yè)務(wù)的人員

3）公共層可以穩(wěn)定支持業(yè)務(wù)后，定期安排數(shù)據(jù)模型師和ETL研發(fā)人員深入業(yè)務(wù)以更新對源系統(tǒng)和業(yè)務(wù)的認(rèn)知

四、同時需要項目人員規(guī)劃

若是需要最終完美的完成項目計劃，缺乏其他業(yè)務(wù)部門或技術(shù)部門的配合是萬萬不可的，因為在實際的項目進(jìn)程中，需要一個實體團(tuán)隊來負(fù)責(zé)數(shù)據(jù)公共層建設(shè)，以及協(xié)同若干個業(yè)務(wù)線的技術(shù)團(tuán)隊作為虛線加入項目組。

在最初建設(shè)時，數(shù)據(jù)團(tuán)隊只有50個人，而要實現(xiàn)如此龐大的計劃，需要更多人員的支持。在建設(shè)前期由兼職的18羅漢進(jìn)行現(xiàn)狀梳理，并完成全局架構(gòu)。

隨著項目的興起，領(lǐng)導(dǎo)團(tuán)隊對項目愈加看重，因而得到了更多人員資源上的支持。

五、最后靜待項目成果

降本：數(shù)據(jù)計算成本和存儲成本降低，以及因重復(fù)建設(shè)而造成的人力成本的降低等。

2015年，批量數(shù)據(jù)計算總時長減少約50%，解約計算成本近億元；批量數(shù)據(jù)下線，解約存儲空間上百PB，節(jié)約存儲成本上億元。

提效：讓各業(yè)務(wù)部門得到了統(tǒng)一、標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)，并且響應(yīng)速度很快，提升了使用數(shù)據(jù)的效率。

業(yè)務(wù)上，數(shù)據(jù)價值化。

如上是阿里數(shù)據(jù)中臺第一階段、第二階段的建設(shè)過程，接下來一篇會繼續(xù)解析第三階段：全面鋪開的數(shù)據(jù)中臺建設(shè)過程。