數(shù)據(jù)產(chǎn)品經(jīng)理,該如何搭建數(shù)據(jù)平臺(tái)?

4 評(píng)論 26708 瀏覽 226 收藏 8 分鐘

本文作者結(jié)合實(shí)際工作案例,介紹了在搭建數(shù)據(jù)平臺(tái)的過(guò)程中數(shù)據(jù)產(chǎn)品經(jīng)理需要注意的流程和使用的工具,與大家分享。

關(guān)于2B/2G數(shù)據(jù)平臺(tái)搭建與一般軟件開(kāi)發(fā)流程整體一致,但是特殊性體現(xiàn)在用戶(hù)和數(shù)據(jù)上。這里以之前做的一個(gè)數(shù)據(jù)監(jiān)測(cè)平臺(tái)為例,以數(shù)據(jù)為中心,介紹一下數(shù)據(jù)PM在整個(gè)數(shù)據(jù)平臺(tái)開(kāi)發(fā)過(guò)程中用到的工具與需重點(diǎn)關(guān)注的數(shù)據(jù)處理流程。

一、常用數(shù)據(jù)分析工具

1. 數(shù)據(jù)分析工具

  • Orange:可視化數(shù)據(jù)挖掘工具,無(wú)需coding;
  • SPSS:數(shù)據(jù)統(tǒng)計(jì)軟件,需較強(qiáng)的數(shù)據(jù)分析能力;
  • Excel:數(shù)據(jù)統(tǒng)計(jì)軟件,需入門(mén)級(jí)數(shù)據(jù)分析能力;

2. 數(shù)據(jù)來(lái)源工具

  • 百度指數(shù):數(shù)據(jù)分享平臺(tái),只用于PM參考,無(wú)開(kāi)放API;
  • 八爪魚(yú):爬蟲(chóng)工具,只用于PM參考,只支持windows平臺(tái);

3. 數(shù)據(jù)展示工具

  • Echarts:數(shù)據(jù)可視化插件,自帶代碼,可與技術(shù)人員共享;
  • Tableau:數(shù)據(jù)可視化分析、展示,可預(yù)設(shè)計(jì)動(dòng)態(tài)數(shù)據(jù)界面;
  • 易詞云:詞云生成器,詞云樣式豐富。

二、重點(diǎn)數(shù)據(jù)處理流程

1. 流程概覽

  1. 重點(diǎn)數(shù)據(jù)提取
  2. 數(shù)據(jù)采集
  3. 數(shù)據(jù)評(píng)估與運(yùn)維
  4. 數(shù)據(jù)展示

2. 具體執(zhí)行

(1)重點(diǎn)數(shù)據(jù)提取

我們提取重點(diǎn)數(shù)據(jù)是為了形成數(shù)據(jù)指標(biāo)。在結(jié)合其他資深數(shù)據(jù)產(chǎn)品建議與自身開(kāi)發(fā)經(jīng)驗(yàn)的基礎(chǔ)上,這里介紹一種相對(duì)全面實(shí)用的數(shù)據(jù)指標(biāo)的建設(shè)方法:

數(shù)據(jù)指標(biāo)=指標(biāo)名稱(chēng)+業(yè)務(wù)大類(lèi)+維度+匯總方式+量度+關(guān)聯(lián)維度+時(shí)間

提取重點(diǎn)數(shù)據(jù),即建立數(shù)據(jù)指標(biāo)的過(guò)程中,需要產(chǎn)品進(jìn)一步梳理產(chǎn)品映射的業(yè)務(wù)邏輯,設(shè)計(jì)產(chǎn)品底層的數(shù)據(jù)分析策略。同時(shí)基于此,也可協(xié)助技術(shù)開(kāi)發(fā)人員打開(kāi)數(shù)據(jù)表創(chuàng)建思路,以便后臺(tái)數(shù)據(jù)庫(kù)搭建(包括數(shù)據(jù)倉(cāng)庫(kù)建設(shè))。

建立數(shù)據(jù)指標(biāo)需重點(diǎn)把握業(yè)務(wù)大類(lèi)和維度——

業(yè)務(wù)大類(lèi),一方面可直接按照B/G端客戶(hù)的實(shí)際業(yè)務(wù)邏輯進(jìn)行梳理,另一方面源自產(chǎn)品開(kāi)發(fā)前期的需求分析內(nèi)容——業(yè)務(wù)需求之外的其他需求,比如2G數(shù)據(jù)產(chǎn)品經(jīng)常關(guān)注的輿情方面。在此過(guò)程中,需要細(xì)化信息顆粒度,全面覆蓋需求進(jìn)行匯總,再按照重要程度、業(yè)務(wù)內(nèi)容進(jìn)行取舍分類(lèi),形成業(yè)務(wù)大類(lèi)。

維度,一般按照時(shí)間、空間、主體進(jìn)行劃分。

時(shí)間即指年月日以及更小的時(shí)間單位,在橫向的時(shí)間軸上,數(shù)據(jù)既要涵蓋對(duì)歷史情況的回溯,又要包含對(duì)未來(lái)事件的預(yù)判(需要數(shù)據(jù)建模)。

空間方面,2B/2G產(chǎn)品關(guān)注的空間通常反映為行政等級(jí)——國(guó)家、省、市、地方等,尤其是對(duì)G端產(chǎn)品,這種空間劃分涉及到用戶(hù)權(quán)限配置,比如省級(jí)監(jiān)管局可看到對(duì)應(yīng)省轄區(qū)內(nèi)的所有數(shù)據(jù)內(nèi)容。時(shí)間與空間在后期的產(chǎn)品使用中,一般應(yīng)支持用戶(hù)下鉆,進(jìn)行更細(xì)致的信息查詢(xún)。

主體指的產(chǎn)品業(yè)務(wù)邏輯所涉及到的人、物等,在政府?dāng)?shù)據(jù)監(jiān)管平臺(tái)中,這里包括受監(jiān)管的企業(yè)、產(chǎn)品。不同的主體一般都存著在復(fù)雜的業(yè)務(wù)聯(lián)系,所以在設(shè)計(jì)數(shù)據(jù)模塊時(shí)應(yīng)考慮到用戶(hù)對(duì)相關(guān)的主體維度的關(guān)注,在之中創(chuàng)建便捷的跳轉(zhuǎn)方法。

根據(jù)數(shù)據(jù)指標(biāo)的定義,數(shù)據(jù)產(chǎn)品應(yīng)該支持多種組合查詢(xún),數(shù)據(jù)展示模塊中應(yīng)具備聯(lián)動(dòng)功能,如不同的業(yè)務(wù)+不同的維度查詢(xún),形成篩選器,支持用戶(hù)自主查詢(xún)。

(2)數(shù)據(jù)采集

數(shù)據(jù)采集通常有三種方法:錄入、抓取、建模。

  1. 錄入,支持用戶(hù)通過(guò)產(chǎn)品后臺(tái)進(jìn)行數(shù)據(jù)錄入,這種信息通常是通過(guò)系統(tǒng)抓取難以獲取的,比如數(shù)據(jù)來(lái)源不確定的信息,需要人工進(jìn)行錄入。
  2. 抓?。合到y(tǒng)對(duì)不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行抓取分析,進(jìn)行展示,這種信息常為內(nèi)容類(lèi)。
  3. 建模:區(qū)別與錄入與抓取的直接展示,數(shù)據(jù)建模主要應(yīng)用于數(shù)據(jù)預(yù)測(cè),對(duì)數(shù)據(jù)的處理更為復(fù)雜,先建模再生成新數(shù)據(jù),對(duì)原有數(shù)據(jù)形成補(bǔ)充,完善數(shù)據(jù)信息或者對(duì)未來(lái)趨勢(shì)形成預(yù)測(cè),以支撐決策。

(3)數(shù)據(jù)評(píng)估與運(yùn)維

數(shù)據(jù)評(píng)估、運(yùn)維從PM出發(fā),提供兩個(gè)參考的角度:質(zhì)量把控和重要級(jí)排序。

質(zhì)量把控方面嚴(yán)格來(lái)講,通常大的數(shù)據(jù)平臺(tái),需要建立專(zhuān)門(mén)的數(shù)據(jù)質(zhì)量管理系統(tǒng),對(duì)于元數(shù)據(jù)、接口穩(wěn)定性等內(nèi)容進(jìn)行細(xì)致管理監(jiān)控。在此,PM可以從數(shù)據(jù)的來(lái)源可靠性、優(yōu)化處理、工具利用方法等方面進(jìn)行評(píng)估把控,如對(duì)抓取信息的網(wǎng)站進(jìn)行評(píng)估篩選,保證數(shù)據(jù)來(lái)源安全可靠。

重要級(jí)排序,在沒(méi)有真正用戶(hù)使用產(chǎn)品的前提下,這種排序是很難進(jìn)行設(shè)計(jì)與用戶(hù)之間的雙向確認(rèn)的,所以我們可以在進(jìn)行產(chǎn)品設(shè)計(jì)時(shí),允許用戶(hù)后期對(duì)dashboard等頁(yè)面的功能模塊進(jìn)行自定義的拖拉組建,對(duì)我們已經(jīng)預(yù)設(shè)的數(shù)據(jù)內(nèi)容重要級(jí)排序進(jìn)行修正。

(4)數(shù)據(jù)展示

這里從功能、數(shù)據(jù)呈現(xiàn)方式兩方面進(jìn)行說(shuō)明。

數(shù)據(jù)展示需要的功能在前面的重點(diǎn)數(shù)據(jù)提取——維度建立已經(jīng)提過(guò),最重要的是聯(lián)動(dòng)與下鉆,這要求數(shù)據(jù)在系統(tǒng)中形成一個(gè)完整的信息鏈路,既可統(tǒng)攬匯總,又可細(xì)化查看,真正做成一個(gè)好用的數(shù)據(jù)工具。

數(shù)據(jù)呈現(xiàn)方式主要是數(shù)據(jù)布局和圖表的選擇。這里可以參考桃子貍的文章《“NCP疫情分析管控”數(shù)據(jù)可視化大屏設(shè)計(jì)總結(jié)》中的可視化設(shè)計(jì)部分。

結(jié)語(yǔ)

本篇著重介紹搭建數(shù)據(jù)平臺(tái)過(guò)程中,PM對(duì)于數(shù)據(jù)處理需要掌握的工具與重點(diǎn),基本出自筆者自身經(jīng)驗(yàn),多有不足還請(qǐng)大家指教~

 

本文由 @Lens-J 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載

題圖來(lái)自Unsplash,基于CC0協(xié)議

作者:產(chǎn)品經(jīng)理小派

本文由 @產(chǎn)品經(jīng)理小派 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于CC0協(xié)議。

該文觀點(diǎn)僅代表作者本人,人人都是產(chǎn)品經(jīng)理平臺(tái)僅提供信息存儲(chǔ)空間服務(wù)。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 分析過(guò)于淺顯而且總結(jié)也不是很完備。
    就比如數(shù)據(jù)采集的定義假如是前臺(tái)展示用數(shù)據(jù)的來(lái)源,可以粗略地可以分為手工(包括后臺(tái)錄入,格式文件導(dǎo)入),自動(dòng)(抓取,系統(tǒng)api推送,系統(tǒng)內(nèi)邏輯處理)
    再比如,最開(kāi)始的數(shù)據(jù)說(shuō)明,時(shí)間是維度,空間地理也是維度,地理還可以有支撐維;維表建模是業(yè)務(wù)數(shù)據(jù)處理的第一步

    回復(fù)
    1. 我覺(jué)得您提出的問(wèn)題是合理的,感謝指出。
      這里的總結(jié)只是針對(duì)產(chǎn)品經(jīng)理角色的主要工作內(nèi)容的,所以涉及到開(kāi)發(fā)包括后臺(tái)技術(shù)的內(nèi)容未做深入分析。
      作者目前經(jīng)驗(yàn)尚有不足,后期會(huì)根據(jù)實(shí)際執(zhí)行情況再作補(bǔ)充。向您學(xué)習(xí)~

      來(lái)自北京 回復(fù)
  2. 大家期待已久的《數(shù)據(jù)產(chǎn)品經(jīng)理實(shí)戰(zhàn)訓(xùn)練營(yíng)》終于上線啦!

    本課程非常適合新手?jǐn)?shù)據(jù)產(chǎn)品經(jīng)理,或者想要轉(zhuǎn)崗的產(chǎn)品經(jīng)理、數(shù)據(jù)分析師、研發(fā)、產(chǎn)品運(yùn)營(yíng)等人群。

    課程會(huì)從基礎(chǔ)概念,到核心技能,再通過(guò)典型數(shù)據(jù)分析平臺(tái)的實(shí)戰(zhàn),幫助大家構(gòu)建完整的知識(shí)體系,掌握數(shù)據(jù)產(chǎn)品經(jīng)理的基本功。

    學(xué)完后你會(huì)掌握怎么建指標(biāo)體系、指標(biāo)字典,如何設(shè)計(jì)數(shù)據(jù)埋點(diǎn)、保證數(shù)據(jù)質(zhì)量,規(guī)劃大數(shù)據(jù)分析平臺(tái)等實(shí)際工作技能~

    現(xiàn)在就添加空空老師(微信id:anne012520),咨詢(xún)課程詳情并領(lǐng)取福利優(yōu)惠吧!

    來(lái)自廣東 回復(fù)
    1. x

      來(lái)自廣東 回復(fù)