AI產(chǎn)品經(jīng)理,要如何搭建AI數(shù)據(jù)中臺?
AI中臺是一個用來構(gòu)建大規(guī)模智能服務的基礎(chǔ)設(shè)施,對企業(yè)需要的算法模型提供了分步構(gòu)建和全生命周期管理的服務,讓企業(yè)可以將自己的業(yè)務不斷下沉為一個個算法模型,以達到復用、組合創(chuàng)新、規(guī)模化構(gòu)建智能服務的目的。
什么是AI數(shù)據(jù)中臺?
在以往,企業(yè)數(shù)據(jù)管理都以傳統(tǒng)的IT架構(gòu)為基礎(chǔ)。當技術(shù)部門為業(yè)務部門解決問題時,需要從業(yè)務需求的探查、技術(shù)壁壘的打通等從上到下各個方面來建設(shè)新系統(tǒng)。每個系統(tǒng)的建成都自成一體,也就是煙筒構(gòu)架,每個部門各自滿足業(yè)務部門的需求。
這種構(gòu)架不僅耗費各部門大量的精力也使得各個系統(tǒng)難以打通管理,無法形成更強大的數(shù)據(jù)能力,同時,對數(shù)據(jù)進行維護的工作量也非常大。但是在如今人工智能變革過程中,數(shù)據(jù)的獲取和使用無疑成為了智能程度高低的瓶頸,所以能不能建立AI數(shù)據(jù)中臺,意味著你的智能系統(tǒng)成敗的關(guān)鍵。
現(xiàn)在的數(shù)據(jù)中臺是全新的架構(gòu)變革。一切業(yè)務數(shù)據(jù)化,一切數(shù)據(jù)業(yè)務化,是AI時代的標配。5G技術(shù)的發(fā)展,可能會進一步放大視圖聲數(shù)據(jù)的重要性。
不管從數(shù)據(jù)量的增長、數(shù)據(jù)處理技術(shù)的進步,還在站在企業(yè)對數(shù)據(jù)中臺的認知來說,?AI數(shù)據(jù)中臺搭建都是每個企業(yè)必須要考慮的。AI中臺是一個用來構(gòu)建大規(guī)模智能服務的基礎(chǔ)設(shè)施,對企業(yè)需要的算法模型提供了分步構(gòu)建和全生命周期管理的服務,讓企業(yè)可以將自己的業(yè)務不斷下沉為一個個算法模型,以達到復用、組合創(chuàng)新、規(guī)模化構(gòu)建智能服務的目的。
什么是AI數(shù)據(jù)中臺?首先它不是一個平臺,也不是一個系統(tǒng),AI數(shù)據(jù)中臺包含先進技術(shù),但不僅僅是技術(shù),更重要的是依托先進技術(shù),利用其所擁有的核心資源,構(gòu)建生態(tài)向心力,所以說AI數(shù)據(jù)中臺是一種能力。
AI 數(shù)據(jù)中臺整體架構(gòu)
數(shù)據(jù)中臺對一個企業(yè),起著至關(guān)重要的作用,各個業(yè)務系統(tǒng)經(jīng)年累月以煙囪架構(gòu)形式存在而導致的數(shù)據(jù)孤島、數(shù)據(jù)隔離、數(shù)據(jù)不一致等等。因為這些問題實在是過于繁雜,因此數(shù)據(jù)倉庫、數(shù)據(jù)湖、主數(shù)據(jù)治理等一系列的工作職能應運而生。
這樣的數(shù)據(jù)治理工作在進行了很多年后,數(shù)據(jù)中臺這個概念逐漸有人提出了,阿里的《企業(yè)IT轉(zhuǎn)型直到:阿里巴巴中臺戰(zhàn)略思想與架構(gòu)實踐》這本書更是對這個概念做了一次普及。
現(xiàn)在我們發(fā)現(xiàn),深度學習、機器學習等等一系列技術(shù)開始在這個平臺下起到作用的時候。AI中臺開始落地實施,AI中臺是數(shù)據(jù)中臺的進一步延伸,從數(shù)據(jù)中臺一步一步演進過去。
AI中臺是一個用來構(gòu)建大規(guī)模智能服務的基礎(chǔ)設(shè)施,對企業(yè)需要的算法模型提供了分步構(gòu)建和全生命周期管理的服務,讓企業(yè)可以將自己的業(yè)務不斷下沉為一個個算法模型,以達到復用、組合創(chuàng)新、規(guī)?;瘶?gòu)建智能服務的目的及業(yè)務賦能的作用。
簡單來說,一個企業(yè)各個應用源源不斷的產(chǎn)生數(shù)據(jù),各個業(yè)務模塊的數(shù)據(jù)匯總,經(jīng)過統(tǒng)一的清洗、歸類、糾錯、標注、定義、顆粒化及構(gòu)建索引,形成數(shù)據(jù)中臺。再根據(jù)各類算法及機器學習,從而形成企業(yè)的AI中臺??蓪ν廨敵鰶Q策能力、算法模型、功能模型及業(yè)務能力,這就是一個簡單的AI中臺模型。
AI 數(shù)據(jù)中臺解決的問題,可以總結(jié)為五點
- 效率問題:人工智能本質(zhì)上,是要解決效率問題。在人工智能時代,體力活或者技術(shù)型的勞動不再需要人去做,因為平臺數(shù)據(jù)割裂,互為一體,用戶數(shù)據(jù)分散存儲,有存儲用戶性別的數(shù)據(jù)。但是另外的應用無法調(diào)用,需要用戶再次輸入,重復操作。效率降低。
- 協(xié)作問題:各應用之間的協(xié)作在大企業(yè)中很常見,協(xié)作的前提是能夠互通有無,但是如果不知道對方有哪些可以幫到自己,溝通過程中就會出現(xiàn)需求不明確現(xiàn)象,當建立AI數(shù)據(jù)中臺后就可以打破窗戶紙,協(xié)作更加順暢。
- 關(guān)聯(lián)度問題:一個完整的用戶畫像需要多方位的數(shù)據(jù)信息,例如可以根據(jù)根據(jù)用戶點餐的習慣,可以判斷ta的日常飲食習慣,結(jié)合用戶的瀏覽的租房內(nèi)容可以判斷ta的消費檔次,再結(jié)合投遞職位的薪資,我們可以計算出ta的基本收入,只有數(shù)據(jù)豐富才有可能形成智能。
- 能力問題:數(shù)據(jù)中臺并非把數(shù)據(jù)堆到一起,那不叫AI數(shù)據(jù)中臺,做數(shù)據(jù)挖掘后你會發(fā)現(xiàn),這些數(shù)據(jù)可以為每個單獨的業(yè)務模塊賦能,也就是說通過各個業(yè)務模塊提供的數(shù)據(jù),整理挖掘后再為各個業(yè)務提供之前沒有的能力。
- 時效問題:數(shù)據(jù)有價值,實時數(shù)據(jù)更有價值,在沒有AI數(shù)據(jù)中臺前,無法做到數(shù)據(jù)通信的時效性,當有了AI數(shù)據(jù)中臺后時效性的數(shù)據(jù)會成為企業(yè)決策和產(chǎn)品能力提升的關(guān)鍵因素。
AI數(shù)據(jù)中臺團隊
搭建AI數(shù)據(jù)中臺需要有一個獨立的團隊,能夠?qū)λ袠I(yè)務的數(shù)據(jù)做統(tǒng)一梳理、歸納。其中必不可缺的角色包括:
- 數(shù)據(jù)產(chǎn)品經(jīng)理:數(shù)據(jù)產(chǎn)品經(jīng)理這個職位,其實很跨界:需要懂程序,做數(shù)據(jù)收集及清洗;需要懂產(chǎn)品,了解內(nèi)外部用戶需求和理解市場;需要懂數(shù)據(jù),用數(shù)據(jù)的方式證明、證偽及發(fā)現(xiàn)問題。數(shù)據(jù)產(chǎn)品經(jīng)理既要完成數(shù)據(jù)體系設(shè)計,讓原本無序或龐雜的數(shù)據(jù)變得“規(guī)矩”,又要根據(jù)業(yè)務場景的變化,不斷調(diào)整項目內(nèi)容,推進項目進度。所以說數(shù)據(jù)產(chǎn)品經(jīng)理是搭建AI數(shù)據(jù)中臺的整體把控者。
- 業(yè)務專家團隊:了解業(yè)務、梳理業(yè)務場景,確定數(shù)據(jù)資產(chǎn)與業(yè)務場景的一一對應關(guān)系,確定業(yè)務場景的優(yōu)先級,為數(shù)據(jù)中臺的建設(shè)提供依據(jù),使得產(chǎn)品符合邏輯。
- 數(shù)據(jù)工程團隊:建設(shè)和維護數(shù)據(jù)中臺,包括 ETL、數(shù)據(jù)采集,以及數(shù)據(jù)中臺性能和穩(wěn)定性保證,利用中臺的工具采集、存儲、加工、處理數(shù)據(jù)。
- 數(shù)據(jù)分析團隊:分析數(shù)據(jù)價值、探索場景,生產(chǎn)更多的數(shù)據(jù)服務。
- 數(shù)據(jù)治理團隊:梳理數(shù)據(jù)標準、構(gòu)件數(shù)據(jù)安全和隱私規(guī)范,利用開源去中心化的數(shù)據(jù)治理工具來圍繞業(yè)務場景解決數(shù)據(jù)質(zhì)量和安全問題。就類似每個程序員要配備兩個測試員一樣,數(shù)據(jù)治理同樣重要。
- 智能算法團隊:為數(shù)據(jù)分析、業(yè)務探索提供智能和算法工具。實現(xiàn)中臺的AI化。
AI 數(shù)據(jù)中臺中的產(chǎn)品經(jīng)理定位
- 數(shù)據(jù)都是有用的:所有數(shù)據(jù)都是有用的,凡是用戶留下的數(shù)據(jù)包括停留時長、觸達頁面,頁面熱區(qū)等,都是有用的,盡可能的保留用戶所有痕跡。在不同的場景下數(shù)據(jù)的需求維度不一樣,不同的數(shù)據(jù)組合可以幫助你構(gòu)建不同的算法模型。
- 培養(yǎng)大數(shù)思維:數(shù)據(jù)產(chǎn)品經(jīng)理必須具備大數(shù)思維,因為你要處理的數(shù)據(jù)量級都是超大的,如果你處理的是文本數(shù)據(jù)量是1億條,那么有5000條的錯誤率,要不要忽略,0.005%,這是可以忽略的,但是5000的量級在傳統(tǒng)的產(chǎn)品中一般是不可忽略的。數(shù)據(jù)是相對的,培養(yǎng)大數(shù)思維會少做好多無用功。
- 不要相信知覺,相信結(jié)果:在處理數(shù)據(jù)中不要單憑自己看到的一部分數(shù)據(jù)量而判斷所有的數(shù)據(jù)集,不要感覺某些數(shù)據(jù)是不是有用,是不是需要標注。要不斷的去測試調(diào)優(yōu),要相信最終的結(jié)果。
- 數(shù)據(jù)隱私問題:如果系統(tǒng)自動推送一個你感興趣的廣告產(chǎn)品,有的人會理解很貼心,正好符合我的需求,很多人會覺得嚇一跳:它怎么知道我喜歡這個?要想獲得更好的體驗必須犧牲個人隱私,這到底是不是一個必要條件。個人感覺這個問題必將被技術(shù)解決,任何技術(shù)產(chǎn)品的問題最終會被其他技術(shù)解決?,F(xiàn)階段的產(chǎn)品經(jīng)理只有做到依靠現(xiàn)有的脫敏等技術(shù)手段及道德底線來維護現(xiàn)有用戶的數(shù)據(jù)隱私問題。
總結(jié)
AI發(fā)展必需依靠算法、數(shù)據(jù)和算力三方面的組合才能有更好的效果,現(xiàn)階段算力需要硬件的突破,算法的進步需要更多的算法工程師的努力才能有突破。能否高效的利用數(shù)據(jù)是各大公司的差距所在,AI數(shù)據(jù)中臺無疑是解決這個問題的最優(yōu)解。率先搭建持續(xù)優(yōu)化,也許可以幫助大企業(yè)在智能化方向上有個大的進步。
作者:老張,宜信集團保險事業(yè)部智能保險產(chǎn)品負責人,運營軍師聯(lián)盟創(chuàng)始人之一,《運營實戰(zhàn)手冊》作者之一。
本文由 @老張 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理。未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Pixabay,基于 CC0 協(xié)議。
哥們兒可以啊,生生的造了個概念出來,然而并沒看出來有啥言之鑿鑿的新鮮的東西
不太理解。數(shù)據(jù)在中臺中起到什么作用?訓練算法嘛?還是算法為數(shù)據(jù)整理提供支持?
厲害總結(jié)的很到位
到位