機器學(xué)習(xí)的未來,真的能技術(shù)民主化嗎?
編輯導(dǎo)語:機器學(xué)習(xí)這一概念對大多數(shù)人來說,還是相對陌生的,但其實許多行業(yè)的業(yè)務(wù)場景都可以結(jié)合機器學(xué)習(xí)平臺,達成更高效率的業(yè)務(wù)分析操作。本篇文章里,作者便從Amazon SageMaker Canvas出發(fā),對機器學(xué)習(xí)平臺的發(fā)展做了解讀,一起來看一下。
人工智能一直是近幾年熱炒的話題,但隨著資本興趣的轉(zhuǎn)移,人工智能行業(yè)也逐漸趨于冷靜,各企業(yè)算法工程師崗位逐年縮減,競爭也逐年激烈。
一個朋友跟我說,他18年的時候轉(zhuǎn)了NLP方向,他覺得他算是跨專業(yè)轉(zhuǎn)型的最后一批選手,再后來他手里的簡歷基本是清北華五計算機科班的了。從從業(yè)人員水平來看,人工智能已經(jīng)變成普通人不再能輕易能涉足的行業(yè)。但技術(shù)如果不能服務(wù)社會,賦能行業(yè),那便是無用的技術(shù)。
目前人工智能行業(yè)處在冷靜期,但用戶對機器學(xué)習(xí)的需求從未冷靜。更多的企業(yè)在一邊沉淀技術(shù),一邊積極尋求更好的落地場景。
從17年底開始,陸陸續(xù)續(xù)有企業(yè)發(fā)布機器學(xué)習(xí)平臺,其實所謂機器學(xué)習(xí)平臺本質(zhì)是機器學(xué)習(xí)工具。而工具的好處在于,AI企業(yè)終于不用花太多精力在場景選擇上,而是追求產(chǎn)品的卓越上。就像賣剪刀的企業(yè),不用太關(guān)心剪刀是拿去剪繩子還是剪紙片,用戶自己會發(fā)揮剪刀的價值。
最近體驗了一下Amazon SageMaker Canvas,感受到AI企業(yè)正很努力地將人工智能變成普通人能夠輕松使用的技術(shù)。
先聊一下Amazon,2017年11月亞馬遜云科技推出了SageMaker這一機器學(xué)習(xí)平臺,并且在三年內(nèi)收獲了很多世界500強知名企業(yè)客戶。在去年12月份,SageMaker為了讓更多人能以更低的門檻享受到機器學(xué)習(xí)的服務(wù),他們推出了SageMaker Canvas。
我們先不著急直接看SageMaker Canvas是什么,我們先了解一下機器學(xué)習(xí)平臺是什么樣的賽道。
一、冰山下埋著千億規(guī)模市場
隨著C端互聯(lián)網(wǎng)經(jīng)濟增長放緩,越來越多的人將目光投向B端,技術(shù)逐漸向產(chǎn)業(yè)傾斜。騰訊、阿里、亞馬遜等大廠概莫如是。
而B端目前如火如荼發(fā)展的正是數(shù)字化轉(zhuǎn)型。清華“姚班”的帶頭人姚期智院士公開說,數(shù)據(jù)、算法、算力是數(shù)字經(jīng)濟核心技術(shù)。機器學(xué)習(xí)同樣離不開數(shù)據(jù)、算法、算力。
根據(jù)最近一篇東吳證券的行業(yè)報告可以看到,國內(nèi)機器學(xué)習(xí)賽道目前是百億規(guī)模市場,但帶動的卻是千億產(chǎn)業(yè)規(guī)模。
我們可以將相關(guān)產(chǎn)業(yè)規(guī)模和機器學(xué)習(xí)市場規(guī)模比較,相關(guān)產(chǎn)業(yè)規(guī)模大概在機器學(xué)習(xí)市場規(guī)模的7倍。美團在做外賣業(yè)務(wù)的時候燒錢燒了20億美元,王慧文有一句話很經(jīng)典:知道市場體量,才有燒錢的魄力。美團外賣燒了20億美金,但是現(xiàn)在美團外賣規(guī)模1000億美金,市場每天外賣單數(shù)5000萬單。冰山下的千億市場,才是真正值得機器學(xué)習(xí)從業(yè)者們耐心挖掘的。
國內(nèi)機器學(xué)習(xí)產(chǎn)業(yè)規(guī)模
二、大廠和獨角獸的角力
機器學(xué)習(xí)市場帶動的相關(guān)產(chǎn)業(yè)規(guī)模僅國內(nèi)就有上千億產(chǎn)業(yè)規(guī)模,鋪開到全球范圍,這無疑是一個大金礦。對于人工智能細分領(lǐng)域的創(chuàng)業(yè)公司有很多,但是對于機器學(xué)習(xí)平臺,就只能看大廠和獨角獸們的角逐了。因為一方面機器學(xué)習(xí)平臺燒錢,另一方面機器學(xué)習(xí)平臺需要大量數(shù)據(jù)去訓(xùn)練和驗證平臺能力。
2020年百度開始密集地發(fā)布線上活動,推廣百度智能云。而同時,華為云不甘落后地推出ModelArt。
而對比國外,早在2017年,Gartner第一次提出數(shù)據(jù)科學(xué)平臺(也叫AI平臺)概念,將機器學(xué)習(xí)、深度學(xué)習(xí)模塊納入數(shù)據(jù)分析平臺之中。Alteryx在18年進入數(shù)據(jù)科學(xué)平臺魔力象限領(lǐng)導(dǎo)者,同期國內(nèi)也涌現(xiàn)出第四范式、九章云極等優(yōu)秀企業(yè)。
Amazon SageMaker 在2021年進入Gartner數(shù)據(jù)平臺魔力象限,值得一提的小插曲是,Amazon SageMaker在2020年本就該在魔力象限遠見者中占據(jù)一席之地,但由于發(fā)布時間比評選時間晚了點,錯了過了當(dāng)年的評選,而是獲得當(dāng)年的榮譽提名。
Gartner在2021年對Amazon SageMaker的評價優(yōu)勢是:
- 云平臺的深度和廣度;
- 性能、可擴展和精細度;
- 數(shù)據(jù)標記和人機交互功能。
需要注意的事項是:
- 不斷發(fā)展公民數(shù)據(jù)科學(xué)新引力;
- 需要快速開發(fā)以匹配競品的功能;
- 成熟的本地、混合和多云的支持。
因為Gartner對Amazon SageMaker的這番評價,讓我更加想了解一下Amazon SageMaker。
三、SageMaker Canvas:亞馬遜云科技的科技民主化之旅
終于要聊到想聊的正主了。SageMaKer Canvas是亞馬遜云科技在平臺概念和目標用戶上的一次全力突圍。從產(chǎn)品使用過程來說,是一次能感受到產(chǎn)品背后后厚積薄發(fā)的酣暢體驗。
Canvas是SageMaker的全新功能,通過低代碼的形式讓非專業(yè)人員也能便捷地享受機器學(xué)習(xí)的福利。
我有一個朋友是物流運營的小伙伴,她希望客戶的訂單都能按時送達。為了滿足這個目標,她希望能夠?qū)τ唵问欠衲軠蕰r送達做提前預(yù)測,以便她能提前發(fā)掘可能延期的訂單。我從她手里要來了兩份脫敏后的數(shù)據(jù),一份是商品清單,另一份是發(fā)貨訂單。
因為Canvas的介紹里并不需要寫代碼,我嘗試使用Canvas搭建一個訂單送貨的預(yù)測模型,看看是否能實現(xiàn)她要的。Canvas的操作如同它的引導(dǎo)書一樣,僅有四步:選擇數(shù)據(jù),創(chuàng)建模型,分析結(jié)果,生成預(yù)測。
Canvas首頁
1. 選擇數(shù)據(jù)
我把從朋友那邊拿到的脫敏數(shù)據(jù)上傳到Canvas里以便訓(xùn)練使用。Canvas的數(shù)據(jù)導(dǎo)入有4種方式:本地上傳、Amazon S3導(dǎo)入、Snowflake導(dǎo)入、Redshift導(dǎo)入。
第一次上傳失敗了,因為本地上傳需要在S3里修改一項配置,在按官網(wǎng)操作之后,順利地上傳了本地的CSV文件。Amazon S3是亞馬遜自己的云存儲,類似云盤。Redshift是亞馬遜的數(shù)倉平臺。
比較意外的是看到了Snowflake,可能很多人不知道Snowflake,這是一家做云原生數(shù)倉的公司,推的是DaaS,但收費模式卻是SaaS企業(yè)最想要的模式,建議SaaS企業(yè)的小伙伴可以研究一下。
比較意外是亞馬遜自己有Redshift為啥還要引入第三方數(shù)倉,轉(zhuǎn)念一想也挺有道理,一方面Snowflake確實做得好,有廣大的用戶群,另一方面snowflake是云服務(wù)商而不是云設(shè)備商,Snowflake也可以是亞馬遜的客戶。
Canvas的數(shù)據(jù)錄入頁面
通過本地上傳數(shù)據(jù)之后,Canvas支持Join功能。這個可能稍微偏一點技術(shù),其實就是開發(fā)最常用的Join函數(shù)的意思,能夠把數(shù)據(jù)庫表拼接。
首先,我把朋友給的商品清單和發(fā)貨訂單進行拼接,兩張表里有相同的字段ProductID。拼接之后我得到了一個維度更多的CSV文件,或者說特征更多的CSV文件。
然后將拼接好的數(shù)據(jù)上傳到了Canvas里。Canvas會對上傳的數(shù)據(jù)進行簡單的統(tǒng)計。下圖里JoinData是我拼接后的文件,我們后文就專業(yè)一點叫把這個CSV文件稱為數(shù)據(jù)集。這個數(shù)據(jù)集大小是16列10000行。
在導(dǎo)入數(shù)據(jù)集的時候,Canvas支持數(shù)據(jù)集的預(yù)覽,避免用戶導(dǎo)入錯數(shù)據(jù)集。
Canvas選擇數(shù)據(jù)頁面
2. 創(chuàng)建模型
正常來說,建模這個事情真的是煉丹師們登場,非專業(yè)人士緊急避讓。但是Canvas里的操作簡單到讓人不可思議。
在創(chuàng)建模型的頁面選擇自己關(guān)注的字段,然后選擇自己需要參與到模型分析的字段就可以了。這里簡單一點理解,就像求解一個復(fù)雜的函數(shù) y = f (x1, x2, x3,…… )。我們關(guān)注的字段是 y,需要參與分析的字段是x1,x2,x3等等。相當(dāng)于是在尋求一個函數(shù)的計算結(jié)果。
比如在這次訂單的測試里,我把是否準時送到這個字段作為我關(guān)注的字段 y,我們用 y=1 表示可以準時送到,y=0表示不能準時送到。剩余的字段運輸優(yōu)先級、距離、發(fā)貨地等作為x1,x2,x3進入模型參與運算和分析。
Canvas創(chuàng)建模型
通過預(yù)分析建模,能夠得到SageMaker建議的模型分類。比如預(yù)測是否能準時送達,SageMaker給出的建議是一個二分類的模型,就只會出現(xiàn)兩種結(jié)果,準時送達和不準時送達。
在預(yù)分析建模后,能夠得到模型的準確率和各個特征的影響系數(shù)。影響系數(shù)越大,表示這個字段對結(jié)果越重要。比如圖里可以看到預(yù)建模的結(jié)果是,運送優(yōu)先級最大程度影響是否能按時送達。
但是預(yù)建模只能讓我們知道準確率,還沒有更詳細的信息。Canvas支持標準建模和快速建模,根據(jù)數(shù)據(jù)集的大小不同,標準建模和快速建模的耗時也不同。我用10000行數(shù)據(jù)測試,快速建模大概需要2-15分鐘,標準建模需要1小時45分鐘左右。
標準建模能讓模型更加準確,運算的時間也更長一些。這里滿足了兩類人的需求,定性的看問題的小伙伴快速建模就可以了,對結(jié)果定量嚴格要求的用戶可以標準建模,標準建模還能將模型分享給算法團隊進行進一步的開發(fā)。
算下來創(chuàng)建模型頁面就三個配置模塊,建模完成以后就進入了下一階段數(shù)據(jù)分析。
3. 數(shù)據(jù)分析
數(shù)據(jù)分析階段和創(chuàng)建模型的預(yù)建模步驟拿到的信息類似,主要是模型準確率和各個特征的權(quán)重。也可以單獨看某個特征值的預(yù)測影響。而最主要的是能夠看到分析結(jié)果里的高級矩陣,同時能看到F1得分、準確率、精確度、召回率和AUC。
Canvas 分析頁面
Canvas 高級矩陣頁面
這些高級矩陣的指標其實是由頁面里藍粉框內(nèi)的TP、TN、FP、FN數(shù)值計算得到的,這一部分業(yè)務(wù)人員其實不是很關(guān)心,但是可能有小伙伴感興趣,我們簡單掃個盲。
- TP:True Positive,即正確預(yù)測出的正樣本個數(shù)(實際是準時,模型預(yù)測也是準時)。
- FP:False Positive,即錯誤預(yù)測出的正樣本個數(shù)(實際是延期,被模型預(yù)測成了準時)。
- TN:True Negative,即正確預(yù)測出的負樣本個數(shù)(實際是延期,模型預(yù)測也是延期)。
- FN:False Negative,即錯誤預(yù)測出的負樣本個數(shù)(實際是準時,被模型預(yù)測成了延期)。
準確率(Accuracy)= (TP + TN) / 總樣本 =(944 + 945)/2000 = 94.45%。定義是:對于給定的測試數(shù)據(jù)集,分類器正確分類的樣本數(shù)與總樣本數(shù)之比。
精確率(Precision)= TP / (TP + FP) = 944/(944+54) = 94.589%。它表示:預(yù)測為正的樣本中有多少是真正的正樣本,它是針對我們預(yù)測結(jié)果而言的。Precision又稱為查準率。
召回率(Recall)= TP / (TP + FN) = 944/(944+57) = 94.306% 。它表示:樣本中的正例有多少被預(yù)測正確了, 它是針對我們原來的樣本而言的。Recall又稱為查全率。
F1分數(shù)(F1 Score),是統(tǒng)計學(xué)中用來衡量二分類模型精確度的一種指標。它同時兼顧了分類模型的精確率和召回率。F1分數(shù)可以看作是模型精確率和召回率的一種調(diào)和平均,它的最大值是1,最小值是0。
AUC(Area under curve)曲線下面區(qū)域的面積,這條曲線一般指ROC(Receiver operator characteristic curve)曲線。按照定義,AUC是ROC曲線下的面積,而ROC曲線的橫軸是FP,縱軸是TP。
4. 生成預(yù)測
第三步主要是分析模型訓(xùn)練的結(jié)果,沒有過多可操作的頁面,模型生成之后,第四步可以通過模型來預(yù)測結(jié)果。
在預(yù)測新結(jié)果的時候,我們只需把新的特征值放進模型,模型會計算出對應(yīng)的結(jié)果。
我們?nèi)我庠O(shè)定訂單的優(yōu)先級,運輸方式,目的地距離等參數(shù),Canvas能夠基于我們輸入的特征值給我們返回一個預(yù)測結(jié)果:準時或者延期。Canvas可以直接單點預(yù)測和批量預(yù)測。
利用批量預(yù)測的功能,我朋友就能得到她后續(xù)處理的訂單是否能準時送達的預(yù)測結(jié)果了。
單點預(yù)測
批量預(yù)測
5. 使用小結(jié)
我大概統(tǒng)計了一下操作用時,第一次使用花了半小時左右,主要在探索功能上多花了點時間。熟練操作后可能5-10分鐘就可以把Canvas的完整流程走完。
看下來Canvas把建模完全變成了黑盒測試,用戶只需給Canvas設(shè)定輸入?yún)?shù)和輸出參數(shù),Canvas就可以實現(xiàn)模型創(chuàng)建,并能為用戶提供預(yù)測功能。官方主打的低代碼雖然和APaaS行業(yè)里的低代碼認知有挺出入,但從操作流程來看也說不上虛假宣傳,確實沒有需要coding的地方。
我想這個產(chǎn)品應(yīng)該算是亞馬遜云科技對技術(shù)民主化的一次探索,將晦澀復(fù)雜的技術(shù)用最簡單的方式呈現(xiàn),以期降低用戶使用技術(shù)的門檻。從Canvas的產(chǎn)品表現(xiàn)來看,實實在在降低了機器學(xué)習(xí)準入門檻。
但是,完全沒有人工智能知識或數(shù)據(jù)分析知識的小伙伴可能上手還是有一些困難,這個困難不是囿于產(chǎn)品的使用,而是囿于知識版圖的缺失。
不知道Canvas后續(xù)會不會進一步降低使用門檻,還是說目前產(chǎn)品目標受眾就是懂一部分數(shù)據(jù)分析和人工智能的運營人員。如果用戶只局限在互聯(lián)網(wǎng)相關(guān)的產(chǎn)品運營人員的話,那可能就有點格局沒打開。還有很多場景值得機器學(xué)習(xí)發(fā)揮,比如銀行通過客戶的行為數(shù)據(jù)預(yù)測用戶是否可能會延期還款,工廠通過設(shè)備的監(jiān)控數(shù)據(jù)預(yù)測設(shè)備是否會損壞。
在這些場景下,需要掌握機器學(xué)習(xí)能力的人不再是產(chǎn)品經(jīng)理,運營。還有銀行的風(fēng)控、工業(yè)里的IT和OT人員等等。
從Canvas簡潔的UI畫風(fēng)來看,Canvas團隊對產(chǎn)品要求的還是相對嚴格的。包括在數(shù)據(jù)拼接和數(shù)據(jù)導(dǎo)入的時候,有很多小細節(jié)來做柔性處理。比如數(shù)據(jù)拼接時,對不同數(shù)據(jù)來源數(shù)據(jù)集的字段用不同的顏色表示;比如數(shù)據(jù)導(dǎo)入之后,在選擇目標列的時候,對所有字段的類型做了預(yù)定義,并且配了很形象的Icon去表征數(shù)據(jù)類型。
但是在模型構(gòu)建的部分只能看到耗時和預(yù)測用時,無法看到剩余用時或者訓(xùn)練進度。這里的設(shè)計會讓用戶處于沒有安全感的等待中。用戶并不知道是因為網(wǎng)速問題、瀏覽器問題、還是Canvas的服務(wù)問題一直未完成訓(xùn)練。
Canvas的頁面細節(jié)
另外,無論是SageMaker Canvas也好,還是其他的ML平臺也好。整個行業(yè)應(yīng)該沒有很好的模型可解釋性。這一點是比較反人類認知的。我們從小接受的教育都是要邏輯嚴謹,要不然也不會在數(shù)學(xué)物理里做了那么多證明題。
現(xiàn)在ML平臺的解決方案是非常簡單粗暴的,給一堆特征參數(shù),然后返回一個預(yù)測結(jié)果。但是為什么有這個結(jié)果,是目前誰都說不清楚的。如果ML平臺把模型可解釋性提高,相信會有更多的用戶接受。
四、市場所需的機器學(xué)習(xí)平臺到底是什么樣的?
前面聊了很多我自己的使用體會,我們也一起了解了一下市場到底需要什么樣的機器學(xué)習(xí)平臺。Garnter2021數(shù)據(jù)科學(xué)和機器學(xué)習(xí)平臺的魔力象限里提到,他們對機器學(xué)習(xí)平臺的考量標準在五個點:
- 數(shù)據(jù)科學(xué)和機器學(xué)習(xí)平臺能力;
- 企業(yè)的收入和增長;
- 客戶數(shù)量;
- 市場吸引力;
- 產(chǎn)品能力評分。
但是Gartner的考量維度是以一個中立視角從企業(yè)層面對機器學(xué)習(xí)平臺進行評價。而更能說明產(chǎn)品能力的,還是用戶反饋。勇于嘗鮮的部分企業(yè)用戶其實已經(jīng)對現(xiàn)有的機器學(xué)習(xí)平臺開始了深度探索,我從字母點評整理了一個小樣本的機器學(xué)習(xí)平臺調(diào)研結(jié)果,可以一起看一下。
機器學(xué)習(xí)平臺第三方評價
機器學(xué)習(xí)平臺用戶滿意度
從第三方的數(shù)據(jù)來看,不同用戶對主流機器學(xué)習(xí)平臺能力評價總體接近,一些頭部機器學(xué)習(xí)平臺的客戶滿意度遠超行業(yè)平均值。從用戶的實際口碑來看,Amazon SageMaker的產(chǎn)品競爭力比較靠前,用戶普遍反饋的是可以放心地讓SageMaker托管自己的機器學(xué)習(xí)任務(wù),而相對抱怨較多的是Amazon的付費模式過于復(fù)雜。
其實普通企業(yè)用戶對機器學(xué)習(xí)平臺核心訴求就兩點:
1)安全
機器學(xué)習(xí)平臺需要保證用戶的數(shù)據(jù)絕對安全,這也是很多企業(yè)目前還在猶豫上不上公有云的困擾,企業(yè)需要確保自己的數(shù)據(jù)不泄露,不被篡改。
2)準確
對于選擇了機器學(xué)習(xí)平臺的用戶來說,他們需要模型能有較為精確的結(jié)果。而準確性也是對機器學(xué)習(xí)平臺的算法能力比較大的挑戰(zhàn),模型是否準確其實在用戶心里也是個二分類問題,不會嚴格的像算法里給出90%精確這樣。用戶心里需要的是放心的托管和信任。在這兩點核心訴求的滿足上,ML平臺缺一不可。
而在這兩點核心訴求之上,才是便捷易用和模型可解釋。當(dāng)然一開始著手設(shè)計低門檻的產(chǎn)品和平臺是否安全、模型是否準確這兩點并不沖突。
目前已經(jīng)獲得客戶好評的企業(yè),不知道打造的是不是最終市場所需的機器學(xué)習(xí)平臺,但至少眼前他們的路是正確且踏實的。
五、最后
最后,要回過頭反思一下咱們標題的問題了。毫無疑問,Amazon SageMaker Canvas的出現(xiàn),是在傳遞一個信號,亞馬遜云科技正在把復(fù)雜深奧的技術(shù),簡化成一系列簡單的配置,讓更多人可以輕易地借助機器學(xué)習(xí)的力量改善自己的工作狀況。
但無論是從大廠動向的觀察,還是從歷史發(fā)展必然性的反思,機器學(xué)習(xí)的未來應(yīng)該是科技向善,科技親民,讓更多的人享受到真實有效的服務(wù)。當(dāng)前疫情之下,國內(nèi)經(jīng)濟發(fā)展啟動雙循環(huán)。企業(yè)運營迫切需要改革,效率迫切需要提升,技術(shù)民主化才真正是當(dāng)下各類科技的最佳實踐,所以標題的問題不再是問題,而是科技企業(yè)們需要給出的答案。
#專欄作家#
忙里偷賢,公眾號:忙里偷賢,人人都是產(chǎn)品經(jīng)理專欄作家。B端產(chǎn)品,低代碼玩家,工具類產(chǎn)品思考者。熱愛分享,務(wù)實的理想主義者。
本文原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。
題圖來自 Unsplash,基于CC0協(xié)議。
機器學(xué)習(xí)確實是第一次了解到相關(guān)概念,文章寫的很詳細
不愧是獲獎前三的大佬,分析邏輯好嚴謹,感謝分享!希望后續(xù)看到牛人更多有意思的文章!!
機器學(xué)習(xí)的未來應(yīng)該是科技向善,科技親民,讓更多的人享受到真實有效的服務(wù)。尤其疫情當(dāng)下,科技企業(yè)們更應(yīng)給出答案。
目前人工智能行業(yè)處在冷靜期,但用戶對機器學(xué)習(xí)的需求從未冷靜。更多的企業(yè)在一邊沉淀技術(shù),一邊積極尋求更好的落地場景。