胡泳:在“推薦就是一切”的時(shí)代

0 評(píng)論 739 瀏覽 0 收藏 22 分鐘

推薦系統(tǒng)如今已深度融入我們的生活,但它們?cè)谒茉煊脩?hù)選擇的同時(shí),也面臨偏見(jiàn)、透明性等問(wèn)題。文章探討了推薦系統(tǒng)的力量與責(zé)任,強(qiáng)調(diào)公平性和透明性的重要性,并展望了其從選擇工具到自我發(fā)現(xiàn)引擎的進(jìn)化潛力。

“決定你命運(yùn)的不是機(jī)遇,而是選擇”,這句格言常被歸于琴·尼德奇(Jean Nidetch),堪稱(chēng)亞里士多德倫理學(xué)的一種總結(jié)(網(wǎng)上有大量的誤傳,真的相信其為亞里士多德的金句)。尼德奇1963年創(chuàng)立綜合性減肥方案和飲食計(jì)劃Weight Watchers,旨在幫助人們通過(guò)健康的飲食和生活方式的改變來(lái)減輕體重。

她是今天我們所熟悉的網(wǎng)上“健康達(dá)人”的真正鼻祖,一位來(lái)自皇后區(qū)的家庭主婦在減肥過(guò)程中,憑借雄心壯志,找到了一個(gè)出口、一種身份和一條自我實(shí)現(xiàn)的路徑。

選擇多么重要,如果是自我作出的。但在人工智能時(shí)代,選擇還真的屬于我們嗎?

推薦引擎革命

這是一個(gè)生活處處被推薦系統(tǒng)影響的時(shí)代。Spotify 的“每周發(fā)現(xiàn)”功能向全球音樂(lè)愛(ài)好者承諾,提供他們從未聽(tīng)過(guò)但一定會(huì)喜歡的個(gè)性化歌曲播放列表。Netflix 的算法不僅使“刷劇”成為可能,而且可以預(yù)測(cè)用戶(hù)的觀看喜好。Google地圖則為用戶(hù)提供最快、最安全的出行路線(xiàn)建議。

“一切皆為推薦”(Everything is a recommendation)是Netflix常喊的一句口號(hào),意謂該平臺(tái)上哪怕是看似簡(jiǎn)單的內(nèi)容列表,也會(huì)根據(jù)用戶(hù)的觀看歷史精心策劃和加以個(gè)性化,其本質(zhì)乃是針對(duì)個(gè)人口味量身定制的推薦,而不僅僅是提供一個(gè)中性的選項(xiàng)列表。也就是說(shuō),每個(gè)顯示的標(biāo)題都是算法提出的建議,認(rèn)為用戶(hù)可能會(huì)喜歡。

實(shí)際上,Netflix的數(shù)據(jù)科學(xué)家和設(shè)計(jì)師圍繞著這一口號(hào)重新設(shè)計(jì)了公司的用戶(hù)體驗(yàn)。這家流媒體視頻先鋒將其界面配置為或明或暗地建議用戶(hù)接下來(lái)應(yīng)該觀看哪些劇集,而每次觀看都要看上數(shù)個(gè)小時(shí)。追劇——以及追劇的觀眾——成為Netflix的新常態(tài)。當(dāng)“一切皆為推薦”時(shí),推薦就是一切。

或許我們可以把推薦系統(tǒng)稱(chēng)為亞里士多德2.0的選擇架構(gòu)——它們最終能啟發(fā)并賦能數(shù)十億人嗎?還是說(shuō),它們決定了你我他的命運(yùn),把用戶(hù)變成了聽(tīng)從算法指令的傀儡?如果秉持亞里士多德倫理學(xué),我們就會(huì)相信,最終,是否接受推薦的決定權(quán)還在于我們自己。然而歷史表明,人類(lèi)選擇的命運(yùn)在很大程度上取決于他們認(rèn)為自己到底是誰(shuí)。

推薦引擎代表了全球范圍內(nèi)個(gè)性化選擇、包裝、呈現(xiàn)、體驗(yàn)和理解的革命。但這場(chǎng)革命——這些選擇架構(gòu)——需要更好的理解,因?yàn)樗鼈兯茉炝巳藗兊奈磥?lái)。

推薦引擎:力量越大,責(zé)任也越大

正如亞馬遜的杰夫·貝佐斯所樂(lè)于承認(rèn)的那樣,精準(zhǔn)的推薦對(duì)于商業(yè)發(fā)展至關(guān)重要。用戶(hù)確實(shí)渴望知道與自己相似的人喜歡什么。這種知識(shí)非常適合用于訓(xùn)練越來(lái)越智能的算法;數(shù)據(jù)越多,效果越好。從TikTok到Twitter,再到Meta和LinkedIn,全球最具影響力的數(shù)字平臺(tái)不斷通過(guò)機(jī)器學(xué)習(xí),為用戶(hù)提供更準(zhǔn)確的推薦和建議。

就像蒸汽機(jī)推動(dòng)工業(yè)時(shí)代發(fā)展,推薦引擎是推動(dòng)21世紀(jì)全球數(shù)字經(jīng)濟(jì)的主要?jiǎng)恿ΑT絹?lái)越明顯的是,我們?nèi)缃竦玫降淖罴呀ㄗh往往來(lái)自智能機(jī)器,而非聰明的人類(lèi)。這些巧妙的機(jī)制不斷將數(shù)據(jù)轉(zhuǎn)化為相關(guān)、多樣、新穎、甚至充滿(mǎn)驚喜的選項(xiàng)。它們通過(guò)學(xué)習(xí)人們的選擇、探索和對(duì)選擇的忽略來(lái)不斷優(yōu)化。這令它們看起來(lái)像是不可阻擋且不可避免的未來(lái)。英偉達(dá)(Nvidia)首席執(zhí)行官兼聯(lián)合創(chuàng)始人黃仁勛在2021年曾表示:“推薦系統(tǒng)是我們這個(gè)時(shí)代最重要的人工智能系統(tǒng)。它是搜索、廣告、在線(xiàn)購(gòu)物、音樂(lè)、書(shū)籍、電影、用戶(hù)生成內(nèi)容和新聞的核心引擎?!?/p>

也是在2021年,TikTok的推薦算法被《麻省理工科技評(píng)論》(MIT Technology Review)評(píng)選為當(dāng)年的“全球十大突破性技術(shù)”之一。TikTok將網(wǎng)紅博主的視頻與新人博主的視頻混合放在“為你推薦”(For You)頁(yè)面,根據(jù)播放量獎(jiǎng)勵(lì)優(yōu)質(zhì)創(chuàng)作內(nèi)容,用這種方式將更多新人博主的視頻推給廣大用戶(hù)。不同于其他社交媒體平臺(tái)的是,每個(gè)人都有機(jī)會(huì)在TikTok平臺(tái)上一夜成名。

TikTok的推薦算法通過(guò)向具有相似興趣或?qū)傩缘挠脩?hù)推薦視頻,實(shí)現(xiàn)了“精準(zhǔn)推送”的效果,大大提升了視頻的播放量,從而使優(yōu)質(zhì)的創(chuàng)作內(nèi)容得到快速傳播。視頻博主有多少粉絲、是否走紅過(guò)等因素并不會(huì)作為 TikTok 推薦算法的判斷依據(jù),推薦取決于視頻標(biāo)題、音樂(lè)、內(nèi)容標(biāo)簽等因素,并結(jié)合觀眾點(diǎn)贊和觀看的視頻、用戶(hù)的內(nèi)容偏好以及小眾興趣領(lǐng)域等數(shù)據(jù)。最終,通過(guò)經(jīng)典的協(xié)同過(guò)濾(collaborative filtering)和基于內(nèi)容(content-based)的推薦方法,實(shí)現(xiàn)個(gè)性化推薦。

TikTok的推薦算法不僅能夠精準(zhǔn)推薦用戶(hù)感興趣的視頻,還能幫助用戶(hù)拓展新的話(huà)題領(lǐng)域,滿(mǎn)足用戶(hù)對(duì)新奇性和意外性的需求。正因如此,該算法才會(huì)被評(píng)為“全球十大突破性技術(shù)”之一,這主要是因?yàn)樗軌驖M(mǎn)足每個(gè)用戶(hù)的特定興趣,而不僅僅是強(qiáng)調(diào)追隨熱點(diǎn)的“從眾效應(yīng)”。

隨著互聯(lián)網(wǎng)應(yīng)用水平的提高,用戶(hù)對(duì)于互聯(lián)網(wǎng)內(nèi)容的需求越來(lái)越具體和精準(zhǔn),這使得個(gè)性化的信息服務(wù)日益受到用戶(hù)的青睞。而衡量個(gè)性化推薦結(jié)果好壞的評(píng)價(jià)指標(biāo),除了人們?nèi)菀紫氲降木珳?zhǔn)度(precision)以外,還包括多樣性(diversity)、新穎性(novelty)、驚喜性(serendipity)、可解釋性(explainability),以及近幾年來(lái)新提出的公平性(fairness)。

簡(jiǎn)單來(lái)說(shuō),精準(zhǔn)度表示在推薦給用戶(hù)的所有內(nèi)容中,真正與用戶(hù)興趣相關(guān)的內(nèi)容所占的比例。精準(zhǔn)度越高,說(shuō)明推薦系統(tǒng)越能準(zhǔn)確地抓住用戶(hù)的興趣點(diǎn),推薦的內(nèi)容越符合用戶(hù)的需求。多樣性衡量推薦內(nèi)容是否涵蓋了廣泛的主題或類(lèi)別,從而避免單一化或過(guò)于集中化的問(wèn)題。新穎性評(píng)估推薦內(nèi)容是否為用戶(hù)提供了之前未接觸過(guò)的、有新鮮感的內(nèi)容。驚喜性考量推薦內(nèi)容是否在符合用戶(hù)興趣的同時(shí),超出用戶(hù)預(yù)期,帶來(lái)令人愉快的意外發(fā)現(xiàn)。可解釋性關(guān)注推薦系統(tǒng)是否能提供合理的解釋?zhuān)層脩?hù)理解為什么會(huì)推薦這些內(nèi)容,從而增加信任感和接受度。

在這里,多花點(diǎn)篇幅討論公平性,它是近年來(lái)新提出的重要指標(biāo),旨在確保推薦結(jié)果對(duì)不同群體和內(nèi)容創(chuàng)作者不存在偏見(jiàn),以維護(hù)系統(tǒng)的公正性和包容性。從2012年起,研究者們開(kāi)始發(fā)現(xiàn)和討論不同推薦場(chǎng)景下存在的公平性問(wèn)題。例如,在工作推薦場(chǎng)景中,與同能力水平的男性相比,女性可能會(huì)被推薦更多低薪或非技術(shù)性崗位;在電影推薦場(chǎng)景中,不同性別、年齡的人可能會(huì)被推薦不同質(zhì)量的電影,如年輕用戶(hù)可能被推薦更多流行但低質(zhì)量的電影,而年長(zhǎng)用戶(hù)可能獲得更多高評(píng)分但小眾的電影;在圖書(shū)推薦場(chǎng)景中,某些平臺(tái)可能更傾向于推薦由主流群體作者撰寫(xiě)的書(shū)籍,而忽視少數(shù)族裔作者的作品。此外,還可能存在地域或文化偏差,例如,在國(guó)際電商平臺(tái)上,不同地域的用戶(hù)可能接收到質(zhì)量或價(jià)格不同的商品推薦,某些地區(qū)用戶(hù)看到的商品更昂貴或更低端;在內(nèi)容消費(fèi)上,用戶(hù)可能更多接收到西方文化背景的內(nèi)容,而非本地語(yǔ)言或文化的內(nèi)容。特別地,社交媒體的推薦中,內(nèi)容質(zhì)量偏差十分明顯,高互動(dòng)的低質(zhì)量?jī)?nèi)容(如點(diǎn)擊誘導(dǎo)性標(biāo)題、煽動(dòng)情感的內(nèi)容、謠言等)比低互動(dòng)的高質(zhì)量?jī)?nèi)容更容易被推薦。

2019年有研究者提出,基于熱門(mén)內(nèi)容的推薦會(huì)帶來(lái)推薦系統(tǒng)中的“熱點(diǎn)偏差”(popularity bias)。它指的是推薦系統(tǒng)過(guò)于偏向流行內(nèi)容,而忽視了不太熱門(mén)或小眾內(nèi)容的現(xiàn)象。這種偏差會(huì)導(dǎo)致用戶(hù)頻繁接收到高度流行的內(nèi)容推薦,而高質(zhì)量但不夠受歡迎的內(nèi)容則可能被埋沒(méi)。比如,音樂(lè)推薦中,流行藝術(shù)家或熱門(mén)歌曲更容易被推薦,而獨(dú)立音樂(lè)人或小眾音樂(lè)則常遭忽視。視頻推薦方面,YouTube等平臺(tái)傾向于推薦大V的內(nèi)容,而忽視中小創(chuàng)作者的視頻,即便后者質(zhì)量很高。這種偏差對(duì)用戶(hù)和內(nèi)容創(chuàng)作者都有影響:對(duì)用戶(hù)來(lái)說(shuō),它降低了多樣性,使用戶(hù)接收到的推薦內(nèi)容趨于單一,可能錯(cuò)過(guò)其他符合興趣的小眾或新穎內(nèi)容;長(zhǎng)期接受相似的推薦也可能讓用戶(hù)感到厭倦,降低對(duì)系統(tǒng)的滿(mǎn)意度。對(duì)內(nèi)容創(chuàng)作者來(lái)說(shuō),高質(zhì)量的小眾創(chuàng)作者可能因?yàn)榱餍袃?nèi)容的壟斷而失去被推薦的機(jī)會(huì),最終產(chǎn)生資源分配不公,即資源和收益過(guò)度向流行創(chuàng)作者傾斜。

推薦系統(tǒng)產(chǎn)生不公平的原因多種多樣:歷史數(shù)據(jù)中存在性別、種族、社會(huì)群體等的刻板印象,算法通過(guò)學(xué)習(xí)這些數(shù)據(jù)強(qiáng)化了偏見(jiàn);算法基于特定的用戶(hù)群體偏好標(biāo)簽,而非個(gè)體興趣;數(shù)據(jù)集中在某些主流市場(chǎng)或語(yǔ)言,忽視了小眾地區(qū)或文化的需求;算法優(yōu)先考慮點(diǎn)擊率、點(diǎn)贊等互動(dòng)指標(biāo),而非內(nèi)容的實(shí)際質(zhì)量;系統(tǒng)的訓(xùn)練數(shù)據(jù)往往來(lái)自于用戶(hù)的歷史行為,而這些行為通常集中在一些熱門(mén)內(nèi)容上,導(dǎo)致系統(tǒng)在訓(xùn)練過(guò)程中對(duì)流行內(nèi)容產(chǎn)生偏好,等等。

也因此,需要在算法中加入公平性約束,避免過(guò)于依賴(lài)單一維度的優(yōu)化。推薦系統(tǒng)要做好多樣性平衡,確保推薦內(nèi)容涵蓋不同群體、領(lǐng)域和觀點(diǎn)。還應(yīng)定期檢測(cè)推薦算法是否存在不公平現(xiàn)象,并通過(guò)調(diào)整模型或數(shù)據(jù)改進(jìn)。與此同時(shí),加大算法的透明度與可解釋性,讓用戶(hù)了解推薦的依據(jù),并給予反饋權(quán)。

上述情況說(shuō)明,為什么在2018年學(xué)術(shù)界和產(chǎn)業(yè)界就提出“負(fù)責(zé)任推薦”(Responsible Recommendation, FAccTRec)的概念,并舉辦多屆專(zhuān)門(mén)的國(guó)際會(huì)議,圍繞推薦系統(tǒng)的公平性、問(wèn)責(zé)性和透明性(Fairness, Accountability, and Transparency,簡(jiǎn)稱(chēng)FAccT)逐步形成一系列共識(shí):消除算法對(duì)特定群體、內(nèi)容或創(chuàng)作者的系統(tǒng)性偏見(jiàn),確保推薦結(jié)果對(duì)不同性別、種族、年齡、地域或內(nèi)容類(lèi)別公平分配;提供透明的推薦邏輯,讓用戶(hù)了解為什么會(huì)推薦某些內(nèi)容或產(chǎn)品;讓開(kāi)發(fā)者和平臺(tái)運(yùn)營(yíng)者能夠解釋算法行為和決策;確保推薦系統(tǒng)的設(shè)計(jì)、數(shù)據(jù)使用和算法邏輯對(duì)用戶(hù)和開(kāi)發(fā)者透明,允許外部專(zhuān)家和社會(huì)公眾對(duì)系統(tǒng)進(jìn)行審查和反饋;確保系統(tǒng)開(kāi)發(fā)者和運(yùn)營(yíng)者對(duì)推薦算法的決策和影響負(fù)責(zé),制定明確的責(zé)任歸屬機(jī)制,例如用戶(hù)投訴或問(wèn)題反饋渠道;增加推薦結(jié)果的多樣性,避免熱點(diǎn)偏差或同質(zhì)化現(xiàn)象,鼓勵(lì)推薦系統(tǒng)覆蓋更多文化、語(yǔ)言和小眾群體內(nèi)容;最后,推薦系統(tǒng)的優(yōu)化不僅要考慮短期的商業(yè)效益,還需關(guān)注長(zhǎng)期的社會(huì)和環(huán)境影響,例如高計(jì)算成本或能源浪費(fèi)。

通過(guò)這些原則設(shè)計(jì)和優(yōu)化推薦系統(tǒng),“負(fù)責(zé)任推薦”旨在實(shí)現(xiàn)更公正、可靠和包容的用戶(hù)體驗(yàn)和社會(huì)影響。它強(qiáng)調(diào)技術(shù)設(shè)計(jì)與社會(huì)倫理的結(jié)合,減少算法偏差帶來(lái)的負(fù)面影響,同時(shí)增強(qiáng)用戶(hù)信任和平臺(tái)可持續(xù)發(fā)展。

從推薦引擎到自我發(fā)現(xiàn)引擎

從行業(yè)實(shí)踐來(lái)看,許多科技公司已開(kāi)始嘗試在其推薦系統(tǒng)中融入公平性和透明性原則。像亞馬遜這樣的商業(yè)推薦系統(tǒng)提供了有關(guān)人們可能購(gòu)買(mǎi)什么的良好建議。Netflix優(yōu)化算法,以確保推薦的內(nèi)容不僅來(lái)自主流高點(diǎn)擊率作品,還包括不同地區(qū)、小眾題材以及多元文化的電影和劇集,從而避免“熱點(diǎn)偏差”。Spotify針對(duì)小眾藝術(shù)家優(yōu)化算法,以規(guī)避推薦系統(tǒng)過(guò)于傾向頭部藝術(shù)家的問(wèn)題。它還推出了“Fresh Finds” 等播放列表,專(zhuān)門(mén)推廣新興和獨(dú)立音樂(lè)人。YouTube開(kāi)始向用戶(hù)解釋推薦邏輯,并允許用戶(hù)標(biāo)記“不感興趣”或阻止特定頻道,從而影響未來(lái)的推薦內(nèi)容。LinkedIn 調(diào)整了算法,減少性別偏見(jiàn),確保相同資歷的用戶(hù)能夠獲得類(lèi)似的職位推薦機(jī)會(huì)。同時(shí),它還提供職位推薦的“原因”解釋?zhuān)ㄈ缁谇舐殮v史、技能或地域),讓用戶(hù)對(duì)推薦結(jié)果有更清晰的理解。

然而,真正的推薦革命更多地圍繞著你想成為什么樣的人,而不是你需求什么和想要消費(fèi)什么。如果把推薦系統(tǒng)視為選擇架構(gòu),具有挑戰(zhàn)性的選擇迫使人們重新思考他們真正想要的是什么——以及他們想做什么。

回到本文開(kāi)頭提出的問(wèn)題:推薦系統(tǒng)現(xiàn)在在決定我們的命運(yùn)嗎?真正設(shè)計(jì)良好、算法調(diào)優(yōu)且數(shù)據(jù)豐富的推薦系統(tǒng)無(wú)疑促進(jìn)了更高的自我意識(shí)。人們選擇忽視的推薦、建議和忠告——包括觀看什么、去哪兒、關(guān)注誰(shuí)——可能與他們采納的建議一樣具有啟示性。

著有《推薦引擎》(recommendation engines)一書(shū)的麻省理工學(xué)院研究者邁克爾·施拉格(Michael Schrage)甚至認(rèn)為,推薦引擎的真正力量超越了自我意識(shí),而達(dá)到了自我發(fā)現(xiàn)的層面。人們體驗(yàn)到的有效推薦系統(tǒng),不僅僅是量身定制的、個(gè)性化的顧問(wèn),更是通向更深自我認(rèn)知的門(mén)戶(hù)。它們的建議變成某種數(shù)字化的鏡子,促進(jìn)并激勵(lì)著人們的自省和反思。我們?cè)诖宋阈枰脕喞锸慷嗟?,而是可以上溯他老師的老師,也就是蘇格拉底。這位被德?tīng)栰成裰I認(rèn)定為全希臘最聰明的人早就說(shuō)過(guò):認(rèn)識(shí)你自己,是所有智慧的開(kāi)始。

將推薦引擎提升為自我發(fā)現(xiàn)引擎,需要三個(gè)基本的且相互關(guān)聯(lián)的元素。第一個(gè)是顯而易見(jiàn)的:推薦引擎可靠、簡(jiǎn)單且輕松地提供可衡量的更好選擇。也就是說(shuō),用戶(hù)在使用時(shí)很快意識(shí)到,他們自己不太可能輕易發(fā)現(xiàn)這些選擇。他們也知道,朋友、同事和家人難以做到推薦某個(gè)藝術(shù)家、某段視頻或某些類(lèi)型的工作機(jī)會(huì)。但是,當(dāng)推薦引擎的建議激發(fā)了人們的好奇心和進(jìn)一步探索的欲望,比如說(shuō),想更多地理解特定藝術(shù)家,或觀看某一類(lèi)型的其他視頻,或更深入地了解心儀的雇主時(shí),這些推薦引擎也會(huì)幫助使用它們的公司。

推薦系統(tǒng)設(shè)計(jì)的架構(gòu)和技術(shù)訣竅在于其數(shù)據(jù)收集、持續(xù)的算法創(chuàng)新和網(wǎng)絡(luò)效應(yīng)的巧妙結(jié)合。人們使用這些系統(tǒng)的次數(shù)越多,它們變得越有價(jià)值;而它們?cè)接袃r(jià)值,人們就越多使用它們。機(jī)器學(xué)習(xí)能力加速了這一良性循環(huán),確保推薦和建議變得越來(lái)越相關(guān)和引人注目。人們能夠更好地在所推薦的選擇中看到自己。也就是說(shuō),這些選項(xiàng)和機(jī)會(huì)最好地反映了他們接下來(lái)想做的事情。

賦能的愉悅感是促進(jìn)自我發(fā)現(xiàn)的下一個(gè)關(guān)鍵元素。人們可以根據(jù)更好的選擇采取行動(dòng);他們擁有能動(dòng)性。他們可以播放這首歌、觀看那段視頻,或者比較公共交通和優(yōu)步哪個(gè)更快。他們可以放縱自己的好奇心,探索各種可能。他們可以開(kāi)展社交,與朋友分享推薦的行動(dòng):“你覺(jué)得這事怎么樣?”這種賦能帶來(lái)了互動(dòng),而互動(dòng)又增強(qiáng)了能力,人們可以成為合作伙伴,共同做出更好的選擇。

最后,更好的選擇和更大的賦能帶來(lái)了更敏銳的自我洞察。人們可以更多了解自己,就像推薦引擎如此了解他們一樣。他們建立的音樂(lè)播放列表、追看的劇集、記下想法的圖書(shū)——這些選擇反映了他們是誰(shuí),以及他們想成為什么樣的人。如同堅(jiān)持發(fā)朋友圈仿佛寫(xiě)自省日記,推薦引擎也可以成為自省引擎。

假如能夠掃描、匯總并分析我們接觸到的所有推薦系統(tǒng)和數(shù)字化建議,會(huì)有哪些改變?nèi)松亩床旄‖F(xiàn)出來(lái)?以往,人類(lèi)就何為好建議提供好建議;現(xiàn)在,機(jī)器就何為好的推薦提供偉大的推薦。

當(dāng)推薦引擎變成自我發(fā)現(xiàn)引擎,結(jié)果可能是,理解我們是誰(shuí),以及我們想成為什么樣的人,關(guān)鍵取決于那些與我們一起學(xué)習(xí)、從我們身上學(xué)習(xí)并為我們學(xué)習(xí)的機(jī)器。到此,蘇格拉底“認(rèn)識(shí)你自己”的箴言,將擴(kuò)大為“認(rèn)識(shí)你的機(jī)器”。

本文由人人都是產(chǎn)品經(jīng)理作者【騰訊研究院】,微信公眾號(hào):【騰訊研究院】,原創(chuàng)/授權(quán) 發(fā)布于人人都是產(chǎn)品經(jīng)理,未經(jīng)許可,禁止轉(zhuǎn)載。

題圖來(lái)自Unsplash,基于 CC0 協(xié)議。

更多精彩內(nèi)容,請(qǐng)關(guān)注人人都是產(chǎn)品經(jīng)理微信公眾號(hào)或下載App
評(píng)論
評(píng)論請(qǐng)登錄
  1. 目前還沒(méi)評(píng)論,等你發(fā)揮!