從內(nèi)容監(jiān)管策略到職業(yè)發(fā)展建議,產(chǎn)品經(jīng)理都關(guān)心的5大問題
新浪微博熱搜停更一周成為了熱點話題,引起了行業(yè)重視。關(guān)于內(nèi)容監(jiān)管的討論熱度居高不下,本文從五個方面探討內(nèi)容監(jiān)管到底該怎么做,并且就產(chǎn)品經(jīng)理感興趣的職業(yè)發(fā)展問題提出建議,希望對你有幫助。
近日新浪微博被約談,引起了一片嘩然,也讓如何應(yīng)對網(wǎng)絡(luò)信息安全管理,成為了產(chǎn)品經(jīng)理、運營人所重視的話題。
自今年5月份以來,國家網(wǎng)信辦就在全國開啟了2020“清朗”專項行動,全面覆蓋各類網(wǎng)絡(luò)傳播渠道和平臺,集中清理網(wǎng)上各類違法和不良信息。
稍有不慎,就會有關(guān)停的風(fēng)險。
上圖為花瓣網(wǎng)和掘金的平臺維護公告
上周,網(wǎng)易易盾聯(lián)合人人都是產(chǎn)品經(jīng)理,發(fā)起了一場微信群群討論的活動,特邀網(wǎng)易易盾的內(nèi)容安全專家,對于如何做好網(wǎng)絡(luò)信息安全展開了幾天的討論,產(chǎn)生了很多優(yōu)質(zhì)的內(nèi)容。
小編將這次群討論的話題,做了整理:
一、不同的內(nèi)容載體,有哪些內(nèi)容監(jiān)管策略
內(nèi)容的呈現(xiàn)形式從文本、圖片發(fā)展到音視頻,面對內(nèi)容展示多樣化,如何制定行之有效的內(nèi)容監(jiān)管策略?
Q1:針對目前語音違規(guī)該如何去規(guī)避風(fēng)險內(nèi)容,怎么實現(xiàn)降低平臺風(fēng)險性且提升用戶體驗?
語音違規(guī)檢測目前主要通過機器檢測及人工審核兩種途徑進行審核。
機器檢測主要通過語音識別、聲紋檢測、語種識別、語義識別等做深度學(xué)習(xí)的方式來進行,人工審核可針對機器檢測不確定部分進行人工再次確認。
為了最大程度提升用戶體驗,減少因機器檢測帶來的審核延遲,建議針對熱度較高的語音采取先審后發(fā),針對部分熱度較低/官方內(nèi)容采取先發(fā)后審策略。
Q2:5G消息下的富媒體內(nèi)容(包含文本、圖片、語音、視頻、優(yōu)惠券)是否有更優(yōu)的解決方案,尤其是視頻,是否有更高效的檢測處理方案?
5G來了,必然數(shù)據(jù)量增多,并發(fā)增加,對內(nèi)容檢測的延遲、并發(fā)等要求都變高了。因為還沒有真正的到5G時代,暫時還沒有看到特別大的影響。
我的看法是,檢測的技術(shù)手段基本不變,還是靠算法模型,規(guī)則等等,未來會提高內(nèi)容檢測效率的幾個方面:
1、算法更新(比較難,周期慢,完全看科研界的發(fā)展速度);
2、硬件更新(GPU等運算性能提高、成本降低,就可以增強檢測算力);
3、一些解決方案的提升:
比如富文本整體解決方案,拿音視頻來講,有的客戶需要同時檢測聲音和畫面,最初是分開檢測,有兩個結(jié)果。 后續(xù)發(fā)展為同時檢測,在同一個結(jié)果內(nèi)返回音頻和圖像檢測結(jié)果,這樣從業(yè)務(wù)處理上來講提升了效果。類似的解決方案的提升,也會有一些作用。
Q3:請問,對于即時通信類產(chǎn)品(如微信),該如何制定內(nèi)容安全策略以及審核流程,可否講下相應(yīng)的想法或思路?如有相關(guān)經(jīng)驗,可否介紹一下?
IM基本情況是群聊過檢,私聊不過。IM對延遲尤其敏感,同時盡量避免誤傷。
有一些策略上的小技巧,比如發(fā)送內(nèi)容如果被檢測違規(guī),并且屬于比較嚴重的,可以先對自己可見。
還有像視頻這種,需要上傳時間的,可以對用戶展現(xiàn)的是上傳中,而不是分:上傳中、檢測中,把實際檢測時間也包含在上傳過程中。這樣體驗?zāi)芎命c。
特殊時期,檢測規(guī)則從嚴處理,尤其對那種踩紅線嚴重違規(guī)的。
二、內(nèi)容審核與用戶體驗,兩者之間如何平衡
源源不斷的UGC內(nèi)容為平臺注入活力,而垃圾內(nèi)容的滋生卻給平臺帶來負面影響;既要維護平臺內(nèi)容安全,又要考慮用戶體驗,如何平衡是好?
Q1:平臺進行內(nèi)容審核勢必會影響用戶體驗影響發(fā)展,如何平衡內(nèi)容治理中平臺企業(yè)的“安全”與“發(fā)展”?
核心思路:先保安全,再談發(fā)展!
真被關(guān)停了就沒有機會發(fā)展了。而且我覺著做安全對運營來說是加法,而不是減法,我試想了一下如果一個平臺沒有任何約束,難免會有一些謾罵灌水之類的,反而影響運營發(fā)展,所以安全等于保障了舒適的環(huán)境,另外就是平臺的一個核心吸引力是優(yōu)質(zhì)內(nèi)容,我理解優(yōu)質(zhì)環(huán)境+優(yōu)質(zhì)內(nèi)容,這些方面對于平臺發(fā)展都是不可缺少的。
安全做的多少,和公司發(fā)展階段相關(guān)聯(lián)。初期都是先業(yè)務(wù)發(fā)展,逐漸凸顯問題的時候才會逐步加大安全投入。
Q2:如何平衡國家網(wǎng)絡(luò)安全要求和用戶使用自由度這兩者?
國家網(wǎng)絡(luò)安全要求是有紅線的,在紅線內(nèi)最大程度給到用戶自由。所以關(guān)鍵在于對國家法律法規(guī)的正確解讀,及時洞察國家政治意識形態(tài),可根據(jù)業(yè)務(wù)場景不同,制定審核嚴格程度的不同,避免傷及用戶體驗。
三、不同的崗位,如何做好內(nèi)容安全
維護平臺內(nèi)容安全,離不開產(chǎn)品、運營、技術(shù)等各部門的協(xié)作發(fā)力,那不同崗位的同學(xué),在內(nèi)容安全這條路上會遇到什么問題?
Q1:有時候違規(guī)內(nèi)容和非違規(guī)內(nèi)容的界限比較模糊,機器識別之后還需要人工審核,怎樣進行產(chǎn)品設(shè)計才能讓審核更高效?
- 一般為了最大程度保持審核的及時性、確保用戶體驗并保證內(nèi)容安全,針對機器識別較為確定的結(jié)果直接進行處理(例如.機器判定通過的內(nèi)容可以直接發(fā)出、機器判定不通過的內(nèi)容可以刪除);
- 僅針對機器無法確定的部分流入人工審核(此時為了保證實際用戶的體驗,待審核的數(shù)據(jù)建議保持僅自己可見狀態(tài),針對非熱點區(qū)域亦可采取先發(fā)后審策略)。
Q2:如何通過分析,感知平臺內(nèi)容安全態(tài)勢情況?
基本三方面:
- 第三方的安全審核服務(wù)(可以感知總體業(yè)務(wù)量、違規(guī)情況的分類、數(shù)量、用戶畫像等內(nèi)容),屬于最主要的了解業(yè)務(wù)違規(guī)風(fēng)險的一個渠道;
- 自身運營團隊/人審團隊 的數(shù)據(jù)分析(比如抽檢);
- 來自用戶的信息(舉報、申訴等渠道獲知違規(guī)內(nèi)容信息)。
Q3:技術(shù)問題,文本過濾主要用到了那些解決方案,針對不同分類有什么策略,怎么識別富文本的文本過濾?
- 文本檢測的算法結(jié)構(gòu)最底層是通用的基礎(chǔ)技術(shù),如分詞、詞向量等;
- 中層應(yīng)用內(nèi)容安全領(lǐng)域相關(guān)的預(yù)處理,主要是變種內(nèi)容的識別和修正;
- 上層是具體的檢測技術(shù),由規(guī)則引擎、相似度匹配、傳統(tǒng)機器學(xué)習(xí)模型、深度學(xué)習(xí)模型4個模塊構(gòu)成。
針對富文本,易盾包裝了組合接口解決方案,可將富文本通過接口一次性提交,易盾會自動拆分文本、圖片分別過檢,返回整體結(jié)果。
四、針對內(nèi)容安全具體問題,網(wǎng)易又是怎么做的
網(wǎng)易擁有20年內(nèi)容安全體系建設(shè)經(jīng)驗,內(nèi)部積累了豐富的“反垃圾”經(jīng)驗和數(shù)據(jù),針對同學(xué)們提出的業(yè)務(wù)問題,網(wǎng)易有何解決方案?
Q1:易盾是如何進行視頻直播和音頻內(nèi)容的審核的?
目前易盾針對直播場景提供了基本機器檢測方案,及通過智能電視墻輔助熱度檢測的人工審核方案:
- 機器檢測部分——直播視頻目前主要通過截幀來進行過濾,直播語音主要通過感知靜默時間,提取語音斷句來進行語音檢測的方案。
- 智能審核電視墻——與傳統(tǒng)的直播電視墻全量推送純視頻流審核不同,智能審核電視墻依托易盾機器檢測智能化分析視頻潛在風(fēng)險,及時告知審核人員,嫌疑視頻高亮并放大提醒,多維業(yè)務(wù)數(shù)據(jù)輔助審核,輔助熱度檢測(異常彈幕、異常評論、在線人數(shù)激增、禮物數(shù)激增等異常指標監(jiān)控)實時動態(tài)變更嫌疑指數(shù),幫助審核人員盡快鎖定嫌疑視頻,極大提升審核效率,確保視頻審核效果。
Q2:如何在特殊時期針對平臺安全做預(yù)警,常用預(yù)警方案?
常規(guī)存在如下幾種處理方案:
- 數(shù)據(jù)強制先審后發(fā);
- 建議平臺對留言區(qū)、評論區(qū)、頭像更換、昵稱修改等涉及UGC內(nèi)容產(chǎn)出高危區(qū)域采取短暫關(guān)閉處理/停止推送至首頁功能;
- 關(guān)閉分享功能。
五、產(chǎn)品經(jīng)理的職業(yè)發(fā)展建議
產(chǎn)品經(jīng)理想要轉(zhuǎn)換職場環(huán)境,有哪些行業(yè)、崗位值得參考?
Q1:我是一個從內(nèi)容安全平臺離職的產(chǎn)品經(jīng)理,想跳槽進入其他公司,能匹配的崗位很少,有什么相關(guān)領(lǐng)域可以推薦的嗎?
如果不想轉(zhuǎn)崗還是產(chǎn)品經(jīng)理,可以看下目前做內(nèi)容檢測的互聯(lián)網(wǎng)公司的崗位;如果考慮相關(guān)崗位,有關(guān)內(nèi)容檢測的,可以看下運營崗位、業(yè)務(wù)風(fēng)控部門的崗位,現(xiàn)在看好多客戶把內(nèi)容風(fēng)控放在了業(yè)務(wù)風(fēng)控部門來做。
光看文字不過癮,來看看群內(nèi)互動實況,帶你感受群內(nèi)專家與同學(xué)們的思維碰撞:
上圖為網(wǎng)易易盾群討論互動問答截圖
除了前期精彩有料的互動問答活動,6月17日(周三)晚20:00-21:30,網(wǎng)易易盾將在群內(nèi)開展一場內(nèi)容分享活動。
屆時,網(wǎng)易易盾的內(nèi)容安全專家,將結(jié)合網(wǎng)易20多年在內(nèi)容安全方面的研究,圍繞內(nèi)容安全監(jiān)管、內(nèi)容安全體系搭建等話題,與大家進行分享與話題討論!
參與方式
掃碼填寫報名表單,若審核通過,工作人員將在3個工作日內(nèi)發(fā)送短信通知,一定要留意你的短信喲!
題圖來自Unsplash,基于CC0協(xié)議
質(zhì)檢
有料,報名了
怎么進群?
掃碼報名,若審核通過會給你發(fā)送短信,邀請你進群喲~
有些問題確實也是我想知道的,收藏了