国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

短視頻需要防止色情低俗內(nèi)容，如何設(shè)計人工審核功能？作者從這一考題出發(fā)，從多個方面對這個問題進行了分析解答。

前言：這是和網(wǎng)友的一個即興考核題，以下的內(nèi)容僅代表個人觀點，內(nèi)容可能會有措辭不正確，觀點不切實際，考慮不周的情況出現(xiàn)，希望大家不吝賜教，抱拳。

注：考察側(cè)重點是功能的設(shè)計而不是如何對內(nèi)容做識別。

思考：防止色情低俗視頻出現(xiàn)污染視聽，提高視頻審核效率減少人工成本。

綜合起來我們需要有敏感詞監(jiān)控機制、任務(wù)分配機制、視頻評分機制、發(fā)布者評分機制、員工考核機制以及人工智能識別機制。

01 敏感詞監(jiān)控機制

敏感詞監(jiān)控機制不僅對發(fā)布的內(nèi)容有監(jiān)控對評論也有監(jiān)控，反正就是只要你在這個App說的每句話我都監(jiān)控一遍，不同的是內(nèi)容監(jiān)控到敏感詞直接拒絕發(fā)送，評論區(qū)監(jiān)控到敏感詞達到一定復(fù)審要求需要對視頻復(fù)審，并記錄敏感評論的用戶到“嫌疑人關(guān)押處”。

怎么知道哪些是敏感詞呢，首先要有一個敏感詞庫，庫中的詞從哪里來呢，一個是滿大街都知道的敏感詞先導(dǎo)進去，一個是從封號或低分內(nèi)容和評論中不斷獲取還有就是和友商資料共享尤其是做閱讀類的友商（也不知道行的通不）。

02 任務(wù)分配機制

視頻每日都在產(chǎn)出，內(nèi)容五花八門，如何審核這些視頻，怎么分配?

這就需要一個任務(wù)分配機制，按量或地區(qū)分配視頻。考慮到視頻的每時每刻都在產(chǎn)生，這就需要任務(wù)分配機制有個定時器，視頻積累到某個量或者隔某段時間就自動分配任務(wù)給人工審核，人工優(yōu)先審核發(fā)送時間較早的視頻。

人工也有各種突發(fā)情況比如離職、生病請假導(dǎo)致任務(wù)無法完成這怎么辦，視頻不能不審吶，這就需要一個任務(wù)再分配轉(zhuǎn)入轉(zhuǎn)出的功能來保證當天視頻盡量當天審核。

03 視頻評分機制

任務(wù)分配完了需要審核視頻，這時視頻評分機制就開始作用。視頻評分機制分兩種，一種是連續(xù)被評為優(yōu)秀視頻發(fā)布者發(fā)布的視頻系統(tǒng)自動通過審核。

這個優(yōu)秀的標準可以是極其嚴苛的，比如毫無污點且達到某種數(shù)目的點贊、評論和關(guān)注才可以評級優(yōu)，也可以是發(fā)布的內(nèi)容和評論、點贊的內(nèi)容只要沒有污點即可評優(yōu)。這么做的主要目的是提高進審效率，因為人工是真的比較慢。

第二種就是人工評分機制，評分標準暫時分為低俗、色情、正常。低俗色情的直接刪除反饋給發(fā)布者，同時記錄下用戶數(shù)據(jù)、操作者、原因和時間做到每個審核都跡可尋，同時也可用于統(tǒng)計該App中發(fā)什么類型的視頻比較多，用于年度總結(jié)反思用。

對于人工來說每日都在審核大量視頻，百密總有一疏，漏網(wǎng)之魚也不少，如何在事情沒有傳播開來就扼殺掉，這就需要舉報機制。泱泱大國總是不乏正義之士的，舉報機制分等級，等級高的直接百里加急件送給人工復(fù)審，等級低的都是小打小鬧，市場最常用的手段是系統(tǒng)自動限流可以參考使用，當然還有其他的。

舉報的等級可按舉報數(shù)量、舉報時選擇的舉報原因等級或者兩個結(jié)合使用。

04 發(fā)布者評分機制

發(fā)布者評分機制的依據(jù)包括發(fā)布的內(nèi)容和評論或者瀏覽記錄，總結(jié)起來就是他在此App的一言一行。

對于發(fā)布的內(nèi)容可根據(jù)其每年、每季度、每月、每周發(fā)布視頻的評分標簽給出得分，色情低俗達到某值說明是慣犯就直接封號處理，首犯不嚴重或者還沒到達某值就統(tǒng)統(tǒng)丟到“嫌疑人關(guān)押處”，此處的人只有兩種結(jié)果要么繼續(xù)作惡封號要么改過自新慢慢脫離嫌疑釋放出來。

評論也是內(nèi)容輸出的一個入口，在法治社會人人說話都要付出代價，評論舉報隨處可見，被舉報次數(shù)多，慣于妖言惑眾日的就直接封號處理，偶爾評論言辭激烈次數(shù)達某值或者被舉報次數(shù)還不是很嚴重就放到“嫌疑人關(guān)押處”，日后哪天發(fā)個視頻也能及時審核評分。

總是會有一些人只看不說話，看視頻就圖個樂子。這時瀏覽記錄就比較重要了，他瀏覽的創(chuàng)作者評分是多少，瀏覽的內(nèi)容有哪些，這種用戶只需要保持瀏覽記錄不出問題就可以了。

“嫌疑人關(guān)押處”的主要作用是在“嫌疑人”后續(xù)發(fā)布的視頻在人工審核時有標簽且置頂顯示用于提醒人工審核該人時需要注意。畢竟有些視頻萬一發(fā)出去不及時處理影響的不只一點點，App的命運搞不好就此發(fā)生大轉(zhuǎn)折。

05 員工考核機制

員工考核機制的主要目的就是為了防止員工懈怠，審核不嚴格以及作為優(yōu)秀員工的獎勵標準之一。

機制主要分三個方面（暫且就想到這三個）：

一個是日完成比例，一天中審核完的視頻有多少，還剩下多少；

二是審核通過率，審核同過率高為啥子呢，審核通過率低又為啥子呢，不高不低就是在摸魚么？

三是平均單位視頻審核時長，是高于平均值還是低于平均值。高于平均值到底是因為懈怠需要請他喝杯茶還是因為新手起步慢需要舊帶新或者員工培訓(xùn)。低于平均值是因為敷衍了事還是技術(shù)純熟的得心應(yīng)手。

以上這些都是要算在考核之內(nèi)的。

審核通過率這個怎么說，有可能有標準但是需要行業(yè)通過數(shù)據(jù)分析出來。或者就沒有，那只有異常數(shù)據(jù)才能作為參照標準。還有平均單位視頻審核時長這個數(shù)據(jù)也是需要系統(tǒng)大量計算人工審核速度才能計算出來的，不能紙上談兵亂說一通。

06 人工智能識別機制

這個識別主要是對視頻做第一層評判，不堪入目的內(nèi)容就通過人工智能視頻解析直接pass不通過并在發(fā)布者評分機制中留下軌跡。

這個人工識別機制只能是粗略的篩選不能作為主要的篩選工具。實在不行我覺得去掉也可以，也不知道視頻解析有沒有達到這個技術(shù)，之前看新聞某視頻播放軟件的標點師說，kiss鏡頭現(xiàn)在的技術(shù)還捕捉無法完全找到，只能人工標點，希望人工智能可以解決。最重要的一點是不知道價位。

以上就是我對“短視頻為防止色情低俗需要一個人工審核功能，如何設(shè)計”這個問題的一些個人理解和看法。

本文由 @一一得一 原創(chuàng)發(fā)布于人人都是產(chǎn)品經(jīng)理，未經(jīng)作者許可，禁止轉(zhuǎn)載。

題圖來自Unsplash，基于CC0協(xié)議。