国外亚洲成av人片在线观看,热99re久久精品这里都是精品,天堂网在线最新版www,国产成人av区一区二区三,51久久成人国产精品麻豆

審核是中后臺系統(tǒng)非常重要的職能之一，尤其是對于內(nèi)容領(lǐng)域和金融領(lǐng)域來說。本文作者在研究免疫系統(tǒng)和病毒的過程中，發(fā)現(xiàn)免疫系統(tǒng)和病原體的抗爭和協(xié)同過程，同審核系統(tǒng)和風險的關(guān)系是很類似的，于是將免疫系統(tǒng)對審核系統(tǒng)設(shè)計的啟示寫了出來，希望能給你帶來一些啟發(fā)。

審核是中后臺系統(tǒng)非常重要的職能之一，尤其是對于內(nèi)容領(lǐng)域和金融領(lǐng)域。

后臺審核的核心目標是風險控制，發(fā)現(xiàn)可能對或已經(jīng)對公司業(yè)務(wù)產(chǎn)生不良影響的合作、內(nèi)容、輿情等不利影響，將其扼殺在萌芽之中或者避免惡劣影響進一步擴大。

筆者曾經(jīng)做教育后臺時，主導過作業(yè)批改和審核從0到1到系統(tǒng)設(shè)計，有過一些審核的經(jīng)驗。最近因為新冠疫情，也對免疫系統(tǒng)和病毒產(chǎn)生了興趣，并進行了一些學習和研究。

在此過程中發(fā)現(xiàn)，免疫系統(tǒng)和病原體的抗爭和協(xié)同進化過程，其實同審核系統(tǒng)和風險的關(guān)系是很類似的，其底層邏輯更是一樣一樣的。當然，也可以推而廣之到殺毒軟件和病毒的關(guān)系。

筆者雖然在審核系統(tǒng)的設(shè)計方面只有粗淺的經(jīng)驗，但是實在技癢，在此拋磚引玉，將免疫系統(tǒng)對審核系統(tǒng)設(shè)計的啟示寫出來。

一、免疫系統(tǒng)的啟示

我們贊美人工設(shè)計時，常常會說“巧奪天工”。而隨著人類科技實力的不斷進步，我們也會產(chǎn)生一些錯覺：天然的是質(zhì)樸的、粗陋的，人工的是完美的、精巧的。

然而我們?nèi)ザ嗔私庖恍┳匀恢械默F(xiàn)象，那么就會逐步體驗到事實恰好與直覺相反。生物尤其是人類的免息系統(tǒng)在漫長的進化中，已經(jīng)形成了系統(tǒng)性、多層次、高效的機制，十分精妙。

其特點總結(jié)如下，也是在設(shè)計審核系統(tǒng)中非常值得借鑒的原則。

• 普適性和特異性：免疫系統(tǒng)分為先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)。先天免疫系統(tǒng)快速響應(yīng)病原體的入侵，能夠應(yīng)對大部分的感染。對于小部分的嚴重感染，再啟用更加強大的適應(yīng)性免疫系統(tǒng)。
• 兼顧效率和成本：在上述兩個免疫系統(tǒng)結(jié)合之下，實現(xiàn)了效率與成本的平衡。因為適應(yīng)性免疫系統(tǒng)雖然效果強大，但是調(diào)用消耗的成本非常高。而先天免疫系統(tǒng)足以應(yīng)對絕大部分情況。
• 有效的級聯(lián)反應(yīng)：無論是兩個免疫系統(tǒng)內(nèi)部還是兩個系統(tǒng)之間的配合，都有非常精密的相互觸發(fā)機制，比如廣泛地收集信息、抗原傳遞、多次認證等。因為免疫系統(tǒng)生效不止會消滅病原體，也會對正常的細胞造成傷害，就是所謂的假陽性。因此審核策略的制定既需要謹慎，又需要在發(fā)生嚴重情況時能果斷觸發(fā)更有效的應(yīng)對機制。
• 整體性的應(yīng)對：兩個免疫并不是孤立的，而是可以相互協(xié)同、相互增強或控制的。這樣可以高效而靈活地應(yīng)對病原體感染，根據(jù)實際情況加強或適時停止免疫反應(yīng)，避免浪費資源或造成更多假陽性。
• 二次感染快速響應(yīng)：感染一次之后，免疫系統(tǒng)會形成各種記憶細胞，有持續(xù)生效的，也有暫時休眠的。當相近的病原體再次感染的時候，就能快速地、低成本地調(diào)用適應(yīng)性免疫，高效消滅危險的病原體。

雖然筆者嘗試盡量總結(jié)的面面俱到，但是免疫系統(tǒng)幾十億年伴隨生命和病原體演化而形成的精妙體系，絕非三言兩語就能描述清楚。

感興趣的讀者不妨閱讀《免疫系統(tǒng)與病毒的戰(zhàn)爭》，相信會對產(chǎn)品的審核系統(tǒng)設(shè)計有更多啟發(fā)。

那么如何設(shè)計一個完善的審核系統(tǒng)呢？

二、業(yè)務(wù)分析

筆者一貫強調(diào)，做產(chǎn)品設(shè)計一定要先深入了解、分析業(yè)務(wù)，然后抽象出其背后的信息流，再進行系統(tǒng)界面設(shè)計。

業(yè)務(wù)的分析方面有很多成熟的方法論，建議整體框架使用用戶體驗五要素（參考《產(chǎn)品“無”之道（一）——戰(zhàn)略篇》）。

對于審核系統(tǒng)來說，最起碼搞清楚幾個問題：

• 整體商業(yè)的模式是什么？
• 面向用戶的產(chǎn)品是什么？有什么功能？
• 用戶群體是誰？有什么特征？
• 用戶在什么場景下使用產(chǎn)品？
• 造成業(yè)務(wù)風險的因素有哪些？
• 需要審核的內(nèi)容是什么？
• 要達成什么樣的審核目標？

比如說，我們要做一個內(nèi)容社區(qū)的審核系統(tǒng)。

• 商業(yè)模式可能是會員付費、廣告收入、流量銷售、帶貨抽成等。
• 產(chǎn)品是移動APP為主，包括內(nèi)容生產(chǎn)者和內(nèi)容閱讀者相關(guān)的功能。
• 用戶群體可以參考業(yè)務(wù)部門的用戶畫像和用戶數(shù)據(jù)。
• 用戶主要在休閑娛樂或是遇到問題等場景使用產(chǎn)品。
• 風險可能包括政治、法律等底線風險，黃恐暴等不良習性，用戶隱私、用戶引導等輿論風險，低質(zhì)量內(nèi)容等其他風險。
• 需要審核的內(nèi)容可能包括文字、圖片、聲音、視頻等各種類型的PGC或UGC內(nèi)容。
• 審核目標可能是規(guī)避風險，保證社區(qū)的良性生態(tài)，從而支持業(yè)務(wù)可持續(xù)發(fā)展和變現(xiàn)等。

三、信息流分析

深入了解業(yè)務(wù)之后，就可以著手開始對信息流的抽象、分析和可視化。應(yīng)用方法可以參考筆者之前的文章，《火眼金睛：一眼看破產(chǎn)品邏輯》。

我們以內(nèi)容審核相關(guān)的業(yè)務(wù)為例。

經(jīng)過簡單的分析，我們就能夠比較全局地了解在整個商業(yè)模式下，內(nèi)容和風險是怎樣流轉(zhuǎn)的，進而影響內(nèi)容分發(fā)和用戶。

• 內(nèi)容信息流：核心內(nèi)容在整個系統(tǒng)中的流轉(zhuǎn)，包括內(nèi)容生產(chǎn)，內(nèi)容提交后的機器人和人工審核，審核結(jié)果的復(fù)核，以及內(nèi)容審核通過后的分發(fā)。內(nèi)容分發(fā)之后，便可以被內(nèi)容受眾消費。
• 業(yè)務(wù)監(jiān)控信息流：內(nèi)容上線之前，雖然已經(jīng)經(jīng)過審核，但是不可能所有的內(nèi)容都能被正確審核。而且有的內(nèi)容上線雖然通過了審核，但是也可能造成某些難以預(yù)知的問題。那么就需要對上線后的內(nèi)容持續(xù)監(jiān)控（同樣可以采用機器和人工的方法）。
• 用戶反饋信息流：對上線后內(nèi)容的跟蹤，還有一個很好的方法就是借助用戶的力量。對用戶針對內(nèi)容的評價，或者直接開辟舉報窗口，都能夠幫助識別有風險的內(nèi)容。
• 風險處理信息流：已上線的內(nèi)容出現(xiàn)風險之后，需要妥善處理風險。在確認之前可以做限流處理；對于嚴重的風險，可能要下架內(nèi)容并觸發(fā)發(fā)布者；對于質(zhì)量低等內(nèi)容，可以降低分發(fā)的流量。
• 數(shù)據(jù)反饋：一個審核系統(tǒng)想要不斷提升效率、優(yōu)化審核效果，就需要不斷收集內(nèi)容、反饋等審核之后的效果，并且將審核有效或失效的數(shù)據(jù)再輸入審核系統(tǒng)，幫助優(yōu)化機器審核的算法和人工審核的規(guī)則。

四、系統(tǒng)架構(gòu)和業(yè)務(wù)流程圖

梳理清楚信息流之后，整個審核系統(tǒng)劃的系統(tǒng)架構(gòu)就清晰多了。

• 用戶端：包括為作者和消費受眾提供相關(guān)功能，由相關(guān)的業(yè)務(wù)團隊決定，是審核平臺重要的需求來源和服務(wù)對象，需要與之保持密切合作。
• 機器審核平臺：利用機器審核對提交的內(nèi)容進行自動審核。一般審核能力通過調(diào)用AI平臺對應(yīng)的接口能力實現(xiàn)，也需要把審核的結(jié)果反饋給AI平臺，幫助其迭代審核算法。
• 人工審核平臺：對于機器審核無法完成審核的內(nèi)容，可以通過人工審核。人工審核需要制定明確的審核規(guī)則，以讓審核人員在審核時有明確的審核依據(jù)。人工審核的審核結(jié)果同樣可以反饋給AI平臺用于迭代審核算法，也可以用于完善審核規(guī)則。
• 分發(fā)平臺：內(nèi)容審核通過之后，過審的內(nèi)容通過分發(fā)平臺進行流量分發(fā)。當然分發(fā)的策略可以根據(jù)用戶信息、AI算法進行優(yōu)化。而且也要隨時根據(jù)風控反饋，及時處理有風險的內(nèi)容。
• AI平臺：為機器審核提供AI能力，也可以輔助人工審核、以提升效率。一般可以外采或者自己研發(fā)。

下一步就是根據(jù)每個平臺的具體業(yè)務(wù)需求，結(jié)合人（用戶、后臺工作人員）繪制流程圖。還是建立使用泳道圖，將系統(tǒng)、人的重要流程梳理清楚。

泳道圖的繪制屬于產(chǎn)品經(jīng)理比較基礎(chǔ)的技能，在《火眼金睛：一眼看破產(chǎn)品邏輯》也有案例，在此不再具體演示。

五、機器審核平臺

機器審核是個比較偏向技術(shù)的平臺，產(chǎn)品經(jīng)理的工作就是要為內(nèi)容安全提供一個高效、準確的機器審核和風控支持。

做好機器審核平臺，需要在幾個方面做出權(quán)衡。

• 風險和體驗：審核策略越嚴格，上線內(nèi)容的風險越小，但是越可能誤傷正常的內(nèi)容，且為人工審核帶來更多的工作量，影響用戶體驗。反之體驗有所提升，但是自身的風險會提高。
• 效率和成本：算法越精準，識別效果越好，然而也意味著更大量的訓練數(shù)據(jù)、更復(fù)雜的算法模型、更高的運算量；部署的硬件性能越好、數(shù)量越多，審核的速度越快，但是成本也越高。

那么，筆者上文介紹的免疫系統(tǒng)的特點就有用武之地了。

比如受先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)的啟發(fā)，我們也可以將機器審核劃分成普適性審核和適應(yīng)性審核。事實上，大多審核系統(tǒng)也是這么做的，但是可以模仿免疫系統(tǒng)，做得更極致。

在作者提交內(nèi)容時，可以對普遍性的問題進行快速識別。比如敏感詞、錯別字等，讓作者可以馬上修正，以避免等待一段時間之后才發(fā)現(xiàn)要修正。這樣就可以一定程度提升用戶體驗。

對于所有的內(nèi)容，應(yīng)當先讓一個簡單、高效的模型完成普遍性問題的識別，可以引用人工配置的關(guān)鍵詞、策略等幫助增強識別效果。比如可以將完全合規(guī)的內(nèi)容直接發(fā)布；對于機器識別置信度低、難以判斷的問題類型直接流轉(zhuǎn)人工審核系統(tǒng)；對于適合機器識別的問題進行歸類，再分發(fā)給不同的適應(yīng)性算法。甚至以上幾種目的也可以交給不同的算法識別分別實現(xiàn)。

適應(yīng)性算法則可以針對某一類問題進行深度的定制。比如根據(jù)國家劃分，可以充分考慮不同國家的法律法規(guī)和文化；專門針對政治敏感、色情、恐怖等不同類型問題的識別；專門對內(nèi)容質(zhì)量、重復(fù)性、版權(quán)問題識別的模型等。目前人工智能算法的特點還是通用性難做，但是針對特定的問題則可以達到更佳的效果。

再比如建立有效的級聯(lián)反應(yīng)機制，讓不同類型的問題都得以妥善地處置。

合理配置審核策略，尋找不同整合之間的相似性、關(guān)聯(lián)性，可以對相近的策略進行合并，有沖突的策略進行隔離，有關(guān)聯(lián)的策略設(shè)定前后觸發(fā)關(guān)系等。

針對不同類型的問題，還可以設(shè)定不同的閾值。比如對政治敏感、青少年色情、版權(quán)等底線性的問題，應(yīng)當采取寧愿誤傷，也不放過的策略，然后再交由人工審核進一步判斷。對于重復(fù)、低質(zhì)量的內(nèi)容，則可以適當放寬標準，先讓內(nèi)容發(fā)布，再根據(jù)后續(xù)用戶的行為、評價、舉報等進一步處理。

有條件時，針對同一類問題可以使用多個模型同時進行分析。這樣的好處，一個是可以進行交叉驗證，提升審核的準確度。也可以比較不同的算法模型效果，不斷淘汰舊的模型，應(yīng)用新的模型。

還有可以挖掘不同算法模型之間的協(xié)作關(guān)系。

因為現(xiàn)實世界，內(nèi)容很多的問題都是混雜在一起的，比如有的內(nèi)容可能既色情又暴力。

那么普適性審核模型也應(yīng)當能夠提取一些關(guān)鍵特征，幫助適應(yīng)性審核模型更精準、高效地完成審核；適應(yīng)性審核模型也可以抽取出更多普適性的特征，反哺普適性審核模型，幫助其優(yōu)化。

而不同的適應(yīng)性審核模型，也可以抽取出自己無法完全識別，但是可能與另一種問題相關(guān)的特征，并且提供給相關(guān)的模型，幫助其更準確地完成識別。

最后就是優(yōu)化機器審核的記憶性。

機器審核平臺應(yīng)當提供審核結(jié)果的數(shù)據(jù)平臺，包括每個算法模型的調(diào)用次數(shù)、識別效率、識別準確性（來自模型的交叉驗證、人工審核、用戶反饋等）等數(shù)據(jù)，用于衡量模型效果。

也應(yīng)當允許查看內(nèi)容的識別結(jié)果，并盡可能標注出問題的區(qū)域。同時也可以人為對結(jié)果進行訂正，以提升反饋數(shù)據(jù)的質(zhì)量。

對于已經(jīng)發(fā)生的問題，可以總結(jié)其規(guī)律性，比如是否跟國家地區(qū)、時間（季節(jié)、節(jié)日等）、偶然事件、賬號用戶行為等是否有關(guān)。對于持續(xù)性、易發(fā)性的問題，可以作為固定的檢測對象固定下來（配置關(guān)鍵詞、審核策略、甚至新增模型等）；對于規(guī)律性、偶發(fā)性的問題，可以設(shè)定有效的觸發(fā)策略，平時可以不作為審核對象。

借鑒疫苗的思維，可以建立模擬的沙盒，在新審核策略、新審核模型發(fā)布前，在沙盒中測試效果。還可以人工或機器生成大量的違規(guī)內(nèi)容，然后輸入沙盒用以優(yōu)化模型等。

由于筆者在審核方面的經(jīng)驗有限，上述的想法拋出來供各位讀者參考，也歡迎大家留言交流。

六、人工審核平臺

人工審核平臺要支持審核人員審核和管理的要求，相對來說有更多的界面設(shè)計和流程流轉(zhuǎn)。但機器人審核平臺的很多思路也可以借鑒。

1. 將審核人員分層和有效的級聯(lián)機制

可以指定一批基礎(chǔ)的審核人員，初步判斷機器給出的判斷建議是否合理，比如是否需要人工審核、問題分類是否恰當。

特定問題的審核人員同樣可以分層，優(yōu)先由初級審核人員處理，對于難以判斷的問題，可以升級、交給更資深的審核人員處理。因為審核人員的培養(yǎng)也是需要成本的，而有疑難雜癥的內(nèi)容也是少數(shù)，這種策略可以兼顧效率和成本。

2. 審核人員之間的協(xié)作

對于重要的問題，可以同時交給若干審核人員交叉驗證。這樣的好處是一方面可以避免嚴重的問題被誤判而分發(fā)給用戶，造成惡劣的影響；另一方面也可以對重要作者更謹慎的審核，避免因為誤判損害其積極性和利益。

雖然經(jīng)過機器和人工分類，但是還有部分問題難免分配到錯誤的類別，那么處理特定問題的審核人員可以根據(jù)個人判斷，直接移交給其他組別或者打回給分類審核人員。

3. 強化人工審核系統(tǒng)的記憶

可以從兩方面入手。

一個是同樣要提供審核結(jié)果的數(shù)據(jù)平臺，幫助管理人員不斷發(fā)現(xiàn)人工審核的不足之處，通過優(yōu)化審核規(guī)則、加強審核人員培訓等動作，提升審核效果。

另一個是要建立對審核人員的獎懲措施。獎勵審核快、結(jié)果準的審核人員，懲罰審核慢、結(jié)果差的審核人員。鼓勵有想法的審核人員反饋問題和建議，則可以更好地優(yōu)化人工審核系統(tǒng)乃至機器審核系統(tǒng)。

用AI進行輔助。

雖然前序的機器審核可能無法準確判斷問題，但是可以給出處理意見、標注出問題最大的位置，幫助審核人員快速定位。

還可以提示相關(guān)的審核規(guī)則，方便審核人員在有疑問時能快速查找依據(jù)。也可以在審核規(guī)則發(fā)生變動時及時予以提醒。

甚至對于有顯著問題的審核結(jié)果進行提醒，進一步降低出錯概率。

而人工審核的結(jié)果，則是優(yōu)化AI算法模型的極佳數(shù)據(jù)。

最后想提醒的是最重要的審核頁面的設(shè)計，界面設(shè)計的合理性、易操作性，極大影響審核人員的效率乃至準確性。需要結(jié)合業(yè)務(wù)特點和審核內(nèi)容類別（文字、圖片、聲音、視頻）等有針對性地進行設(shè)計。也需要結(jié)合可用性測試、數(shù)據(jù)埋點等手段不斷優(yōu)化審核界面。

由于差異性顯著，筆者在此不提供具體案例，但是提示可以參考各類設(shè)計軟件，使用通用性的交互、快捷鍵等方式提升效率。

關(guān)于審核系統(tǒng)的設(shè)計思路就介紹到這里。

觸類旁通，是一個優(yōu)秀產(chǎn)品經(jīng)理必備的素質(zhì)。閱讀筆者的公眾號文章，是一個不錯的選擇。