分享 敏感內容自動評審類庫及輔助工具

2021-09-05 21:31:31 字數 2351 閱讀 6915

如果將此類庫與人工評審相結合,效果將會非常好:機審認為有敏感嫌疑的內容自動提交到人工評審等待列表,由人工進行二次審核,這樣在保證效率的同時又兼顧了準確性,是比較理想的人機協作方式。

此類庫的運作原理請參考《改進的髒話審查方案》一文:

光有此類庫並不能評審任何內容,你需要為其提供審查規則,它才能夠工作,為此我將提供乙個生成器,用以生成規則配置檔案:

關於規則的應用原理,也請參看《改進的髒話審查方案》一文。

這裡說明一下評分的計算方式:

規則的分值屬性代表這個規則的滿分值,也就是說當文中的詞語與此規則完全匹配時的得分,如果可以匹配但不精確則依據精確程度得到相應比例的部分分值。

而匹配精確程度的計算方式,就是通過其精確長度屬性與其實際匹配內容的長度間的比例計算的。比如「白[\s\s]?痴」這條規則,其精確長度是2,即刨除可容忍的干擾符號後的原字串「白痴」的長度,假如遇到「有乙個小白正在痴痴地望著她」這句話,也會與「白正在痴」發生匹配,但其長度為4,通過用規則的精確長度值2除以實際匹配到的字串長度4,就得出了我們此次匹配的精確度:50%,然後假如此規則的分值為6的話,那麼此次匹配則只能得到6*0.5=3分。

這是精確分值的計算方式,除此之外類庫也會同時輸出不進行精確度修正的分值,以適用於不同情況。

另外有一點需要注意:此類庫的輸入規則必須為簡體中文,但在匹配時會對簡體與繁體都進行匹配。

呼叫此類庫前,應當首先通過規則配置生成器,生成乙個或多個規則配置檔案,並將它們放在乙個目錄中。

然後為其靜態屬性賦值,指示上述規則配置檔案的儲存路徑,然後執行其靜態的「載入審查規則」方法:

內容審查

.規則檔案目錄

=path

.startuppath, "

內容審查規則

\\");

內容審查

.載入審查規則

();

這樣就完成了初始化,然後只需建立「內容審查」物件,並傳入待分析的字串,執行「審查」方法即可完成評審:

內容審查

c =new

內容審查

(textbox2.text); c.

審查();

執行之後即可訪問該物件的「累計評分」、「累計精確評分」、「最高評分」、「輸出明細」等屬性,獲取相應的評審結果了。

此外,「審查」方法還有乙個過載,允許放棄輸出明細匹配資訊,僅輸出其他的分值和統計資訊,以提高評審速度,一般在機審時應當這樣使用,而在人工複審時輸出明細資訊供操作員參考。

我提供了乙個測試工具,用以進行簡單的規則測試。

測試結果:

標題欄處顯示的「捕獲內容覆蓋率」也是審查後提供的統計資訊,用以表示敏感內容佔據全文的比例,在進行自動後續處理時,此屬性也應當作為乙個重要的判定依據。比如有些內容很短,並遍布著敏感詞彙,但因其內容少所以總分並不會太高,而其覆蓋率卻會非常高,這時以覆蓋率為判別依據就不會漏掉此內容。

視窗左下方顯示的「[宗教]」、「[政治]」表示規則的分類,即規則所屬的配置檔案的檔名。

此類庫對於**中的使用者輸入內容審查工作非常有用,善加利用,將遠比尋常的關鍵字替換、關鍵字禁止提交、純人工審核等方案優秀得多,使安全性與效率趨於平衡。

各位如有功能或效能方面的改進建議,歡迎提出,共同**。

類庫源**及輔助程式:

(重新上傳,修正了一處錯誤)

規則配置檔案包:

規則配置檔案包中包含以下規則配置示例:

植物大戰殭屍

通過構築防禦工事抵禦敵人一輪又一輪的進攻,這遊戲不但好玩還很搞笑,豌豆射手、捲心菜投手、櫻桃炸彈、食人花、火焰樹樁、冰鎮西瓜投手、咖啡豆、玉公尺加農炮、堅果牆、土豆地雷……聽名字就很好玩吧,一共有49種不同的植物哦,並且通關之後還會開啟眾多新玩法,很耐玩並富有挑戰性。

主題曲也很好聽:

粘粘世界

據說是兩個宅男開發的遊戲(崇拜啊),這遊戲很另類,但做的很成功,畫面細膩,風格清新,提示詼諧又詭異,音效很不錯,玩法主要就是使用各種不同功能的粘粘球組合起來,讓盡可能多的粘粘球輸送到目標管道中,其中的最大挑戰就是地心引力與那些刺啦。

C ArcFace 2 0版 類庫分享

目前包含了以下功能 釋放引擎 bool result enginefactory.disposeengine 人臉個數檢測 1.初始化人臉檢測器 public facedetection intptr hengine,bitmap image hengine就是獲取的引擎 image,bitmap格...

物件導向程式設計 類庫自動載入

目錄 1 php自動載入函式 autoload 2 更靈活的自動載入 使用者自定義載入函式 在例項化物件時,呼叫 autoload 方法,自動找到類檔案進行載入。注意 autoload 函式只有在試圖使用未被定義的類時自動呼叫。1 使用 autoload 函式實現自動載入 init.php 注意 使...

在PHP5中實現自動裝載類庫

title 在php5中實現自動裝載類庫 author stangly wrong 在php4中我可以如果需要去裝載乙個類庫檔案,比如說 test.inc.php 這個檔案,我們都需要在php檔案前使用include或者require include once或require once 而在php5...