文字匹配工具正式開源

2021-10-07 05:02:53 字數 2145 閱讀 3691

當前版本號:0.1.12

update: 2020/6/12

rulelib.py	類庫,可自行引用到專案中使用;

ruleeditor.py 規則編輯器,基於flask的web應用,可在瀏覽器中編輯規則;

rulepicker.py 規則提取器,可載入規則後從批量檔案中提取匹配結果;

文字匹配工具,使用簡便的匹配規則來對文字進行匹配。工具提供了基於web的規則編輯器,可快速編輯規則,驗證規則的匹配結果。

案例:按規則提取句子分類

執行以下命令即可啟動案例:

pip install -r requirements.txt

python ruleeditor.py -rule_file ./rules/rule3.txt -test_file ./test/test3.txt

然後在瀏覽器中訪問:匹配規則包含以下元素:

匹配規則與正則相似,規則如下:

v 0.1.12

v 0.1.10

安裝依賴包

pip install -r requirements.txt
python ruleeditor.py
詳細引數可見:

python ruleeditor.py  -h
預設啟動時監聽0.0.0.0:8910

預設載入規則檔案為:./rules/rule.txt

預設載入資料檔案為:./test/test.txt

訪問規則編輯器

瀏覽器介面如下:

在瀏覽器介面中可以完成:

使用規則提取器

完成規則編輯後,可以使用規則提取器,對整個目錄下的檔案批量提取結果。

執行以下命令可執行demo:

python rulepicker.py -rule ./rules/rule.txt
執行示例如下:

13:36:55.38|f:>python rulepicker.py -rule ./rules/rule.txt

正在批量處理,請稍候...

正在匹配檔案:./test/test.txt

正在匹配檔案:./test/test1.txt

正在匹配檔案:./test/test2.txt

儲存結果:./output/result_20200611134436.csv

匹配用時: 0.03秒

匹配結果共3個檔案:

*****檔案:test 匹配:5條*****

*****檔案:test1 匹配:1條*****

*****檔案:test2 匹配:2條*****

詳細引數執行以下命令檢視:

python rulepicker.py -h
引數如下:

12:01:36.57|f:>rulepicker.py -h

usage: rulepicker.py [-h] -rule rule [-data data] [-output output]

rulepicker v_0.1.10 by xmxoxo

optional arguments:

-h, --help show this help message and exit

-rule rule rule file

-data data data file path, default: ./test/

-output output output path, default: ./output/

開源NLP文字標註工具CatchingFire

做過nlp相關工作內容的小夥伴應該都知道標註資料才是最花時間的部分,因此乙個好用的標註工具來提高標註效率尤為重要。調研了多個開源工具後,發現現有大多數標註工具都只是簡單的標註功能,並沒有利用模型智慧型輔助標註。因此閒暇之餘開發了標註工具catchingfire 因為標註工具雖然看起來不重要,但是在n...

YunTable正式開源了!!!

經過近半年的努力,yuntable終於走完了從無到有的整個歷程,並已完成其0.8版的既定目標,今天正式在開源。我也已經發邀請信給所有曾經申請過這個專案的朋友,希望你們能接受我的邀請。如果你之前申請過,但沒有收到信,請發信到ikewu83 gmail.com來提醒我一下。下面是和開源相關的資料,請檢視...

正式開源sqltoy orm框架

1 sqltoy具有hibernate和mybatis共同的優點,即既有hibernate物件導向的增刪改操作靈活簡潔性,也有比mybatis更加直觀優雅的原生sql支援。3 sqltoy具有分庫分表sharding能力。5 sqltoy將分頁 取top記錄 取隨機記錄等常用功能預設提供,減輕開發者...