通過處理openimages v4遇到的問題總結

2021-08-20 18:20:12 字數 1167 閱讀 6505

資料集主要有兩個:乙個是帶boudingbox的資料集561g,乙個是主要用於分類的資料集:18t。

gsutil -m rsync -r gs://open-images-dataset/train [target_dir/train] (513gb)

gsutil -m rsync -r gs://open-images-dataset/validation [target_dir/validation] (12gb)

gsutil -m rsync -r gs://open-images-dataset/test [target_dir/test] (36gb) 

1、按照需求將資料集中包含標註框資訊,類別資訊的csv檔案轉化成voc的xml格式

1、生成trainval.txt test.txt 需要用到的隨機提取檔名命令:shuf -n100 trainval.txt >2.txt 把 trainval.txt 中隨機的100行提取到val.txt

2、對乙個資料夾下的檔案進行檔案進行名字提取:

包含副檔名:ls -1 | grep ".jpg$" > /home/2.txt          ls | grep ".jpg" > /home/2.txt

不包含副檔名:

3、將2中提取的包含副檔名的.txt裡的副檔名去掉、資料集中xml的標籤進行替換,可以寫成指令碼:

#!/bin/sh 

sed -i "s/a/b/g" *.xml 把資料夾下xml檔案中的字串a,換成b。

檔案數量較大時 find  /media/test/1/ -name "*.txt" | xargs  sed -i "s/1/2/g"

4、批量修改檔案字尾名:

find ./ -name "*.c" | awk -f "." '' | xargs -i -t mv ./{}.c  ./{}.h

5'移動資料夾內大量資料:

首先要要進入資料夾目錄dir1 在dir1目錄下執行

ls dir1 | xargs -t -i {} mv {} dir2/{}

例如 ls /media/jpegimages/validation_jpegimages | xargs -t -i {} mv {} /media/jpegimages/{}

find source/ -name  "*.txt" | xargs -i mv {} target/

dos視窗一閃而過處理辦法

在vs2010中,新建win32程式,執行時出現這樣的現象 dos視窗一閃而過,想檢視輸出內容,很糾結,但是看不到!現整理下自己測試過的方法 1 在main 函式的末尾return 0前加乙個 system pause 首選這個吧 挺好用的,這個是同事傳授給我的奧 2 非除錯狀態下執行,直接按按ct...

通過異常處理錯誤

public class myexception extends exception public myexception string mag 在類中使用異常 public class exceptiontest 捕獲自定義異常 public static void main string arg...

在前端介面輸入中文經過處理存進資料庫為亂碼問題

在普遍的ssh框架加tomcat,mysql中,在進行中文傳輸的時候會出現亂碼。首先,最基本的是檢查顯示的介面,html,jsp編碼格式,然後是工作空間 的編碼,統一為utf 8 其次,確保連線資料庫的方式的編碼也統一。這個編碼在jdbc的url中增加 url jdbc mysql localhos...