python train.py --config=yolact_coco_custom_config --resume=weights/yolact_plus_resnet50_54_800000.pth --only_last_layer --batch_size 56
首次訓練使用了權重檔案「yolact_plus_resnet50_54_800000.pth」，但我的樣本數量有限，為避免過擬合，所以使用「only_last_layer」引數進行微調(fine-tune)。
微調：在自己的資料集上訓練乙個新的深度學習模型時，一般採取在預訓練好的模型上進行微調的方法。
batch_size引數：根據官方支援多gpu的說明，我的伺服器有7張顯示卡，batch size = 8*gpu數量。
python train.py --config=yolact_coco_custom_config --resume=weights/yolact_coco_custom_226_9500.pth --start_iter=-1 --batch_size 56
「yolact_coco_custom_226_9500.pth」是我迭代10萬次後得到的權重檔案，可在此基礎上繼續訓練。
據說yolact至少訓練10萬次以上才能得到好的效果，暫未驗證。
訓練模型積累
1 學習率 base lr 如果學習率較小，訓練會變得更加可靠，但是優化會耗費較長的時間，因為朝向損失函式最小值的每個步長很小。如果學習率較大，訓練可能根本不會收斂，甚至會發散。權重的改變量可能非常大，使得優化越過最小值，使得損失函式變得更糟。備註 訣竅就是從乙個低學習率開始訓練網路，並在每個批次中...
語言模型訓練
模型訓練 nohup ngram count text tieba.word.merged order 4 vocab words.txt kndiscount interpolate lm tieba.word.4gram.lm 結果測試 ngram lm tieba.word.4gram.lm ...
預訓練模型
elmo elmo是一種是基於特徵的語言模型，用預訓練好的語言模型，生成更好的特徵。而elmo的主要做法是先訓練乙個完整的語言模型，再用這個語言模型去處理需要訓練的文字，生成相應的詞向量。文字分類實戰 九 elmo 預訓練模型 在nlp領域，使用預訓練模型或元件的監督學習任務被稱為下游任務 bert...