parlai環境搭建以及模型訓練

2021-08-06 05:16:18 字數 2329 閱讀 9986

git clone
安裝依賴庫:

cd parlai; python3 setup.py develop
安裝pytorch for python3:

按照提示安裝即可

安裝好之後,終端執行:

python3

import torch

成功則表示成功安裝pytorch

安裝regex:

sudo pip3 install regex
執行示範程式:

python examples/memnn_luatorch_cpu/full_task_train.py -t babi:task10k:1

-nt8

無法找到lzmq庫,這是因為沒有安裝lzmq,sudo luarocks install lzmq

接著繼續執行,提示無法找到libmemnn.so,但是在/home/pythonwork/qa/parlai/downloads/memnnlib/kvmemnn/library/c/libmemnn.so找到,因此新增庫目錄路徑:

export ld_library_path=$ld_library_path

:/home/pythonwork/qa/parlai/downloads/memnnlib/kvmemnn/library/c/

在pycharm中仍無法找到libmemnn.so庫,這時候可以:

sudo vim /etc/ld

.so.conf

並在該檔案中新增該庫的路徑:

/home/pythonwork/qa/parlai/downloads/memnnlib/kvmemnn/library/c/
在pycahrm中無法找到luajit,這時候可以設定luajit的安裝路徑到pycharm的environment path ,可以在**中新增環境路徑:

a=os.getenv('path')+':/home/program/torch_src/torch/install/bin'

os.environ['path']=a

git clone 

cd tds

luarocks make rocks/tds-scm-1.rockspec

再執行

python examples/memnn_luatorch_cpu/full_task_train.py -t babi:task10k:1

-nt8

成功.

執行機制

多重世界;**;老師

在parlai主要的概念(類)是多重世界,**,和老師。世界是說話者所生活的環境,可以從簡單的雙向對話變化到更複雜的場景,如反應性遊戲環境。**是可以在世界上表演和說話的東西。**可以是乙個學習者,如機器學習的系統,或乙個硬編碼的機械人,用來與學習者互動,如遊戲中的非玩家角色。最後,老師是一種和學習者交流的**,例如,實現了以前列出的任務。

簡單來說為每個task對應乙個world和agent,例如doc reader agent的類為docreaderagent,在docreaderagent中呼叫模型model(line141,self.model = docreadermodel(self.opt, self.dict, self.state_dict)),在agent中得到model的輸入資料,傳入model,model的返回值給agent,agent控制model的引數更新,模型儲存,以及列印loss等訓練資訊.

所有**使用乙個單一的格式-觀察/操作物件(乙個python)-交換文字,標籤,並與其他**互相獎勵。

**傳送此訊息來說話,並通過接收到相同形式的訊息來發現在環境中的其他說話者。這使我們能夠解決各種對話問題,從強化學習到完全監督學習,同時保證所有的資料集符合相同的標準。當研究人員建立新的模型,他們可以很容易地應用在許多任務上。

在定義了乙個世界和它的**之後,主迴路呼叫其中的函式 world.parley ( ).執行用來訓練,測試,或顯示,世界。在左邊的面板顯示的乙個例子,主迴路的框架,右邊是parley ( )實際**。

Vue環境搭建以及誤區

最近在學習vue,先配置環境,具體步驟可以參考 一 node.js安裝 1.brew link node 2.brew uninstall node 3.brew install node 4.映象npm install g cnpm registry 二 腳手架安裝 1.cnpm install ...

Golang Go簡介以及環境搭建

go語言是由google進行維護的乙個程式語言,發布自2009年。其以良好的程式設計風格 優秀的併發機制被廣大的技術人員所接受。使用go語言開發的優秀的產品 go語言的優秀框架 goroot用於指定go的 安裝目錄 比如我們安裝再windows下面的c go目錄,我們需要再windows的環境變數p...

Hibernate目錄結構以及環境搭建

上篇部落格,概述了一下hibernate,今天這篇繼續說說hibernate包含的各個包的含義,以及對hibernate環境的搭建。hibernate包,解壓看到裡邊有若干個資料夾,這些東東是都是什麼,有神馬作用呢?看下圖 上圖是撿著重要的目錄給重新命名了。由上至下依次表示 api 文件 doc 操...