新增自己的訓練政策模型

2021-09-03 08:15:52 字數 1869 閱讀 3857

pydial的主要目標便是提供乙個通用的語言統計對話模型,開發者可以方便的向其中新增整合和測試自己的模型.pydial位主要模組都設計了明確定義的通用介面,為了了解這個,我們首先來看一下pydial的整體框架.

如上所示,多域功能的對話模型主要使用主題***來進行實現,主題***來識別使用者輸入的主題,可以保證切換,從上乙個對話領域切換到使用者當前想要的對話領域,由上圖可以看出,主題追蹤器在整個對話系統中扮演了乙個核心的角色,其觸發了對使用者的語義理解,對話狀態的追蹤,從而影響到了最核心的對話決策部分,繼而轉到語言生成即輸出部分,完成了整個的乙個對話流程.

生成新的模組:

為了便於整合你自己的模組,pydial為模組都提供了簡單的介面類.如下:

所有這些模組都被同樣的模組組織結構定義,pydial的主要目標是提供乙個多領域的對話平台,乙個叫做管理器(manager)的概念將被介紹,它使用了類似詞典的結構處理方式來處理每個模組的域例項.實現乙個未在pydial中實現的模型如下所示:

為了實現你自己的模型,檢視基類中的一些方法,並繼承基類來重寫你自己需要實現的方法,為了使用你自己定義的模型,需要在配置檔案中定義和載入對應的模型.config/dynamically_load_modules.cfg中便是動態載入模型的例子.

應用舉例:

我們建立了乙個新的parrotpolicy決策類,它簡單的接受使用者的操作並作為使用者的操作返回,就像鸚鵡學舌一般,為此,第一步建立乙個繼承自policy的基類.

from policy import policy

class parrot(policy.policy):

def nextaction(self, beliefstate):

pass

為了實現使用者的行為,我們必須從信念狀態中提取最後乙個使用者狀態資訊,稍微做一下解析,然後返回它。在開始時,我們預設使用hello() system act。

from policy import policy

import re

class parrot(policy.policy):

def nextaction(self, beliefstate):

useracts = beliefstate['useracts']

if useracts is not none:

systemact = useracts[0][0]

else:

systemact = "hello()"

return systemact

在配置檔案中進行載入和預處理.

使用者意圖:

使用者行為表示為意圖的字串、槽或槽值對的列表。下面是系統當前使用的系統操作列表

信念狀態封裝在乙個對話的物件當中,在內部,每個域的信念都使用以下的字典結構建模.

,

u'informable_slot2': ,

...'discourseact': ,

'method': ,

'requested': },

'useracts': [('hypo1', 0.8),('hypo2',0.1),...]}

進行輸出.

資訊插槽、話語、方法和請求欄位的實際值直接從本體檔案中提取。而informable slot、discourse seact和method都代表了乙個概率分布,即每個欄位的數值總和為1,這對於被請求的字段是不同的。在這裡,每個數值都可能在[0,1]中。

textblob 自己訓練模型

textblob 實際上是封裝了以下nltk,幾乎所有方法都是呼叫的nltk庫。coding utf 8 import random,nltk from nltk.corpus import names from textblob.classifiers import nltkclassifier ...

訓練自己的物體檢測模型

資料集 一般有兩個 使用labelimg自己標註,或者使用網上開源的資料集。本文使用的是開源的voc 2007,總共有20個分類。資料集包括5001張,以及對應的.xml檔案,分別存放在image和annotation資料夾中。本文通過.csv檔案生成.record檔案,如果習慣直接使用.xml檔案...

ScaledYOLOv4模型訓練自己的資料

權重 提取碼 drpa 以下是 我自己的全部 僅供參考。第二步 環境配置 由於模型比較新,github上顯示2020.11.16日,因此建議使用python3.7 pytorch 1.6,更好的建議是建個虛擬環境執行保障不同環境之間隔離實現 執行安全。相關命令如下 conda create n p7...