2 簡單的二分類問題 邏輯回歸

2022-08-30 17:30:16 字數 980 閱讀 1193

1 資料的分類:

結構化資料,可以用**表達描述的資料,計算機對於結構化資料有遠超人類的計算能力

非結構化資料:例如影象,聲音、文字序列等無法直接描述的資料,人類對於非結構化資料天生具有超強的理解能力

2 sigmoid函式:

二分類問題分類結果的表達,一般輸出為屬於某一類的概率。在神經網路中,我們不能保證神經網路輸出的結果是乙個具體為都多大或者多小的數字,為了確保二分類問題的輸出結果為(0~1)之間的數,我們可以對神經網路的輸出資料用sigmoid函式進行處理。

sigmoid 函式圖形如下:它可以把負無窮到正無窮的數對映到 0~1 區間。

3 邏輯回歸:

我們給輸入x,希望獲得x屬於分類的概率,因此系統模型可表示為

y=δ(wx+b),其中δ就是sigmoid函式的表示

4 損失函式:

損失函式表示為模型的評估結果與實際的偏差,與模型具體如何、以及模型的層次結構沒有直接的數學關係。

我們可以考慮使用平方差,但是這個表示式是非凸的,無法找到極值點。我們在設計損失函式時,應該確保損失函式是凸函式。

這裡使用交叉熵(交叉熵用來衡量兩個概率分布之間的距離,這裡輸出結果為概率,使用交叉熵比較合適)

推理過程如下:

我們的目標是使損失函式盡可能小(接近於0),當 y=1 時,損失函式會使y帽盡可能大,反之。

5 梯度下降演算法:通過對損失函式的引數求偏導更新引數資訊,找到損失函式的極小值點。損失函式的極值點就是最優的引數集合。

NG 邏輯回歸 二分類

import time import numpy as np import pandas as pd import matplotlib.pyplot as plt a pd.read table 01.txt header none,usecols 0,1,2 插入一列 1 a.insert 0,...

應用廣泛的二分類演算法 邏輯回歸

對問題劃分層次,並利用非線性變換和線性模型的組合,將未知的複雜問題分解為已知的簡單問題。其原理是將樣本的特徵和樣本發生的概率聯絡起來,即,的是樣本發生的概率是多少。由於概率是乙個數,因此被叫做 邏輯回歸 在回歸問題上再多做一步,就可以作為分類演算法來使用了。邏輯回歸只能解決二分類問題,如果是多分類問...

二分類問題

模型 帶有relu啟用的dense層堆疊 對於二分類問題,網路的最後一層應該是只有乙個單元並使用sigmoid啟用的dense層,網路的輸出應該是0 1的標量,表示概率值 對於二分類問題的sigmoid標量輸出,應該使用binary crossentroy 二元交叉熵 損失函式 實驗 1 嘗試增加或...