變數之間的非嚴格函式關係：變數x、y之間存在某種密切的聯絡，但並非嚴格的函式關係（非確定性關係）。
回歸：回歸是處理兩個或兩個以上變數之間互相依賴的定量關係的一種統計方法和技術，變數之間的關係並非確定的函式關係，通過一定的概率分布來描述。
線性和非線性：線性（linear）的嚴格定義是一種對映關係，其對映關係滿足可加性和齊次性。通俗來講就是兩個變數存在一次方函式關係，在平面座標系中表現為一條直線。不滿足線性即為非線性（non-linear）。
線性回歸（linear regression）：在回歸分析中，如果自變數和因變數之間存在著線性關係，則被稱作線性回歸。如果只有乙個因變數和乙個自變數，則被稱作一元線性回歸，如果有乙個因變數和多個自變數，則被稱作多元回歸。
了解相關需求，明確場景，清楚需要解釋的指標（因變數），並根據相關業務知識選取與之有關的變數作為解釋變數（自變數）。
了解資料集，使用繪圖工具繪製變數樣本散點圖或使用其他分析工具分析變數的關係，根據結果選擇回歸模型，如：線性回歸模型、指數形式的回歸模型等。
模型確定後，基於收集、整理的樣本資料，估計模型中的相關引數。最常用的方法是最小二乘法（最小平方法），在不滿足基本假設的情況下還會採取嶺回歸、主成分回歸、偏最小二乘法等。
最小二乘法：也叫最小平方法，通過最小化誤差的平方和尋找資料的最佳函式匹配的方法。
引數確定後，得到模型。此時需要對模型進行統計意義上的檢驗，包括對回歸方程的顯著性檢驗、回歸係數的顯著性檢驗、擬合優度檢驗、異方差檢驗、多重共線性檢驗等。還需要結合實際場景，判斷該模型是否具有實際意義。
模型檢驗通過後，可以使用模型進行相關的分析、應用，包括因素分析、控制、**等。
因素分析：回歸模型對解釋變數和被解釋變數之間的關係進行了度量，從各個解釋變數的係數可以發現各因素對最終結果的影響大小。
控制：給定被解釋變數的值，根據模型來控制解釋變數的值。
**：根據回歸模型，可以基於已知的乙個或多個變數**另乙個變數的取值，並可以了解這個取值精確到什麼程度。
回歸模型在很多領域都有廣泛的應用，具有以下優點：
存在的缺點：
線性回歸示例：
ML 線性回歸
說句廢話，相信大多數人和我一樣，最開始學習機器學習遇到的第乙個模型便是線性回歸，而且是一元線性回歸，但就這個模型，其實包含了很多的知識點，矩陣計算，最小二乘 梯度下降等知識點。我認為非常的有趣。這裡只是乙個簡單的介紹。1問題的引入 假設有乙個房屋銷售的資料如下 面積銷售 123250 150320 ...
ML學習筆記（2）邏輯回歸
邏輯回歸模型一般用來解決二分類問題，就是輸出y只有兩個離散值，例如判斷中是否有貓，0表示nocat,1表示cat。通過這個例子簡要介紹神經網路模型中一些標準化的 有效率的處理方法和notations。包含三個rgb通道，設描述一張尺寸 64，64，3 對這樣一張要將x 64，64，3 轉化為一維向量...
ML之邏輯回歸
問 邏輯回歸是解決回歸的問題嗎？答 不是，邏輯回歸解決的是分類問題。面對乙個回歸或者分類問題，建立代價函式，然後通過優化方法迭代求解出最優的模型引數，然後測試驗證我們這個求解的模型的好壞。logistic回歸雖然名字裡帶 回歸 但是它實際上是一種分類方法，主要用於兩分類問題 即輸出只有兩種，分別代表...