機器學習練習 線性回歸

一. 單變數線性回歸

問題背景：假如你是餐館老闆，已知若干城市中人口和利潤的資料（ex1data1.txt），用線性回歸方法計算該去哪個城市發展。

主函式：

%step01 載入資料 

%x是取exdata1.txt 檔案的第一列資料
%y是取exdate1.txt檔案的第二列資料
data = load('ex1data1.txt');
x = data(:,1); 
y = data(:,2);
m = length(y); %儲存樣本資料數量
%step02 繪圖視覺化資料 資料用紅x表示 『rx『；大小為10，設定x/y軸標籤
figure; % 
plot(x,y,'rx','markersize',10);
xlabel('城市人口，單位：/萬人');
ylabel('利潤，單位：/萬元');
x = [ones(m,1),data(:,1)]; %增加一列，全賦值為1
theta = zeros(2,1) %初始化擬合引數 定義乙個2行1列的0矩陣
num_iters = 1500; %迭代次數
alpha = 0.01; %學習率
j = computecost(x,y,theta) %計算並顯示初始成本
%用梯度下降求最優解 並將函式畫在圖上
theta = gradientdescent(x,y,theta,alpha,num_iters);
hold on;
plot(x(:, 2), x*theta, '-');
%對代價函式進行視覺化分析
%linspace(x1,x2,n)
%功 能：用於產生x1，x2之間的n點行向量，相鄰資料跨度相同。
%其中x1、x2、n分別為起始值、終止值、元素個數。若預設n，預設點數為100。
theta0_vals = linspace(-10, 10, 100);
theta1_vals = linspace(-1, 4, 100);
%計算代價 
j_vals = zeros(length(theta0_vals), length(theta1_vals));
for i = 1:length(theta0_vals)
for j = 1:length(theta1_vals)
t = [theta0_vals(i); theta1_vals(j)];
j_vals(i, j) = computecost(x, y, t);
endendj_vals = j_vals';
figure;
surf(theta0_vals, theta1_vals, j_vals); %網狀圖繪製：surf
xlabel('\theta_0');
ylabel('\theta_1');
figure;
%等高線繪製 contour
%j_vals是轉置過後的
%contour(x,y,z,v) 使用 x 和 y 繪製 z 的等高線圖。
%logspace(a,b,n)
%把10的a次方到10的b次方區間分成n份
contour(theta0_vals, theta1_vals, j_vals, logspace(-2, 3, 20));
xlabel('\theta_0');
ylabel('\theta_1');
hold on;
plot(theta(1), theta(2), 'rx', 'markersize', 10, 'linewidth', 2);

function j = computecost(x,y,theta)

%computecost 線性回歸演算法計算成本
% 此處顯示詳細說明
m = length(y);
j = sum((x*theta - y).^2) / (2*m);
endfunction [theta,j_history] = gradientdescent(x,y,theta,alpha,num_iters)
%gradientdescent 執行梯度下降以學習theta
% 此處顯示詳細說明
m = length(y);
j_history = zeros(num_iters,1);
for iter = 1:num_iters
theta = theta - (alpha/m) * x' * (x * theta - y);
j_history(iter) = computecost(x,y,theta);
endend

機器學習 線性回歸練習

這裡的模型我們用的是波士頓房價的模型 1.匯入資料，匯入datasets 2.匯入linear regression 演算法 3.用datasets.load boston 的形式載入資料 4.將屬性存在x中 5.將真實房價存在y中 6.建立線性回歸模型 7.訓練模型 8.分別列印 值和真實值，用d...

吳恩達機器學習練習2 Logistic回歸

練習2sigmoid函式 代價函式及梯度下降 使用fminunc學習引數 評估logistic回歸是分類演算法，它的輸出值在0和1之間。h x 的作用是，對於給定的輸入變數，根據選擇的引數計算輸出變數等於1的可能性 estimated probablity 即h x p y 1 x x1,x2 sc...

機器學習 線性回歸

可以說基本上是機器學習中最簡單的模型了，但是實際上其地位很重要 計算簡單 效果不錯，在很多其他演算法中也可以看到用lr作為一部分 先來看乙個小例子，給乙個 線性回歸是什麼 的概念。圖來自 2 假設有乙個房屋銷售的資料如下 面積 m 2 銷售價錢 萬元 123 250 150 320 87 160 1...