∥ x∥
=(xt
x)1/
2=
x)^ = \left \ \sqrt^ +x_^} , & x \in r^\\ \sqrt^ + x_^ + x_^}, & x \in r^ \end \right.
∥x∥=(x
tx)1
/2=y = \left\| x\right\| \left\| y \right\|cos\theta
xty=∥x
∥∥y∥
cosθ
推論5.1.2（柯西-施瓦茨不等式）若x和y為r2或r3中的向量，則
∣ xt
y∣≤∥
x∥∥y
∥|x^y| \leq \left\| x \right\| \left\| y \right\|
∣xty∣≤
∥x∥∥
y∥向量x到y的標量投影α(scalar projection):
α =x
ty∥y
∥α=\fracy}
α=∥y∥x
ty 向量x到y的向量投影p(vector projection):
p =α
u=αy
∥y∥=
xtyy
ty
yp = αu = α \frac = \fracy}y}y
p=αu=α
∥y∥y
=yt
yxty
y由以上定義rn中的夾角θ,有
c os
θ=xt
y∥x∥
∥y
∥cos\theta = \fracy}
cosθ=∥
x∥∥y
∥xty
若a為乙個m×n
m×nm×
n的矩陣，則有其零空間n(a)的每乙個向量都和at的列空間的任何向量都是正交的
定義設x和y為rn的子空間，若對每一x∈
\in∈x及y∈
\in∈y都有xty = 0,則稱x和y是正交的，記作x⊥
\perp
⊥y。正交子空間的並不總是和我們直觀概念中的垂直一樣
定義令y為rn的子空間，rn中所有的與y中的每乙個向量正交的向量的集合記為y⊥y^
y⊥.因此
y ⊥=
y^ = \left\} | x^y = 0,對每乙個y \in y \right\}
y⊥=集合y⊥y^
y⊥稱為y
yy的正交補（orthogonal complement)
注1.若x和y是正交子空間，則x∩y
=x\cap y = \left\
x∩y=
2.若y
yy是rn的子空間，則y⊥y^
y⊥也是rn的子空間
定理5.2.1(基本子空間定理)若a為m×n矩陣，則n(a
)=r(
at)⊥
n(a) = r(a^)^
n(a)=r
(at)
⊥，且n(a
t)=r
(a)⊥
n(a^) = r(a)^
n(at)=
r(a)
⊥。其中r (a
)==a
的列空間
r(a) = \left\ | b=ax,對某x\in r^ \right\} =a 的列空間
r(a)==
a的列空
間 定理5.2.2若s為r
ns為r^
s為rn
中的子空間，則有dim
s+di
ms⊥=
ndims + dims^ = n
dims+d
ims⊥
=n. 此外若
\left\,\cdot\cdot\cdot,x_\right\}
為s
ss的一組基，
\left\,\cdot\cdot\cdot,x_\right\}
為s ⊥s^
s⊥的一組基，則
\left\,\cdot\cdot\cdot,x_ ,x_,\cdot\cdot\cdot,x_\right\}
為r nr^
rn的一組基。
定義若u
uu和v
vv是向量空間w
ww的子空間，且對每乙個w∈w
w \in w
w∈w可以唯一的寫為乙個和u+v
u + v
u+v，其中u∈u
,v∈v
u \in u, v \in v
u∈u,v∈
v，則我們稱w
ww為u
uu和v
vv的直和，並記作w=u
⊕v
w = u \oplus v
w=u⊕v.
定理若s
ss為rnr^
rn的子空間，則
r n=
s⊕s⊥
r^ = s \oplus s^
rn=s⊕s
⊥定理若s
ss為rnr^
rn的子空間，則
( s⊥
)⊥=s
(s^)^ = s
(s⊥)⊥=
s推論若a為乙個m×n
m×nm×
n的矩陣，由於b∈r
mb \in r^
b∈rm
，則要麼存在乙個向量x∈r
nx \in r^
x∈rn
使得a x=
bax = b
ax=b
，要麼存在乙個向量y∈r
my \in r^
y∈rm
使得a ty
=0
a^y = 0
aty=0且ytb
≠0
y^b \neq0
ytb=
0。
線性代數 正交補
1 行空間和左零空間 矩陣的列所張成的空間叫做列空間，顧名思義，行空間就是矩陣行所張成的空間。矩陣a的列空間，等於轉置矩陣t a 的行空間。所有滿足ax 0的x向量組成的空間叫做零空間，滿足ya 0的向量組成的空間是左零空間。矩陣a的零空間，等於轉置矩陣t a 的左零空間。2 列空間正交左零空間 左...
線性代數 線性代數的本質
線性代數在機器學習的領域中扮演者十分重要的角色，所以這裡岔開先整理一些線性代數的基本概念和計算方法。這裡是3blue1brown的線性代數課程的截圖和筆記。作為快速複習的網路筆記。本課程的特點 通過影象展現線性代數計算在幾何圖形上意義。這樣能更好的理解線性代數為什麼叫做線性代數。線性代數為什麼採用這...
線性代數之 正交向量與子空間
1.正交子空間 兩個向量垂直，意味著 vtw 0v tw 0 vtw 0。兩個子空間 v boldsymbol v v 和 w boldsymbol w w 是正交的，如果v boldsymbol v v 中的每個向量 v vv 都垂直於 w boldsymbol w w 中的每個向量 www。想象...