线性空间
非空集合 $V$ 称为数域 $F $上的线性空间或向量空间,满足
- 加法：$\alpha,\beta\in V \Longrightarrow \alpha+\beta\in V$，有零元素，负（逆）元素，满足交换律，分配律
- 数乘：$\lambda \in F, \alpha\in V \Longrightarrow \lambda\alpha \in V$
线性无关
- $a_1\alpha_1+a_2\alpha_2+\cdots+a_n\alpha_n \Longleftrightarrow a_1 =a_2 = \cdots = a_n = 0$
维数： 极大线性无关组中元素个数
基： $\{\alpha_1,\cdots,\alpha_n\}$，线性空间中的每个元素有都能用基来唯一的表示$\beta=b_1\alpha_1+\cdots+b_n\alpha_n$
- 基就是极大线性无关组
- 每个元素可以使用坐标形式$(b_1,b_2,\cdots,b_n)$，运算变为对应分量的运算
- 此时$F$上$n$维线性空间相当于(同构)$F^n$
子空间$W$
- 作为集合$\emptyset \not= W \subseteq V$
- 运算封闭$\forall a_1,a_2 \in F , w_1,w_2 \in W \Longrightarrow a_1w_1+a_2w_2 \in W$
平凡子空间$\{0\}$
- 有0向量，不是空集
- 约定零空间的基是$\emptyset$
- 约定$\emptyset$线性无关，约定$\emptyset$的线性组合是0向量
子空间的交$W_1 \bigcap W_2$
两个子空间的交是子空间，并通常不是子空间
- $W_1 \bigcap W_2,W_1,W_2 \subset V$
- 子空间
- $W_1 \bigcup W_2$通常不是子空间
子空间的和$W_1+W_2$
两个子空间中的值相加
- $W_1+W_2:=\{w_1+w_2|w_1\in W_1, w_2\in W_2\}, W_1,W_2 \subset V$
直和$W_1\bigoplus W_2$
- $W = W_1 \bigoplus W_2$,如果$w \in W$能唯一地表示成$w_1+w_2$,其中$w_1\in W_1,w_2\in W_2$
- 直和当且仅当$W_1 \bigcap W_2 = \{0\}$
- $\dim W = \dim W_1 + \dim W_2$
映射和同态
线性映射：$\mathcal{A:}U\to V$是线性映射，亦称之为同态
- $\mathcal{A(\alpha+\beta)=A(\alpha)+A(\beta)}$
- $\forall \lambda \in F, \alpha \in U, \mathcal{A}(\lambda\alpha)=\lambda A(\alpha)$
线性变换(自同态)： $U=V$ (线性变换是$ U$ 到自身 的线性映射，只是个称呼)
映射的核： $Ker\mathcal{A} = \{u \in U | \mathcal{A}(u) = 0\}$
- 构成$U$的子空间
- 单射$\Longleftrightarrow Ker\mathcal{A}=0$
- 亦称为零空间，记作$\mathcal{N(A)}$
映射的像： $Im\ \mathcal{A}=\{\mathcal{A(u)}| u \in U\}$也称为值域，也记作$\mathcal{A}(U)$
- 构成$V$的子空间
- $Im\ \mathcal{A}$的维数也成为$\mathcal{A}$的秩
- 满射$\Longleftrightarrow Im\ \mathcal{A} = V$
- $\dim U = rank \mathcal{A} + \dim \mathcal{N(A)}$
逆映射：若存在 $\mathcal{B} : V → U $使得$ \mathcal{BA} = 1_U , \mathcal{AB} = 1_V$ , 称 $\mathcal{B}$ 为 $\mathcal{A}$ 的逆映射. 其中$ 1_U$ 指 $U$ 上的恒等映射
- 同构：若逆映射存在，则$\mathcal{A}$是$U$到$V$的同构映射
线性映射 $\mathcal{A}:U\to V$，其中$\dim (U)=n,\dim (V)= m$
- 那么由于线性关系，在映射中存在一个矩阵$A = [a_{ij}]_{m\times n}$，称为$\mathcal{A}$在基$u_1,…u_n$和${v_1,…v_m}$下的矩阵
- 对任意 $x ∈ U$, 若其坐标表示为 $X = (x_1, . . . , x_n)^T$ , 则 $\mathcal{A}(x)$在$V$ 中的 坐标为 $AX$
- $\mathcal{A} : F^n → F^m \ X → AX$
- 反之任给一个矩阵$ A ∈ F ^{m×n}$，可以诱导一个 $U$ 到 $V$ 的线性映射
线性映射 $\mathcal{A} : F^n → F^m X→ AX$
- 映射的核：$Ker(A) := {X ∈ F n | AX = 0}$
- 亦称为零空间，也记作$ \mathcal{N} (A)$
- $F^n$ 的子空间
- 单射 $⇔ \mathcal{N} (A) = 0$
- 映射的像：$Im(A) := {AX | X ∈ F^n}$
- $F^m$ 的子空间
- $ \dim Im(A) = rank(A)$, 后者是矩阵的秩 $(rank)$
- 满射$ ⇔ Im(A) = F^m$
- $n = \dim \mathcal{N} (A) + rank(A)$
- 有限维线性空间，同构只需看维数
$F$ 上线性空间$ U, V, W, \dim(U) = n, \dim(V ) = m, \dim(W) = p$
- $\mathcal{A}, \mathcal{A}′ : U → V , \mathcal{B} : V → W$
- 固定 $U, V, W$ 的一组基，$\mathcal{A}, \mathcal{A}′ , \mathcal{B} $在这组基下的矩阵 $A, A′ , B$
线性映射相加 $\mathcal{A} + \mathcal{A}′ : U → V$
- $ (\mathcal{A} + \mathcal{A}′ )(u) := \mathcal{A}(u) + \mathcal{A}′ (u)$
- $\mathcal{A} + \mathcal{A}′ $对应的矩阵为 $S$
- 可以验证$ S = A + A′$，与矩阵加法相容 (矩阵加法的一种定义)
线性映射复合$ (\mathcal{B} ◦ \mathcal{A}(u)) : U → W$
- $\mathcal{B} ◦ \mathcal{A}(u) := \mathcal{B}(\mathcal{A}(u))$
- $\mathcal{B} ◦ \mathcal{A} $对应的矩阵为 $M$
- 可以验证 $M = BA$，与矩阵乘法相容 (矩阵乘法的一种定义)
内积
$V$是实数域$\mathbb{R}$上的线性空间，若$\emptyset:V \times V \to \mathbb{R}$满足
(双线性) $\emptyset(\alpha_1+\alpha_2\beta)=\emptyset(\alpha_1,\beta)+\emptyset(\alpha_2,\beta),\emptyset(\lambda\alpha_1,\beta)=\lambda\emptyset(\alpha_1,\beta)\\\emptyset(\alpha_1,\beta_1+\beta_2)=\emptyset(\alpha,\beta_1)+\emptyset(\alpha,\beta_2),\emptyset(\alpha,\lambda\beta)=\lambda\emptyset(\alpha,\beta)$
函数取$V$中的两个分量进行运算，对加法和数乘运算保持线性
(对称性) $\emptyset(\alpha,\beta)=\emptyset(\beta, \alpha)$
(正定性)$\emptyset(\alpha,\alpha)>0$对所有$0\not= \alpha \in V$
那么$\emptyset(\cdot,\cdot)$称为内积，记作$<\cdot,\cdot>$,$V$为$\mathrm{Euclid}$空间
内积在标准正交基下$\begin{equation} \left[ \begin{array}{lr} 1 & & & & \\ & 1 & & & \\ & & \ddots & & \\ & & & 1 & \\ & & & & 1 \end{array} \right] \end{equation}$，表现形式为对应分量相乘
内积的表示
设$\{v_1,\cdots,v_n\}$是$V$的一组基，由于内积的双线性，只需要知道所有的$
$S=\begin{equation} \left[ \begin{array}{lr} \lt v_1,v_1 \gt & \lt v_1,v_2 \gt & \cdots & \lt v_1,v_n \gt \\ \vdots & \vdots & \cdots & \vdots \\ \lt v_n,v_1 \gt & \lt v_n,v_2 \gt & \cdots & \lt v_n,v_n \gt \end{array} \right] \end{equation}$
对于任意两个元素，$x^T=(x_1,x_2,\cdots,x_n),y^T=(y_1,y_2,\cdots,y_n)$
坐标表示为$(x_1,x_2,\cdots,x_n),(y_1,y_2,\cdots,y_n)$，其值为$x=x_1v_1+\cdots+x_nv_n, y= y_1v_1+\cdots+y_nv_n$,对$x,y$做内积时，根据双线性规则，展开以后可以写成$\lt x,y \gt=x^TSy$
当$\lt v_i,v_i \gt=1, \lt v_i,v_j \gt =0$ 对所有的$i\not=j$时，$S$为单位阵，内积变为$x^Ty=x_1y_1+x_2y_2+\cdots+x_ny_n$
此时$v_i$是一组标准正交基
正交
元素与元素$\alpha \bot \beta: <\alpha,\beta>=0$
元素与集合$\alpha \bot T: <\alpha, \beta>=0$对任意$\beta \in T$
集合与集合$S \bot T: <\alpha, \beta>=0$对任意$\alpha \in S, \beta \in T$
集合$S \subseteq U$，正交补 $S^{\bot}:= \{\alpha \in U|S \bot \alpha\}$，$U$的子空间
$S$不一定是一个子空间，但是$S$的正交补一定是$U$的子空间
范数或模长
$||\alpha|| := \sqrt{<\alpha,\alpha>}$
- $\mathrm{Cauchy-Schwarz}$不等式$|<\alpha,\beta>|\le ||\alpha||\cdot||\beta||$,$\alpha,\beta$同方向时取等号
夹角
$cost\theta = \frac{<\alpha,\beta>}{||\alpha||\cdot ||\beta||}$
距离
$d(\alpha, \beta) := ||\alpha-\beta||$
矩阵
$A_{m\times n}=\begin{equation} \left[ \begin{array}{lr} a_{11} & a_{12} & \cdots & a_{1n} \\ \vdots & \vdots & \cdots & \vdots \\a_{n1} & a_{n2} & \cdots & a_{nn} \end{array} \right] \end{equation}$
- 行向量构成$\mathbb{R}^n$的子空间
- 列向量构成$\mathbb{R}^m$的子空间
- 行秩=列秩=秩
- 当$m=n$时
- 迹：$tr(A)=a_{11}+a_{22}+\cdots+a_{nn}$
- 行列式： $det(A),|A|$
加法：$A_{m\times n} + A’_{m\times n} = A’’_{m\times n}$
乘法： $A_{m\times n} \cdot B_{n \times l} = C_{ m \times l} $
当$m=n$时
- 乘法非交换：通常$AB \not= BA$
- 乘法单位元： $I_{n\times n}$
- 逆元：若$BA=AB=I$,$B$称为$A$的逆，记作$A^{-1}$
- 未必存在，但存在即唯一
- 若$A,B$为$n$阶可逆方阵，$(AB)^{-1}=B^{-1}A^{-1}$
- 若$A,B$为$n$阶方阵，$\mathrm{det}(AB)=\mathrm{det}(A)\mathrm{det}(B)$
矩阵转置：
- $(AB)^T=B^TA^T$
- 若$A$可逆，$(A^T)^{-1}=(A^{-1})^T$
矩阵分块
矩阵分块运算
$\begin{equation} \left[ \begin{array}{lr}A_{k\times m} & A_{k\times n} \\ A_{l\times m} & A_{l\times n} \end{array} \right] \end{equation}_{(k+l)\times (m+n)} \cdot $ $\begin{equation} \left[ \begin{array}{lr}B_{m\times p} & B_{m\times q} \\ B_{m\times p} & B_{n\times q} \end{array} \right] \end{equation}_{(m+n)\times (p+q)}$
$= \begin{equation} \left[ \begin{array}{lr}A_{k\times m}B_{m\times p}+A_{k\times n}B_{n\times p} & A_{k\times n}B_{m\times q}+A_{k\times n}B_{n\times q} \\ A_{l\times m}B_{m\times p}+A_{l\times n}B_{n\times p} & A_{l\times n}B_{m\times q}+A_{\times n}B_{n\times q} \end{array} \right] \end{equation}_{(k+l)\times (p+q)} $
矩阵按行（列）分块
$A_{m\times n} = \begin{equation} \left[ \begin{array}{lr} \alpha_1^T \\ \alpha_2^T \\ \vdots \\ \alpha_m^T \end{array} \right] \end{equation} = $ $[\beta_1,\beta_2,\cdots,\beta_n]$
左乘矩阵$B$，每一行都是$A$的行向量$a_i^T$的线性组合，左乘$B$相当于对$A$做行变换，右乘$B$相当于对$A$做列变换
初等矩阵与初等变换
对$1\le i < j\le n$，将$n$阶单位阵$I_n$的第$i,j$行互换得到的方阵
$P_{ij}=\begin{equation} \left[ \begin{array}{lr} I_{i-1} & & & & \\ & 0 & & 1 & \\ & & I_{j-i-1} & & \\ & 1 & & 0 & \\ & & & & I_{n-j} \end{array} \right] \end{equation}$
- 左乘$P_{ij},A\to P_{ij}A$,行变换，相当于将$A$的第$i,j$行互换
- 右乘$P_{ij},B\to BP_{ij}$,列变换，相当于将$B$的第$i,h$列互换
- $P_{ij}$的逆时$P_{ij}$
对$1\le i,j \le n, i\not= j, \lambda \not= 0$,将$n$阶单位阵$I_n$的第$j$行的$\lambda$倍加到第$i$行得到的方阵
$T_{ij}(\lambda)=\begin{equation} \left[ \begin{array}{lr} I_{i-1} & & & & \\ & 1 & & \lambda & \\ & & \ddots & & \\ & & & 1 & \\ & & & & I_{n-j} \end{array} \right] \end{equation}$
- 左乘$T_{ij}(\lambda),A\to T_{ij}(\lambda)A$，行变换，相当于将$A$的第$i$行的$\lambda$倍加到第$i$行
- 右乘$T_{ij}(\lambda),B\to BT_{ij}(\lambda)$，列变换，相当于将$B$的第$i$行的$\lambda$倍加到第$j$行
- $T_{ij}(\lambda)$的逆是$T_{ij}(-\lambda)$
任何可逆方阵可以写成上述三种初等方阵的乘积
任何$m\times n$阶矩阵$A$可以通过有限次初等行变换和初等列变换得到
$PAQ=\begin{equation} \left[ \begin{array}{lr} I_r & 0 \\ 0 & 0 \end{array} \right] \end{equation}$
- $r=\mathrm{rank}(A),A$的秩
- $\mathrm{rank}$是可逆变换下的不变量
- $A$可逆当且仅当$r=m=n$
$A$是一个$m\times n$的矩阵$A\in \mathbb{R}^{m\times n}$,将向量从$n$维映到$m$维$A: \mathbb{R}^n \to \mathbb{R}^m$
$Ax=\begin{equation} \left[ \begin{array}{lr} I_r & 0 \\ 0 & 0 \end{array} \right] \end{equation}$ $\begin{equation} \left( \begin{array}{lr} x_1 \\ \vdots \\ x_n \end{array} \right) \end{equation}=$ $\begin{equation} \left( \begin{array}{lr} x_1 \\ \vdots \\ x_r \\ 0 \\ \vdots \\ 0 \end{array} \right) \end{equation}$
$\dim \mathrm{Im}(A) = rank(A) = r $ $A$的像的维度是$r$
$ \dim \mathcal{N}(A) = n - r$ $A$的零空间的维度是$n-r$，$\mathcal{N}(A)$的维度就代表再矩阵初等变换中有多少向量被映成0。
矩阵的列空间
$A_{m\times n} $的列空间$C(A):= \{Ax|x\in \mathbb{R}^n\}$，所有的列向量的线性组合
- $A=[\beta_1 \ \beta_2 \ \cdots \ \beta_n],C(A)=\{x_1\beta_1+x_2\beta_2+\cdots+x_n\beta_n | x_i \in \mathbb{R}^n\}$
- 也就等于$\mathrm{Im}(A)$
- 是$\mathbb{R}^m$的子空间
- $\dim C(A)=rank(A) = r$ 列空间的维数等于矩阵$A$的秩，也可以是或最大线性无关组的数量
$A_{m\times n}=C_{m \times r}R_{r \times n}$
$A = \begin{equation} \left[ \begin{array}{lr} 1 & 2 & 3 \\ 3 & 1 & 4 \\ 2 & 3 & 5 \end{array} \right] \end{equation}$其中$\begin{equation} \left[ \begin{array}{lr} 1 \\ 3 \\ 2 \end{array} \right] \end{equation}+$ $\begin{equation} \left[ \begin{array}{lr} 2 \\ 1 \\ 3\end{array} \right] \end{equation}=$ $\begin{equation} \left[ \begin{array}{lr} 3 \\ 3 \\ 5 \end{array} \right] \end{equation}$
前两列构成列空间中的一组基
$A_{m\times n}=C_{m \times r}R_{r \times n} = \begin{equation} \left[ \begin{array}{lr} 1 & 2 \\ 3 & 1 \\ 2 & 3 \end{array} \right] \end{equation}$ $\begin{equation} \left[ \begin{array}{lr} 1 & 0 & 1 \\ 0 & 1 & 1 \end{array} \right] \end{equation}$
矩阵$A$可以分解成列空间的一组基与行空间的一组基相乘
- 行秩=列秩
因为$A$的秩$r=2, n-r=3-2=1$所以$\mathcal{N}(A)$非平凡，维数为1，这也就意味着$Ax=0$有非零解$(1,1,1-1)^T$是$\mathcal{N}(A)$的一组基
矩阵的行空间
$A = \begin{equation} \left[ \begin{array}{lr} \alpha_1^T \\ \vdots \\ \alpha_m^T \end{array} \right] \end{equation}$
定义行空间=$\{y_1\alpha_1+y_2\alpha_2+\cdots+y_m\alpha_m|y_i \in \mathbb{R}\}$
- 事实上等于$A^T$的列空间，记作$C(A^T)$
- 也等于$\mathrm{Im}(A^T)$
- 是$\mathbb{R}^n$的子空间，$\dim C(A^T)=rank A^T = r$
$\mathcal{N}(A)\bot C(A^T),\mathcal{N}(A)\bigoplus C(A^T)=\mathbb{R}^n$
$\mathcal{N}(A^T)\bot C(A),\mathcal{N}(A^T)\bigoplus C(A)=\mathbb{R}^m$
列空间与行空间
$Ax = 0$, 即$\begin{equation} \left[ \begin{array}{lr} \alpha_1^T \\ \vdots \\ \alpha_m^T \end{array} \right] \end{equation}$ $\begin{equation} \left[ \begin{array}{lr}x \end{array} \right] \end{equation}=$ $ \begin{equation} \left[ \begin{array}{lr} 0 \\ \vdots \\ 0 \end{array} \right] \end{equation}$
- 零空间$\mathcal{N}(A)$中的元素$x$与$A$的每一行正交，因为$A$的每一行个数有$n$个所以$\mathcal{N}(A)\in \mathbb{R}^n$，同理$\mathcal{N}(A)\in \mathbb{R}^m$
- 若$x$为行空间$C(A^T)$中非零元素(行向量线性组合)， $Ax \not= 0$
- 零空间$\mathcal{N}(A)$中的元素$x$与$A$的行空间正交$x\bot C(A^T)$
- 零空间$\mathcal{N}(A^T)$中的元素$y$与$A$的列空间正交$y\bot C(A)$
$\mathcal{N}(A)$维数 $n-r$, $\mathcal{N}(A^T)$维数 $m-r$
$C(A^T)$维数$r$, $C(A)$维数$r$
$C(A^T)$通过$A$可以映射到$C(A)$,同样的$C(A)$可以通过$A^T$映射到$C(A^T)$
$\mathcal{N}(A)$通过$A$映射到0，$\mathcal{N}(A^T)$通过$A^T$映射到0
$A_{m\times n}$虽然本身是$\mathbb{R}^n\to \mathbb{R}^m$的线性映射，但未必是可逆的(未必是满秩)，因为有零空间映射到0，这样是映射不回来的，但将$A$看作$C(A^T)\to C(A)$的映射时，它时可逆的(维数相同，满射)，反之$A^T$是$C(A)\to C(A^T)$的可逆映射，进一步$A^TA$是$C(A^T)$到自身的可逆线性变换
$A^TA$的零空间$\mathcal{N}(A^TA)$等于$A$的零空间$\mathcal{N}(A)$
- $x \in \mathcal{N}(A) \Longleftrightarrow Ax = 0 \Longrightarrow A^TAx = 0$
- $A^TAx = 0 \Longrightarrow Ax \in \mathcal{N}(A^T) \Longrightarrow Ax \in \mathcal{N}(A^T) \cap C(A) = \{0\}$
$A$的列向量线性无关，则$A^TA$可逆
- $A$的列向量线性无关$\Longrightarrow \mathcal{N}(A)=0 \Longrightarrow \mathcal{N}(A^TA) = 0$
方程组消元和$LU$分解
考虑方程组 $Ax =b$
$2x+3y=7 \\ 4x+7y=15$ $2x+3y=7\\ y=1$ $x=2\\y=1$
左乘$T_{ij}(\lambda)$（下三角， $i> j$）对方程进行消元，变为上三角
$TA = \begin{equation} \left[ \begin{array}{lr} 1 & 0 \\ -2 & 1 \end{array} \right] \end{equation}$ $ \begin{equation} \left[ \begin{array}{lr} 2 & 3 \\ 4 & 7 \end{array} \right] \end{equation}$ = $ \begin{equation} \left[ \begin{array}{lr} 2 & 3 \\ 0 & 1 \end{array} \right] \end{equation}$ $=U$
$A = \begin{equation} \left[ \begin{array}{lr} 1 & 0 \\ -2 & 1 \end{array} \right] \end{equation}^{-1}$ $ \begin{equation} \left[ \begin{array}{lr} 2 & 3 \\ 0 & 1 \end{array} \right] \end{equation}= $ $ \begin{equation} \left[ \begin{array}{lr} 1 & 0 \\ 2 & 1 \end{array} \right] \end{equation}$ $ \begin{equation} \left[ \begin{array}{lr} 2 & 3 \\ 0 & 1 \end{array} \right] \end{equation}= LU$
对矩阵$A$进行初等变换，左乘一个$T$变成上三角，因为$T$是可逆矩阵，再做成一个$T^{-1}$，就可以将$A$分解成一个上三角和一个下三角矩阵相乘的形式，这就是$LU$分解
更一般的情况，需要交换$A$的行，
那么$PA=LU$,其中$L$是下三角矩阵对角线为1，$P$为置换矩阵，是$P_{ij}$的乘积，进一步
$PA=LDU$
$D$是对角阵，使得$U$每行第一个非零元素为1
方程组求解
方程组$Ax=b$
- $Ax \in C(A)$
- 有解当且仅当$b\in C(A)$
- 有界当且仅当 $A$的列秩等于$[A|b]$的列秩
若$x_s$是一组特解，那么通解
$x_g = x_s + x_h$, 其中$x_h$是七次方程组$Ax=0$的解，即$x_h\in \mathcal{N}(A)$
- 方程组消元相当于行变换$(P_{i,j},D_i(\lambda), T_{i,j}(\lambda))$
- 消元得到的矩阵每一行第一个非零元素为1，其上元素为0
得到阶梯矩阵，极大线性无关组就是每行第一个为1的列组成的空间，剩下的列可以有线性无关组构成。
列空间的即就是极大线性无关组，零空间的基可以通过列空间之外的列并根据列空间中的基做运算得到
正交方阵
$Q_{n\times n}$的列向量$q_1,\cdots,q_n$是标准正交的
$Q^TQ = \begin{equation} \left[ \begin{array}{lr} q_1^T \\ q_2^T \\ \vdots \\ q_m^T \end{array} \right] \end{equation} $ $[q_1,q_2,\cdots,q_n]$ $= I_n$ ,对角线上元素都为一，非对角线上元素都为0，所以相乘为$I$
$ I_n = QQ^T = [q_1,q_2,\cdots,q_n]\begin{equation} \left[ \begin{array}{lr} q_1^T \\ q_2^T \\ \vdots \\ q_m^T \end{array} \right] \end{equation} = q_1q_q^T+\cdots+q_nq_n^T$
$Q^{-1} = Q^T$
$Q_1,Q_2$是正交方阵，则$Q_1Q_2,Q_2Q_1$亦然
- 等距： $||Qx||^2=x^TQ^TQx=x^Tx=||x||^2$
- 特征值的模长为1: $Qx=\lambda x, ||Qx||^2=||x||^2 \Longrightarrow |\lambda|^2 = 1$
正交方阵举例
逆时针旋转$\theta$角的矩阵
$\begin{equation} \left[ \begin{array}{lr} \cos\theta & -\sin \theta\\ \sin \theta & \cos \theta \end{array} \right] \end{equation} $
使用代表坐标的向量与正交方阵相乘，就可以得到旋转$\theta$角后的坐标
投影
$y$在$x$上的投影
如果$x$是单位向量，那么$y$在$x$上的投影就是$x$与$y$做内积$x^Ty$，这得到的时投影的长度，求投影的话还要再乘上$x$方向，这里$x$时单位向量，所以直接乘上$x$即可，投影即是$xx^Ty$。
如果$x$不是单位向量，那么还是使用$x^Ty$来求投影的长度，不过这个长度是投影的长度乘上$x$的长度，这里要除掉$x$的长度$\frac{x^Ty}{||x||}$，再乘上$x$的方向$\frac{x}{||x||}$,经过展开就是：
$\frac{x^Ty}{||x||} \cdot \frac{x}{||x||} = \frac{x^Ty}{x^Tx}x= x\frac{x^Ty}{x^Tx} = \frac{xx^T}{x^Tx}y$
在一个线性转换矩阵的列空间上投影可以写成$A(A^TA)^{-1} A^T$
经过化简得到的投影由一个矩阵和$y$组成，这就意味这对于任意的$y$，它再$x$上的投影都是$\frac{xx^T}{x^tx}y$
- $P=\frac{xx^T}{x^Tx}$称为投影矩阵
- 对于任意的$\alpha$,$P\alpha$是$\alpha$再$x$上的投影
- $P$是对称的，$\mathrm{rank}1, P^2=P$,满足$P$是对称和$P^2=P$也可以称为投影矩阵
- $x\bot z$
$\mathrm{Gram-Schmidt}$正交化
线性无关向量$a_1,\cdots,a_n$通过$\mathrm{Gram-Schmidt}$正交化生成标准正交向量$q_1,\cdots,q_n:$
$q_1=\frac{a_1}{||a_1||}\\ a’_2=a_2-q_1q_1^Ta_2,\\ a’_3= a_3-q_1q_1^Ta_3-q_2q_2^Ta_3,\\ \vdots$ $\\ q_2 = \frac{a’_2}{||a’_2||} \\ q_3 = \frac{a’_3}{||a’_3||} \\ \vdots$
先将$a_1$单位化，这时$a_1$就变成$q_1$， $a_2$可能和$q_1$不正交，不正交就意味有投影，$a_2$将投影减掉得到的$q_2$就与$q_1$正交，以此类推，就得到了彼此正交长度为1的一组基
$\begin{equation} \left[ \begin{array}{lr} a_1 , \cdots, a_n \end{array} \right] \end{equation} $ $\begin{equation} \left[ \begin{array}{lr} b_{11} & b_{12} & \cdots & b_{1n} \\ & b_{22} & \cdots & b_{2n} \\ & & \ddots & \vdots \\ & & & b_{nn} \end{array} \right] \end{equation} = $
$q_1$只与$a_1$有关，$q_2$只与$a_1,a_2$有关，所以$q$向量可以写成矩阵相乘的形式
$\mathrm{QR} $分解
$A_{m\times n}$的列向量线性无关，通过$\mathrm{Gram-Schmidt}$正交化
$A_{m \times n}T_{n\times n} = Q_{m\times n}$
$T$是可逆上三角矩阵，$Q$是列向量正交，且范数为1，特别地，当$m=n$时，$Q$是正交方阵
两边同时乘以$T$的逆矩阵
$A_{m\times n} = Q_{m\times n}R_{n \times n} = [q_1, \cdots, q_n] \begin{equation} \left[ \begin{array}{lr} & \\ 0 & \end{array} \right] \end{equation} $
可以验证
$\begin{equation} \left[ \begin{array}{lr} a_1 & a_2 & a_3 \end{array} \right] \end{equation} =$ $\begin{equation} \left[ \begin{array}{lr} q_1 & q_2 & q_3 \end{array} \right] \end{equation}$ $\begin{equation} \left[ \begin{array}{lr} q_1^Ta_1 & q_1^Ta_2 & q_1^Ta_3 \\ & a_2^Ta_2 & q_2^Ta_3 \\ & & q_3^Ta_3 \end{array} \right] \end{equation}$
$a_1,a_2,a_3$向量在经过$\mathrm{Gram-Schmidt}$正交化以后，形成新的坐标系$q_1,q_2,q_3$，上式就变成了原本的向量在新坐标系下的坐标
最小二乘法
方程$Ax=b$,当$b\not\in C(A)$时，方程无解，希望计算$\hat{x}$使得$||b-A\hat{x}||$最小
几何上，计算$b$在空间$C(A)$中的投影$p$，此时误差向量$b-p$与$C(A)$正交，范数最小，则$p=A\hat{x}$
$A$的列向量记作$a_i$,由于$b-A\hat{x}$与$C(A)$正交
$\begin{equation} \left[ \begin{array}{lr} q_1^T \\ \vdots \\ a_n^T\end{array} \right] \end{equation} [b-A\hat{x}] = 0 \Longrightarrow A^T(b-A\hat{x}) = 0$
最小二乘形式：$A^TX\hat{x}=A^Tb$
当$A^TA$可逆时，我们有最小二乘逼近$\hat{x}=(A^TA)^{-1}A^Tb$
如果$A$的列线性无关，则$A^TA$是可逆对称方阵
$A^TAx=0\Longrightarrow x^TA^Tx = 0 \Longrightarrow ||Ax|| = 0 \Longrightarrow Ax = 0\Longrightarrow x = 0$
设$A=QR$,此时最小而成满足：
$R^TQ^TQR\hat{x}=R^TQ^Tb\Longrightarrow R\hat{x}=Q^Tb$
$b$的投影$p=A\hat{x}=A(A^TA)^{-1}A^Tb=Pb$，其中$P=A(A^TA)^{-1}A^T$是投影矩阵
- 任何满足$P^2= P$的对称方阵均是某个投影矩阵
特征值和特征向量
若$Ax=\lambda x(x\not= 0)$，称$x$是$A$的一个特征向量，$\lambda$为特征值
- $x$与$Ax$方向有一致，仅做了一个拉伸
- $x$是特征向量，则$cx(x\not=0)$亦然
移项可得$(\lambda I-A)x=0$，因为$x\not= 0$，所以$x$是属于$\lambda I-A$这个矩阵的零空间中的一个元素，即$\lambda I-A$b不是满秩。所以 $\lambda$是$A$的特征值当且仅当
- $\mathrm{det}(\lambda I- A)=0$ ,方阵等于零，即不满秩
以$\lambda$为特征值的特征向量属于$\mathcal{N}(\lambda I-A)=\mathrm{Ker}(\lambda I-A)$
以$\lambda$为特征值的特征向量属于$\lambda I -A$的零空间的非平凡元素
找特征向量就相当于解方程$(\lambda-A)x=0$
特征向量的存在性：
将$\lambda$当未定元，记作$x$
$\mathrm{det}(xI-A)$是关于$x$的$n$次多项式，$A$的特征多项式
- 代数闭域上，$\det (xI-A)=0$存在$n$个解，如复数域$\mathbb{C}$
若$\det (\lambda I-A)=0$，则$\mathcal{N}(\lambda I-A)$包含非零向量，即有特征向量
特征向量的计算：
计算特征多项式$\det (xI-A)$
- 计算$\det (xI-A)=0$的根，求出特征值
- 对每个特征值$\lambda$,计算方程组$(\lambda I - A) x = 0$的非零解
性质
特征值的数目(允许重复)为$n$， 每个特征值的重数称为代数重数
对每个不同的特征值$\lambda_i$，至少存在一个特征向量
同一个特征值的特征向量构成特征子空间$\mathcal{N}(\lambda I-A)=\mathrm{Ker}(\lambda I -A)$，其维数称为几何重数，即齐次方程组$(\lambda I-A)x=0$的解的维数
- $1\le $几何重数$\le $代数重数
不同特征值的特征子空间相互正交
$A$的所有特征值(允许重复)的和等于$A$的迹
$\lambda_1+\lambda_2+\cdots+\lambda_n=\mathrm{tr}(A)=a_{11}+a_{22}+\cdots+a_{nn}$
$A$的左右特征值(允许重复)的积等于$A$的行列式
$\lambda_1\cdot \lambda_2\cdots \lambda_n = \det (A)$
$\det(xI-A)=x^n-\mathrm{tr}(A)x^{n-1}+\cdots+(-1)^n \mathrm{det}(A)$
若$Ax=\lambda x$
$A^mx=\lambda ^mx, m \in \mathbb{N},$ $ A^{-1}x=\frac{1}{\lambda}x, \lambda \not= 0$
$A$的线性变换做$m$次以后就等于$\lambda$的$m$次方
$e^{At}x=e^{\lambda t}x, |\lambda| < 1$
若$A_{n\times n}$有$n$个线性无关的特征向量$x_1,\cdots,x_n$，对应特征值分别为$\lambda_1,\cdots,\lambda_n$，对于任意向量$v=c_1x_1+\cdots+c_nx_n$
- $v_k=A^kv=c_1\lambda_1^kx_1+\cdots+c_n\lambda_n^kx_n$
- $\frac{\mathrm{d}v}{\mathrm{d}t}=Av$的解为$d_1e^{\lambda_1t}x_1+\cdots+d_ne^{\lambda_nt}x_n$
若方阵$B=M^{-1}AM$，称$B$与$A$相似
$A$和$B$有相同的特征方程
$|xI-A|=|M^{-1}||xI-A||M|=|M^{-1}(xI-A)M|=|xI-B|$
$A$和$B$有相同的特征值，且若$Bx=\lambda x$，则$A(Mx)=\lambda Mx$
特征方程和特征值是相似不变量
若将方阵看成线性变换，线性变换在不同基下的矩阵相似
$A_{m\times n}B_{n\times m}$与$B_{n\times m}A_{m\times n}$具有相同的非零特征值
若$ABx=\lambda x(\lambda \not= 0)$，则有$Bx\not= 0$，且$BABx=B\lambda x = \lambda B x$
上式可以看成$x$是$AB$的特征向量，$Bx$是$BA$的特征向量
$\mathrm{EVD}$分解
设$A_{n\times n}$有$n$个线性无关的特征向量$x_1,\cdots, x_n$对应的特征值分别为$\lambda_1,\cdots,\lambda_n$
$A \begin{equation} \left[ \begin{array}{lr} x_1 & \cdots & x_n \end{array} \right] \end{equation} = $ $\begin{equation} \left[ \begin{array}{lr} \lambda_1x_1 & \cdots & \lambda_nx_n \end{array} \right] \end{equation} = $ $\begin{equation} \left[ \begin{array}{lr} x_1 \cdots x_n \end{array} \right] \end{equation}$ $\begin{equation} \left[ \begin{array}{lr} \lambda_1 & \\ & \ddots & \\ & & \lambda_n \end{array} \right] \end{equation}$
因此有$\mathrm{EVD}$分解
$AX=X\Lambda$ $A=X\Lambda X^{-1}$
其中$X$为$x_1,\cdots, x_n$（列向量）构成的矩阵，$\Lambda=diag(\lambda_1,\cdots,\lambda_m)$
- 即使固定$\Lambda, X$也不唯一
谱定理
进一步，如果$A$的特征值为实数，且有$n$个线性无关，彼此正交的特征向量。通过将这些特征向量标准化，得到$A$的一组标准正交基$q_1,\cdots,q_n$,此时有
$AQ=Q\Lambda$ $A=Q\Lambda Q^T$
其中$Q$为$q_1,\cdots,q_n$（列向量）构成的正交方阵，$\Lambda=diag(\lambda_1,\cdots,\lambda_n)$，对角线形式的方阵
特别地，$A=Q\Lambda Q^T=\lambda_1q_1q_1^T+\lambda_2q_2q_2^T+\lambda_nq_nq_n^T$
实对称方阵
设$S$是实对称方阵，则$S$的特征值$\lambda$是实数
若$Sx=\lambda x$
$\bar{x}^TSx=\bar{x}^T\lambda x=\lambda \bar{x}^Tx \\ \bar{x}^TSx=\bar{\bar{x}^TSx}^T=\bar{(Sx)}^Tx=\bar{(\lambda x)}^Tx=\bar{\lambda}\bar{x}^Tx$
$\lambda=\bar{\lambda}$
$S$有一组线性无关的特征向量
$S$有一组正交的特征向量
对于特征值不同的两个特征向量$x,y$， 对应的特征值$\lambda \not= \gamma$
$x^TSy=x^T\gamma y = \gamma x^Ty \\ x^TSy = x^TS^Ty=(Sx)^Ty=\lambda x^Ty$
由于$\lambda \not= \gamma$，所以$x^Ty=0$
对于同一特征值下，选取一组标准正交基即可找到一组正交的特征向量
正定实对称方阵
实对称方阵$S$是正定的，如果满足下述条件之一：
- $x^TSx>0$，对所有非零$x$， 相当于满足正定的双线性函数构成的度量方阵就是正定实对称方阵
- 所有特征值$\lambda_i>0$
- $S=A^TA$，$A$的列向量线性无关
- 所有顺序主子序$>0$，即所有左上角的子矩阵的行列式$>0$
性质：
- $S,T$正定，则$S+T$正定
- $x^T(S+T)x=x^TSx+x^TTx>0$
- $S$正定，则$S^{-1}$正定
- $\frac{1}{\lambda}>0$
半正定对称方阵
实对称方阵$S$是半正定的，如果满足下述条件之一：
- $x^TSx \ge 0$，对所有非零$x$
- 所有特征值$\lambda_i\ge 0$
- 所有的顺序主子式$\ge0$,即左上角的子矩阵的行列式$\ge 0$
根据谱定理，半正定是对称方阵能表示成$A^TA$。反过来，$A$是任意实矩阵，则$A^TA$
- 对称的
- 特征值为实数，有正交的特征向量
- $x^TA^TAx=||Ax||\ge 0$，半正定
$\mathrm{SVD}$分解
一般矩阵的$\mathrm{SVD}$分解
对于一般矩阵$A\in \mathbb{R}^{m \times n}$， 可以看成$\mathbb{R}^n\to \mathbb{R}^m$的线性映射。进一步$A$诱导了$C(A^T)\to C(A)$的满射（事实上是同构映射）
$\begin{equation} \left\{ \begin{array}{lr} A v_1=\alpha_1u_1 \\ Av_2=\alpha_2u_2 \\ \vdots \\ Av_r=\alpha_ru_r \\ Av_{r+1}=0\\ \vdots\ \\ Av_n=0 \end{array} \right\} \end{equation}$
希望找到$\mathbb{R}^n$的一组标准正交基$v_1,\cdots,v_n$（其中$v_1,\cdots,v_n$是$C(A^T)$的一组标准正交基，$v_{r+1},\cdots,v_r$是$\mathcal{N}(A)$的一组标准正交基）使得$u_1,\cdots,u_r$是$C(A)$的一组标准正交基。从而可以将其补充成$\mathbb{R}^m$的一组标准正交基$u_1,\cdots,u_m$
假设标准正交基$v_1,\cdots,v_n$和$u_1,\cdots,u_m$满足上述条件，实矩阵$A\in \mathbb{R}^{m\times n}$ 有奇异值分解
$A=U\Sigma V^T = \begin{equation} \left[ \begin{array}{lr} u_1, \cdots, u_m\end{array} \right] \end{equation}$ $\begin{equation} \left[ \begin{array}{lr} \sigma_1 & & & \\ & \ddots & & 0 \\ & & \sigma_r & \\ & 0 & & 0 \end{array} \right] \end{equation}_{m\times n}$ $\begin{equation} \left[ \begin{array}{lr} v_1^T \\ \vdots \\ v_n^T \end{array} \right] \end{equation}$
其中$U$为$m$阶正交方阵，$V$为$n$阶正交方阵的，$r$为$\mathrm{rank}(A)$，$\sum_{m\times n}$非零对角元满足$\sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_r \ge 0$， 称为$A$的奇异值，$u_i,v_i$称为奇异向量
$\mathrm{SVD}$分解的存在性
若奇异值分解存在， $A^TA=V\Sigma^TU^TU\Sigma V^T=V(\Sigma^T\Sigma)V^T$, $U$是标准正交所以$U’=U^T$
考察$A^TA$,$A^TA$的特点：
半正定，对称
特征值为实数($\ge 0$)，有正交的特征向量，根据谱定理
$A^TA=V\Lambda_{n\times n}V^T$
取$v_i$为$A^TA$的正交特征向量
$\sigma_i^2$（奇异值的平方）是$A^TA$的第$i$个非零特征值(按大小顺序)
现只需证明$u_i=\frac{Av_i}{\sigma_i}(1 \le i \le r)$是正交的
$u^T_iu_j=\frac{1}{\sigma_i\sigma_j}v_i^TA^TAv_j, i \not= j \le r$
只看$A^TAv_j$，因为$v_j$是$A^TA$的特征向量，所以可以写成$A^TAv_j=\sigma_i^2v_j$
原式等于$\frac{\sigma_i}{\sigma_j}v^T_iv_j =0$ 成立，说明$u_iu_j$是成交的
最后将$u_i$扩充成$\mathbb{R}^m$的一组标准正交基，便得到了$\mathrm{SVD}$分解
对于$AA^T$
$AA^T=U\Sigma V^T\Sigma^TU^T=U(\Sigma \Sigma^T)U^T$
半正定，对称
特征值为实数($\ge 0$)，有正交的特征向量，根据谱定理
$AA^T=U\Lambda’_{m\times m}U^T$
取$u_i$为$AA^T$的(正交的)特征向量
$\sigma^2_i$是$AA^T$的第$i$个非零特征值（按大小顺序）
- $\sigma_i^2$即是$A^TA$的第$i$个非零特征值，也是$AA^T$的第$i$个非零特征值
- 不矛盾！因为$AB$和$BA$有相同的非零特征值
实际中，计算$\mathrm{SVD}$分解并不是通过$A^TA$.比如$m>>n$,复杂度高
$\mathrm{SVD}$分解性质
当$A$可逆式($r=m=n$)，由于$U,V$式正交方阵，行列式为$\pm 1$，$|\det (A)|=\sigma_1\cdot \sigma_2\cdots \sigma_r$
- $\sigma_1\cdots\sigma_2\cdots\sigma_r=|\lambda_1\cdot \lambda_2\cdots\lambda_m|$
通常$\mathrm{tr}(A)\not= \sigma_1+\sigma_2+\cdots+\sigma_r$
当$A$为半正定方阵时，$\mathrm{SVD}$分解也是普芬姐，奇异值就是非零特征值
矩阵的极分解
根据方阵$A$的$SVD$分解，可以给出矩阵的极分解
$A=U\Sigma V^T=(U\Sigma U^T)(UV^T)=SQ$
其中$S$为半正定对称方阵，$Q$为正交方阵
矩阵的$\mathrm{SVD}$分解
$A=U\Sigma V^T = \begin{equation} \left[ \begin{array}{lr} u_1, \cdots, u_m\end{array} \right] \end{equation}_{m\times m}$ $\begin{equation} \left[ \begin{array}{lr} \sigma_1 & & & \\ & \ddots & & 0 \\ & & \sigma_r & \\ & 0 & & 0 \end{array} \right] \end{equation}_{m\times n}$ $\begin{equation} \left[ \begin{array}{lr} v_1^T \\ \vdots \\ v_n^T \end{array} \right] \end{equation}_{n\times n}$
$= \alpha_1u_1v_1^T+\alpha_2u_2v_2^T+\cdots+\alpha_ru_rv_r^T$
$=\begin{equation} \left[ \begin{array}{lr} u_1, \cdots, u_r\end{array} \right] \end{equation}_{m\times r}$ $\begin{equation} \left[ \begin{array}{lr} \sigma_1 & & \\ & \ddots & \\ & & \sigma_r \end{array} \right] \end{equation}_{r\times r}$ $\begin{equation} \left[ \begin{array}{lr} v_1^T \\ \vdots \\ v_r^T \end{array} \right] \end{equation}_{r\times n}$
$u_{r+1},\cdots,u_m\in \mathcal{N}(A^T)$， $v_{r+1},\cdots,v_n\in \mathcal{N}(A)$，没有贡献
$A_k$和$\mathrm{Eckart-Young}$定理
设$A_k\in \mathbb{R}_{m\times n}$,
$A = U\Sigma V^T=\sigma_1u_1v_1^T+\sigma_2u_2v_2^T+\cdots+\sigma_ru_rv_r^T$
对$1\le k \le r$，令
$A_K := U_k\Sigma_kV_k^T=\sigma_1u_1v_1^T+\sigma+2u_2v_2^T+\cdots+\sigma_ku_kv_k^T$
则$\mathrm{rank}A_k = k,$且随着$k$增大，$A_k$ 逼近$A$
$\mathrm{Eckart-Young}$定理： 对$\mathbb{R}_{m\times n}$中任意秩为$k$的矩阵$B_{m\times n}$，有$||A-B||\ge ||A-A_k||$ ($||A-b||$，两个矩阵的距离)
直观的说，$A_k$时所有$\mathrm{rank}k$的矩阵中距离$A$最近的
谈距离，就需要定义度量
- 度量$d$需要满足三个性质：
- （非负性）$d(x,y)\ge 0$且$d(x,y)=0\Longleftrightarrow x=y$
- （对称性）$dx(x,y)=d(y,x)$
- （三角不等式） $d(x,z) \le d(x,y)+d(y,z)$
- 向量的度量通过范数定义$d(v_1,v_2):=||v_1-v_2||$
- 向量的范数需要满足：
- （非负性）$||v||\ge 0 $且$||V||=0 \Longleftrightarrow v = 0$
- （齐次性）$||cv|| = |c|||v||$
- （三角不等式）$||v_1+v_2|| \le ||v_1||+||v_2||$
- 向量的范数
- ($l_2$范数) $||v||_2 := \sqrt{|v_1|^2+\cdots||v_n|^2}$
- ($l_1$范数)$||v||_1 := |v_1| + \cdots||v_n|$
- ($l_{\infty}$范数) $||v||_{\infty} := \max\limits_{1\le i\le n}|v_i|$
- 矩阵的范数
- $spertral\ norm:$ $||A||_2 := \max\limits_{x\not= 0} \frac{||Ax||_2}{||x||_2}$
- $Frobenius\ norm :$ $||A||_F := \sqrt{\sum_{i,j}|a_{ij}|^2}$
- 事实上，$||A||_2=\sigma_1$
- $\max\limits_{x \not= 0} \frac{||Ax||_2}{||x||_2}=\max\limits_{x\not=0}\frac{||U\Sigma V^Tx||_2}{||x||_2} = \max\limits_{y\not= 0}\frac{||U\Sigma y||_2}{||Vy||_2} = \max\limits_{y\not= 0} \frac{||\Sigma y||_2}{||y||_2}$ 由于正交变换不影响范数
- $||A||_F = \sqrt{\mathrm{tr}(A^TA)} = \sqrt{\Sigma_{i}\sigma_i^2}$
矩阵的伪逆
定义矩阵$A_{m\times n}$的伪逆为$A^{ \dagger }_{n\times m} = V\Sigma^{\dagger} U^T$
其中$\Sigma^{\dagger} = \begin{equation} \left[ \begin{array}{lr} 1/\sigma_1 & & & \\ & \ddots & & 0 \\ & & 1/\sigma_r & \\ & 0 & & 0 \end{array} \right] \end{equation}_{n\times m}$
$A^{\dagger}A=V \begin{equation} \left[ \begin{array}{lr} 1 & & & \\ & \ddots & & 0 \\ & & 1 & \\ & 0 & & 0 \end{array} \right] \end{equation}_{n\times n} V^T, AA^{\dagger} = U$ $ \begin{equation} \left[ \begin{array}{lr} 1 & & & \\ & \ddots & & 0 \\ & & 1 & \\ & 0 & & 0 \end{array} \right] \end{equation}_{m \times m} U^T$
- 若$A$可逆，$A^{\dagger}=A^{-1}=V\Sigma^{-1}U^T$
- 若$\mathrm{rank}A=n$，则$A^TA$可逆，$A^{\dagger}=(A^TA)^{-1}A^T$
- $(A^TA)^{-1}A^T=(V\Sigma^T\Sigma V^T)^{-1}V\Sigma^T U^T \\ = V(\Sigma^T\Sigma)^{-1}V^TV\Sigma^TU^T = V\Sigma^{\dagger}U^T$
- 若$\mathrm{rank}A=m$，则$AA^T$可逆，$A^{\dagger}=A^T(AA^T)^{-1}$
对于$1\le i \le r$
$Av_i=\sigma_iu_i,A^{\dagger}u_i=1/\sigma_iv_i\\ A^{\dagger}A=1_{C(A^T)}, AA^{\dagger}=1_{C(A)}$
令$b=b_A+n_N$,
其中$b_A\in C(A)$是$b$在$C(A)$中的投影，$b_N\in \mathcal{N}(A^T)=\mathcal{N}(A^{\dagger})$
此时$Ax=b_A$有解$\hat{x}=A^{\dagger}b_A$
$\hat{x}=A^{\dagger}b_A+A^{\dagger}b_N=A^{\dagger}b$
