1.3. Orthogonal Decompositions

매우 중요

Theorem

Let \(V\) be a subspace of \(\mathbb{R}^n\) with orthogonal projection \(P\), and let \(V_1,\ldots,V_k\) be subspaces of \(V\) with orthogonal projections \(P_1,\ldots,P_k\).

If \(V=V_1\oplus\cdots\oplus V_k\) (orthogonal decomposition of \(V\)), then

1. \(P=P_1+\cdots+P_k\)

   (so for \(y \in V\), \(y=Py=P_1y+P_2y+\cdots+P_ky=y_1+y_2+\cdots+y_k\).)

 

2. \(\text{dim}(V)\)=\(\text{dim}(V_1)+\cdots+\text{dim}(V_k)\).

 

• 결론은, 만약 subspace \(V\)가 \(V_1, V_2, \ldots, V_k\)의 Direct sum(공간의 교집합이 0벡터인 subspace들로 split)으로 Decompose 된다면,
  1. Data vector도 Decompose되고
  2. Projection도 Decompose되고
  3. Dimension도 Decompose된다.

  

매우 중요

Theorem

If \(A_1,\ldots,A_k\) are symmetric matrices satisfying any two of the following, then they also satisfy the third.

1. \(A_i\) is idempotent for all \(i\);

2. A:= \(\sum_{i=1}^{k}A_i\) is idempotent;

3. \(A_iA_j=0\) for \(i\ne j\).

In this case, let \(V_i=\text{range}(A_i)\). Then, \(V_i \perp V_j\) for \(i \ne j\), and \(\sum_{i=1}^kA_i\) is the orthogonal projection onto \(V=V_1\oplus\cdots\oplus V_k\).

  

• 만약 1번 조건이 충족되었다고 하자. 그렇다면 A들은 orthogonal projection이 된다. 즉, orthogonal projection들이 각각의 곱이 0이거나, sum이 projection이거나 둘중의 하나를 만족하면 이들은 Direct sum condition을 만족한다.

   

Proposition

Iif \(V\) and \(W\) are two subspaces, then \[ V \perp W \iff P_V P_W=0. \]

• 양 옆에 arbitrary vector \(v_1, v_2\)를 곱하면 증명이 가능할 것이다.

  

Proposition

Let \(U\) and \(W\) be two subspaces. Then, \[ P_UP_W= P_{U\cap W} \iff P_UP_W= P_WP_U, \] where \(P_{U\cap W}\) is orthogonal projection onto \(U\cap W\).

• 쉽게 \(P_{U\cap W} = P_{U\cap W}'= P_{W\cap U}\)(intersection이기 때문) 라고 생각하면 편하게 이해할 수 있다.

  

Proposition

Let \(V, U, W\) be three subspaces. Then,

\(P_U=P_V-P_W\iff W\subset V \mbox{ and } U=V\cap {W^\perp}\).

• 여기서 V는 큰 subspace, W, U는 V안의 작은 subspace들이다. \(P_U=P_V-P_W\)를 \(P_U+P_W=P_V\)로 생각해보자. P_U와 P_V는 symmetric하고 idempotent하며, 그들의 합인 P_V도 symmetric, idempotent하다. 즉 V는 U와 W의 Direct sum이다. (\(V=U\oplus W\)). 이는 \(U\)는 \(W\)의 orthogonal complement라는 의미가 된다 (\(U=W^\perp\)).

  

Proposition

If \(P\) is a projection, then

1. its eigenvalues are all \(1\) or \(0\).

• 일단 \(v\ne 0\)에 대해 \((P-\lambda I)v\)=0라고 하자. 이는 \(\lambda v=Pv=P^2v=P\cdot Pv = \lambda^2 v\)를 만족한다.

 

2. There exists an orthogonal \(\Gamma\) such that \(P=\Gamma D \Gamma'\) where \(D\) is diagonal \(0-1\) matrix.

• 1번 컨디션에 의해 매우 당연하게 받아들여진다.

 

3. \(\text{tr}(P)=\text{tr}(D)=\text{rank}(D)=\text{rank}(P)\)

• 1번째, 2번째 equalities는 trivial하다. 3번째 equality는 \(\text{rank}(D)=\text{rank}(\Gamma'\Gamma D \Gamma'\Gamma)\le \text{rank}(\Gamma D \Gamma')(=\text{rank}(P))\le\text{rank}(D)\)에 의해 보일수 있다.

• 즉 \(\text{tr}(p)=\text{rank}(P)\)라는 것이다 (Trace와 rank값이 같다).

  

Proposition

If \(A_1,A_2,\ldots A_k\) are projection matrices whose parewise products are all 0, then there is a single orthogonal matrix \(\Gamma\) s.t. \[ D_i=\Gamma'A_i\Gamma\mbox{ }\mbox{ } \mbox{ for all } i. \] * 각각의 direct sum space \(V_i\)의 Projection \(A_i\)에 대해, 대각행렬 \(D_i\)가 같은 location에서 원소 1값을 동시에 갖지 않는다고 가정하자. 그렇다면 \(D=\sum_{i=1}^k D_i\)를 원소 1과 0만을 갖는 대각행렬이 되고, \(\sum_{i=1}^kD_i=D=\Gamma (\sum_{i=1}^k A_i) \Gamma'\)를 만족한다. 대각행렬 \(D_i\)가 같은 location에서 원소 1값을 동시에 갖지 않기 때문에, \(D_i=\Gamma A_i \Gamma'\)이다.

  

Theorem

If \(A_1,\ldots,A_k\) are symmetric matrices satisfying any two of the following, then they also satisfy the third.

1. \(A_i\) is idempotent for all \(i\);

2. A:= \(\sum_{i=1}^{k}A_i\) is idempotent;

3. \(A_iA_j=0\) for \(i\ne j\).

In addition,

A. \(\text{rank}(A)=\sum_{i=1}^k \text{rank}(A_i)\);

B. There exists an orthogonal matrix \(\Gamma\) such that \(D=\Gamma'A\Gamma\), and \(D_i=\Gamma'A_i\Gamma\) for \(i=1,\ldots,k\) satisfy * \(D,D_1,\ldots,D_k\) are diagonal \(0-1\) matrices; * \(D=\sum_{i=1}^k D_i\); * \(D_iD_j=0\) for \(i\ne j\).

• A: 2번 조건으로 \(\text{tr}(A)=\text{tr}(\sum_{i=1}^{k}A_i)= \sum_{i=1}^{k}\text{tr}(A_i)\)를 얻을 수 있다 \((\text{tr}(A+B)=\text{tr}(A)=\text{tr}(B))\).
• B: 행렬 \(A\)와 \(A_i\)들은 projection 이기 때문에 1또는 0의 eigenvalue들을 갖는다. 나머지는 바로 위 theorem의 comment 참고.