행렬을 다른 행렬들로 분해(Decomposition)하는 방법은 다양합니다.
LU분해
QR분해
대각화
등등..
특이값 분해(SVD)는 대각화가 nxn 정방행렬만 가능한 것과 달리, 일반적인 mxn 행렬에 대해서 수행할 수 있습니다.
Singular Value Decomposition (SVD)는 행렬을 특이값과 특이벡터를 이용하여 분해하는 방법으로, 선형대수학 및 데이터 분석에서 중요한 도구입니다. SVD는 임의의 m×n 행렬 𝐴를 다음과 같이 세 개의 행렬의 곱으로 분해합니다:
여기서 U, Σ, V 는 다음과 같습니다.
시그마는 그리스 문자로, 소문자가 σ , 대문자가 Σ입니다.
여기서 특이값(Singular Value)란 소문자σ 를 의미합니다.
특이값은
의 고유값에 루트를 씌운 것이며,
의 고유값에 루트를 씌운 것과도 같습니다.
즉
의 고윳값을 λ1, λ2, .. 라 할 때 다음 관계가 성립합니다.
> 특이값σ은 0보다 큰 값이며, 아래 조건을 따라 가 Σ가 구성됩니다.
V는
의 고유벡터(Eigenvector)로 만든 직교행렬
U는
의 고유벡터로 만든 직교행렬 입니다.
Applications of SVD
1. 차원 축소(Dimensionality Reduction):
- SVD는 데이터의 중요한 구조를 유지하면서 차원을 줄이는 데 사용됩니다. 예를 들어, Σ의 상위 𝑘개의 특이값과 대응하는 𝑈와𝑉의 열 벡터만을 사용하여 근사 행렬 𝐴𝑘 를 만들 수 있습니다.
- 이는 Latent Semantic Analysis(LSA)와 같은 정보 검색 및 자연어 처리 분야에서 많이 사용됩니다.
2. 노이즈 제거(Denoising):
- SVD는 이미지와 같은 데이터에서 노이즈를 제거하는 데 사용됩니다. 큰 특이값에 해당하는 구성 요소는 중요한 정보로 간주되고, 작은 특이값에 해당하는 구성 요소는 노이즈로 간주되어 제거될 수 있습니다.
3. 행렬 연산(Matrix Operations):
- SVD는 행렬의 역행렬이나 유사역행렬(pseudo-inverse)을 계산하는 데 유용합니다. 특히, 역행렬이 존재하지 않는 비정규 행렬의 경우에도 유사역행렬을 구할 수 있습니다.
4. 조건수 계산(Condition Number Calculation):
- SVD를 사용하여 행렬의 조건수를 계산할 수 있습니다. 조건수는 행렬의 특이값 중 최대값과 최소값의 비율로 정의됩니다. 이는 행렬의 안정성과 수치적 문제의 민감도를 나타냅니다.
How?
실질적으로 SVD를 수행하는 순서는 다음과 같습니다.
SVD의 계산 예
예를 들어, A가 다음과 같은 3×2 행렬이라고 하겠습니다:
> V를 먼저 구하고 U를 구하는 순서로 진행되는데 실질적으로 U를 구할 때, 만약 특이값이 0이 나오지 않았다면 AAt의 고유값을 직접 구하기보다 아래 공식을 사용해서 빠르게 구합니다.
V의 열벡터들을 vi, U의 열벡터들을 ui, 대응되는 특이값을 σi 라 할 때, 다음이 성립합니다.
위 문제의 경우 두 번째 특이값이 0이기 때문에 u1만을 위 공식으로 빠르게 구할 수 있습니다.
> 만약 특이값 행렬 Σ의 역행렬이 존재한다면 다음 공식을 사용할 수도 있습니다.
Example
행렬 A에 대하여 특이값분해를 수행하여라
☕ 커피 한 잔보다 싼 선형대수학 모의고사 ☕
잘 공부하고 있는지 확인하실 수 있도록
기말고사를 대비할 수 있는 가벼운 모의고사를 준비했습니다.
✅ 커피 한 잔보다 싼 3,900원
✅ 총 12문제, 상세한 해설 포함 (20p가량)
✅ 문제와 해설 모두 한국어입니다.
✅ 출제단원
- 연립방정식
- LU분해
- 그람-슈미트 과정
- QR분해
- 고유값과 고유벡터
- 역행렬
- 특잇값 분해(SVD)
🚫 본 모의고사는 시험 대비 및 복습용으로 제작되었습니다.
🚫 자료의 무단 배포 및 판매 시 저작권법에 의한 처벌을 받을수 있습니다
🚫 전자책 특성 상 환불이 불가합니다.
✉️ 질문 및 기타 문의는 hyonklee@gmail.com
시험지 샘플입니다.
해설 샘플입니다.
'MATHEMATICS > 선형대수학' 카테고리의 다른 글
| [선형대수학] 행렬의 인수분해로 역행렬 구하기 (0) | 2024.11.26 |
|---|---|
| [선형대수학] 선형방정식, 연립방정식 예제 (0) | 2024.04.23 |
| [선형대수학] 회전행렬(Rotation matrix), 회전변환 (0) | 2023.12.28 |
| [선형대수학] 고윳값, 고유벡터부터 대각화, 스펙트럼 분해까지 (1) | 2023.12.12 |
| [선형대수학] 최소제곱법 (Method of Least Squares) (0) | 2022.08.17 |