5 부분 공간의 기저와 차원

Goorm : AI 기술 자연어 처리 전문가 양성 과정 3기 강의
( 비슷한 강의 :인공지능을 위한 선형대수 )

를 바탕으로 공부한 내용을 요약한 포스팅입니다.

 

<키워드>

부분공간(Subspace)
기저(Basis)와 차원(Dimension)
계수(Rank) 

부분공간(Subspace)

Span과 유사한 개념 

• subset(부분집합)의 곱셈이 닫혀있다 = 유한의 집합이 있을 때 두 개의 요소를 뽑아 곱한 결과가 항상 집합에 있는 경우를 곱셈이 닫혀있다고 표현
• subspace : 3차원 공간의 전체집합 R3이 있을 때 이 전체 집합의 부분집합이며 선형 조합이 닫혀있음
• subspace의 조건
  • 벡터들의 부분집합이 있을 때 이 집합이 선형 결합이 닫혀있다 (두 개의 벡터를 뽑아서 선형 결합을 만들었을 때  집합에 들어가 있는 경우)
• 어떤 선형 결합을 해도(= 어떤 가중치를 사용해도) 다 포함되어있어야 하기 때문에 span과 유사함
• 재료 벡터를 가지고 연쇄적으로 입력의 출력이 또 입력으로 사용될 수 있음
• subspace는 재료 벡터의 span으로 항상 표현 가능

 

기저(Basis)

subspace에 요소 중 하나 basis

basis란

• 어떤 subspace에서 fully Span 하는 벡터들
• 선형 독립

subspace가 주어져있을 때(=선형 결합 닫혀있음) 그 공간 울 모두 커버할 수 있는 벡터를 기저 벡터라고 함

 

기저 벡터는 유니크할까?

기저 벡터는 유니크하지 않음

앞에서는 기저 벡터가 주어지고 span 하는 방법을 알아봤다면

지금은 span을 보고 기저 벡터를 알아볼 것

그림에서 v1과 v2도 기저 벡터가 되어 x를 만들 수 있지만 다른 벡터들로도 subspace를 커버 가능하기 때문

기저 벡터가 달라지면 subspace과 주어진 점은 똑같지만 가중치 값이 달라져서 또 다른 계수로 표현 가능

차원(Dimension)

dimension이란 subspace가 주어져있을 때 그 기저 벡터의 개수

기저 벡터가 바뀌더라도 개수는 같음

만약 3차원 벡터가 있으면 3차원 전체 공간도 subspace임

3차원 공간에서 가장 간단한 기저 벡터는 [[1, 0, 0], [0, 1, 0], [0, 0, 1]]

 축별로 길이가 1이고 수직인 기저 벡터 

기저 벡터가 바뀌면 같은 점을 나타내는 경우더라도 가중치(계수 값)가 달라짐

[1,2,3]을 표현하려면 1* [1, 0, 0] 2*[0, 1, 0] 3* [0, 0, 1]

이런 형태로 선형 결합으로 모두 표현 가능

 

 

 

Column spase

매트릭스가 주어졌을 때 컬이 많은 경우 재료 벡터로 사용되어서 선형 결합 계수로 생각했었는데

Column spase : column들이 span 하는 subspace 

어떤 행렬이 주어졌을 때 Column space 칼럼들의 span이 subspace를 만족

 

 

 

선형 의존인 column이 있는 경우

세 번째 column이 첫 두 개 column의 합으로 이루어진 행렬이 있을 때

-> 첫 번째 열과 두 번째 열을 를 span 한 것과 세 번째 span을 한 결과가 같음

따라서 세 개의 column space도 두 개의 칼럼 스페이스로 표현 가능

 

계수(Rank)

행렬의 랭크란?

랭크의 정의 : 

dimension (basis의 개수)  x Column space (column들이 span 하는 subspace) 

 

예) 어떠한 행렬(column 개수는 feature의 개수)의  4개의 column 스팬이 1개의 column span과 같을 때

• 행렬은 크지만 랭크가 작음
•  선형 의존인 column을 많이 가짐
• column이 많아 보여도 하나의 column에서 알 수 있는 정보들이기 때문에 선형 모델들에서 선형 의존인 feature들이 도움을 주지 않음
• 한 feature의 값에 영향을 많이 받게 되어 오버 피팅이 일어나기 쉬움
• 선형 의존 column이 있는 경우에도 방지하는 기법이 있음