선형대수학 1-2. 선형방정식

참고 : K-Mooc, Mathematical Fundamentals for Data Science. 고려대학교

 

지난 포스팅에서 선형 회귀의 기본 개념에 대해서 정리했습니다. 오늘은 해당 개념들이 현실에서 어떤 식으로 사용되는지 선형 방정식을 통해 확인해보겠습니다. 

 

이전 포스팅:

1-1. Basics Elements of Linear Algebra(선형 회귀의 기본 구성요소)

 

 

 

1. Linear Equation과 Matrix 

 

Linear Equation은 실수와 변수와의 결합으로 이루어지는 데 일반적으로 다음과 같이 표현합니다.

Linear Equation

이전 포스팅에서 Matrix 간의 곱셈 계산을 배웠는데 Linear Equation 또한 그와 같이 표현할 수 있습니다. 짧게 이전 포스팅을 요약하자면 A와 B가 Matrix일 때, 'AB = C'라는 식에서 A의 rows와 B의 columns 간의 조합으로 C의 component를 구성한다는 것을 알 수 있었습니다. 또한 A의 columns와 B의 rows를 통해 C의 size가 결정된다는 것도 확인했고요. 해당 식은 일련의 a 실수와 일련의 x 변수 간의 곱으로 이루어져 있는데요. 그렇다면 다음과 같이 표현할 수 있겠네요.

 

Linear equation과 Matrix와의 관계를 확인할 수 있습니다.

 

 

 

2. Linear System Example

 

몸무게, 키, 흡연여부를 통해 사람의 수명을 예측할 수 있다고 가정해본다면 위의 자료로 다음과 같은 식을 세울 수 있죠.

해당 식을 통해서도 Matrix를 만들 수 있습니다. 이전에 예시로 들었던 'AB = C'를 다시 생각해보면 A는 Coefficients(계수) matrix, B는 변수에 해당하는 matrix, C = Life-span matrix로 생각할 수 있겠네요. 

AB = C

 

그렇다면 x를 어떻게 알 수 있을까요?

행렬에서 해당 내용을 알기 위해 우선 Identity matrix와 Inverse matrix의 개념에 대해서 알아야 합니다.

 

 

 

3. Identity Matrix와 Inverse Matrix

 

Identity Matrix : 대각선의 모든 값이 1이고 그 외의 값은 0인 Square Matrix

Inverse Matrix : 어떤 Matrix에 곱했을 때 Identity Matrix가 나오는 Square Matrix.

 

Identity Matrix

Inverse Matrix

Identity Matrix는 어떤 vector를 곱해도 그 vector의 값이 그대로 보존이 되는 특징이 있습니다. 단 vector가 R^n에 속할 때의 한해서 그렇죠.

Identity Matrix의 특징

 

다음 식은 Inverse Matrix를 구하는 법입니다.

Inverse Matrix 구하는 법

 

손으로 직접 계산하기엔 다소 어려워 보이죠. 아무튼 Identity Matrix와 Inverse Matrix의 특징을 활용해서 다음과 같은 풀이를 구할 수 있습니다.

 

 

 

4. Solving Linear System Example

 

다시 예제로 돌아와 보죠. A의 Inverse Matrix는 다음과 같이 정의할 수 있습니다. 

A의 Inverse Matrix

그렇다면 'x = (A' inverse matrix)(b)'라는 식을 통해 다음과 같이 표현할 수 있겠네요. 

즉, 위의 linear system example은 다음과 같이 표현할 수 있어요.

Life-span = (weight) x (-0.4) + (height) x (20) + (is_smoking) x (-20)

 

 

이 식을 풀기 위해서 주의할 점은 A 행렬이 invertible 하다는 점이에요. 한마디로 말해 inverse matrix가 있어야지 해당 식을 풀이할 수 있다는 거죠. square matrix라 하더라도 위의 공식에서 'ad-bc = 0'이 되면 분모가 0이어서 inverse matrix가 존재하지 않게돼요. 따라서 값이 없거나 매우 많은 값이 존재하게 되는 것이죠. 

 

rectangular matrix의 경우에는 equation과 variable의 개수 중 어느 것이 더 많은지를 비교해요. 만약 equation이 variable보다 더 많게 되면 값이 존재하지 않는 경우가 있게 되고, 이 경우에는 over-determined system이라고 불러요. 반대로 variable이 equation보다 더 많으면 이는 매우 많은 값이 존재할 수 있고, 이 경우에는 under-determined system이라고 불러요.