다중 선형 회귀분석 Multiple Linear Regression 이란 무엇인가??? [빅공남! 통계 같이 공부해요]

 

다중 선형 회귀분석 Multiple LInear Regression 은 빅데이터, 머신러닝, 통계 등에서 반드시 알아야할 개념중에 하나입니다. 지난 빅공남 통계 14번 포스팅에서 단순 선형회귀(Simple Linear Regression)을 주제로 정리 했었습니다. 오늘 다중 선형회귀 분석에 앞서, 지난 14번 포스팅 링크를 첨부하겠습니다. 다중 선형회귀 유트브 공부 영상은 포스팅 맨 아래에 첨부하겠습니다.

선형 회귀분석 기초 쌓기 Linear Regression 이란 무엇인가??? [빅공남! 통계 같이 공부해요]

빅데이터 분석기사 2과목 빅데이터 탐색에서 차원 축소 를 공부하기 전에 다중 선형회귀 분석을 공부하면 좋겠다고 생각했습니다. 지난 포스팅에서 정리한 다중선형회귀분석은 결국 두변수 x,y 간의 1차 선형회귀 식을 찾아내고 x로부터 y를 예측할 수 있다는데 큰 의미가 있습니다. 지난 포스티엥서 정리한 단순 성형회귀 분석은 아래 그림과 같습니다.

1. 다중 선형 회귀분석 (Multiple, Linear?)

다중 선형 회귀 분석 Multiple LInear Regression은 말 그대로 다중 + 선형 의 회귀분석입니다. 위의 그림처럼 다중 선형 회귀분석은, Multiple이라는 말은 여러개의 변수를 의미하며, Linear 라는 말은 직선관계의 식을 의미하고 1차식을 의미합니다.

 

2. 단순(Simple) vs 다중(Multiple)?

단순 선형 회귀분석 과 다중회귀 분석의 차이를 보면 일단 원인 변수 (Feature)가 여러개 인 상황을 말합니다. 위의 그림을 보면 SImple vs Multiple에 개념이 쉽게 이해가 갈 것입니다.

 

3. 다중 선형(Linear) 회귀분석 식??

단순 회귀 분석은 y = ax+b의 식에서 직선의 기울기 a와 y절편 b를 알아내고 y를 예측하는 괴정입니다. 다중 회귀분석도 단순 회귀분석 처럼 1차식의 직선 관계의 회귀식을 찾는 과정이라고 볼 수 있습니다. 결과 y에 영향을 주는 요인이 여러개 (n개)일때 회귀식은 아래와 같이 표현이 됩니다.

3. 선형 회귀 vs 비선형 회귀??

위의 그림처럼 단순 선형 회귀는 1차식의 직선 관계를 나타냅니다. 비선형 회귀라는 것은 직선의 모양을 나타내지 않는 것을 가르킵니다. 차수가 다항함수의 차수가 2차이상 일 경우는 직선이 아니라 곡선모양으 나타냅니다. 비선형 회귀분석은 직선아 아닌 분석이고 다항 회귀분석은 비선형 회귀분석중에서도 주로 차수가 2차 이상의 차수를 가지는 경우를 의미합니다.

 

4. 다중 선형회귀 분석으로 Y 예측?

위의 그림을 보면 원인 변수가 2가지, 결과가 1가지 인 경우를 가르킵니다. 이 경우는 3가지의 변수를 3차원 그림으로 표현할 수 있습니다. Weight 와 Horsepower 가 3차원 밑면의 x,y좌표로 표현이 되고 결과 NPG가 Z좌표로 표현이 되고 있습니다. 그림상에서 색칠된 평면은 x,y의 1차식으로 표현이 되면 곡선이 아닌 2차원 평면 모양을 이루어진 것을 확인 할 수 있습니다. 1차원에서는 직선이 3차원에서는 2차원 평면이 직선 모양과 같은 형태로 표현이 됩니다. 그림에서 중요한 부분은 밑면의 x,y좌표에 의해서 높이가 결정 된다는 것입니다. 주어진 Data Set으로 다중 선형회귀식을 찾아낸 다면 결과를 예측할 수 있는 하나의 Tool이 됩니다.

 

5. 다중 선형회귀 분석의 가정?

다중 선형회귀 분석이 가능하려면 4가지 가정을 만족해야합니다. 4가지 가정에 대해서는 추후 다시 정리하도록 하겠습니다.

 

1) 정규성

2) 등분산성

3) 선형성

4) 독립(다중공선성 x)

 

6. 다중 공선성(독립) 과 차원??

여기서 중요한 점은 4번 Feature 간 독립(다중 공선성)을 만족해야하는 부분인데요.. 변수간에 상관성이 없어야 한다는 것을 의미합니다. 이는 데이터 분석에서 차원 축소와 관련된 부분입니다. Multiple Linear Regression 에서 다중이라는 말은 여러개의 변수를 의미하지만 변수간에 종속된 변수가 많다면 다시 개수를 줄여줄 수 있습니다. 여기서 차원 축소라는 개념하고 연관이 될 수 있습니다. 자세한 내용은 다음 포스팅에서 자세히 정리해보록 하겠습니다.

 

수학을 전공한 빅데이터를 공부하는 남자 빅공남은 추후 선형대수와 관련해서 쉽게 이해할 수 있는 내용을 정리해보고자 합니다. 오늘 긴 포스팅은 여기서 마치겠습니다.

[빅공남 유트브 채널 바로가기]

[빅공남! 통계 같이해요 바로가기]

[빅공남! 문과생을 위한 고등수학 13강]