[Notable] 다중공선성(Multicollinearity)

다중공선성(Multicollinearity) 이란?

: 회귀 분석에서 독립 변수들 간에 강한 상관관계가 존재하는 경우를 의미합니다. 다중공선성이 심하면 회귀 계수의 신뢰성이 낮아지고, 예측 모델의 해석이 어려워진다.

 

다중공선성이 문제를 일으키는 이유

• 회귀 계수의 불안정성
  • 독립 변수들이 강한 상관관계를 가지면, 하나의 변수를 조금만 변경해도 회귀 계수가 크게 변할 수 있습니다.
• 해석의 어려움
  • 어떤 독립 변수가 종속 변수에 실제로 영향을 미치는지 파악하기 어려워집니다.
• 통계적 유의성 문제
  • 회귀 계수의 p-value 가 높아져 유의하지 않게 나타날 수 있습니다.

 

다중공선성 예시

1. 실생활 예시: 부동산 가격 예측

아파트 가격을 예측하는 회귀 모델을 만든다고 가정해 봅시다. 독립 변수로 다음을 포함한다고 가정합니다.

• 전용면적 (㎡)
• 방 개수
• 거실 개수

여기서 "전용면적"과 "방 개수"는 높은 상관관계를 가질 가능성이 큽니다. 방이 많을수록 보통 전용면적도 커지기 때문입니다. 이 경우 다중공선성이 발생할 수 있습니다.

2. 수학적 예시: 회귀 모델에서의 다중공선성

아래와 같은 회귀 방정식을 고려해 봅시다.

여기서,

• Y : 아파트 가격
• X1​ : 전용면적
• X2​ : 방 개수

만약 X2​가 X1과 높은 상관관계를 가지면, 회귀 모델에서 다중공선성이 발생할 수 있습니다. 다중공선성을 측정하는 방법 중 하나로 VIF (Variance Inflation Factor, 분산팽창계수)를 사용할 수 있습니다.

 

다중공선성 해결 방법

1. 상관관계가 높은 변수 제거
   • 하나의 변수를 제거하여 다중공선성을 완화할 수 있습니다.
   • 예: "전용면적"과 "방 개수"가 높은 상관관계를 가진다면, 둘 중 하나를 제거.
2. 변수 변환 (차원 축소)
   • PCA(주성분 분석) 등을 사용하여 다중공선성이 높은 변수를 하나의 새로운 변수로 축소할 수 있습니다.
3. 정규화 방법 사용
   • 릿지 회귀 (Ridge Regression)와 같은 정규화 기법을 사용하면 다중공선성을 완화할 수 있습니다.