Independent(독립)와 Uncorrelated(상관 관계 없음) 알아보기

Independent(독립)

두 랜덤 변수의 Joint Probability(결합 확률)가 각 변수의 Marginal Probability(주변 확률)로 표현되는 경우를 의미한다.

$$P(X,Y)=P(X)P(Y)$$

 

Uncorrealted(상관 관계 없음)

두 랜덤 변수 사이 Correlation 관계가 없음을 의미하며, Correlation ($\rho_{X, Y}$) 가 0 인 경우이다. Correlation ($\rho_{X, Y}$) 은 두 변수 사이 선형적 관계를 보여주는 지표로, Covariance(공분산)을 각 변수의 표준 편차로 정규화한 값이다.

$$\begin{align*}\rho_{XY} &= \mathbf{E}\left[\frac{X-\mathbf{E}[X]}{\sqrt{\mathbf{E}[(X-\mathbf{E}[X])^2]}}\frac{Y-\mathbf{E}[Y]}{\sqrt{\mathbf{E}[(Y-\mathbf{E}[Y])^2]}}\right]\\ &= \frac{cov(X,Y)}{\sigma_X\sigma_Y}.\end{align*}$$

$\rho_{X, Y}=0$ 이 되려면, 공분산이 0 이 돼야 한다. 공분산의 정의는 아래 수식과 같기 때문에, 결국 Uncorrelated는 $E(XY)=E(X)E(Y)$를 의미한다.

$$\begin{aligned} Cov(X,Y) &=E((X-E(X))(Y-E(Y))) \\ &=E(XY-E(Y)X-E(X)Y+E(X)E(Y)) \\ &=E(XY)-E(X)E(Y) \end{aligned}$$

 

Independent vs Uncorrealted

두 변수가 Independent한 경우, 변수 사이 어떠한 관계도 존재하지 않는다.

하지만 Uncorrealted는 두 변수 사이 선형 관계만 보여준다.

그래서 두 변수가 Indepedent일 경우 Uncorrelated 이지만, 그 역은 성립하지 않는다.

 

둘 사이 관계를 벤다이어그램으로 표현하면 아래와 같다.

---

참고

dependence와 correlation의 차이

Independent and Uncorrelated