[통계] 결합확률분포의 개념
결합 확률 분포 함수 (Joint Probability Distribution Function)
결합 확률 분포 함수는 두 개 이상의 확률 변수에 대한 확률을 정의하기 위한 함수이다. 확률 변수가 2개인 경우 어떤 집단에서의 예시를 들어보자.
- 사람이 자동차를 가지고 있는 경우의 확률 변수를 $X$로 나타내었을 때
- 가지고 있는 경우 : 1
- 가지고 있지 않은 경우 : 0
- 위와 별개로, 집단 개개인의 가족 구성원 수를 $Y$로 나타내었을 때
- 혼자사는 경우 : 1
- 둘 이상인 경우 : 2, 3, …
만약 우리가 관심이 있는 확률이 $P(X=1, Y=1)$ (혼자 사는 사람이 차를 가지고 있을 확률) 혹은 $P(X=0, Y=3)$ (3인 가구가 차를 가지고 있지 않을 확률) 등 이라면, 각 확률 변수별 확률 분포 함수 $f(x), f(y)$만으론 알 수 없다.
따라서 우리는 $X$와 $Y$의 모든 값들에 대한 모든 확률을 표현하는 새로운 확률 분포 함수를 생각해야만 한다. 이처럼 $X, Y$의 조합에 대한 확률을 ‘결합 확률’이라고 부르며, 결합 확률을 구하기 위한 함수를 ‘결합 확률 분포 함수’ 라고 부른다. 이전과 마찬가지로 확률 변수가 이산형이냐, 연속형이냐에 따라 표현하는 방법이 조금씩 달라진다.
이번 포스팅에선 이산형에 대해서만 간단히 다뤄본다.
결합 확률 질량 함수 (Joint Probability Mass Function)
두 개의 이산형 확률 변수 $X, Y$가 있고, $\forall x \in X, \forall y \in Y$일 때, 모든 가능한 $(x, y)$의 조합에 대해 $f(x, y) = P(X=x, Y= y)$를 만족하는 함수를 ‘결합 확률 질량 함수 (연속형 : 결합 확률 밀도 함수)’라고 부르며 아래와 같은 성질을 만족한다.
\[1. \ 0 \leq f(x, y) \leq 1 \\ 2. \sum_{all \ x}\sum_{all \ y} f(x, y) = 1\]예를 들어보자.
위 표는 이산형 확률 변수 $X, Y$의 결합 확률을 나타내는 표이다.
$X$ = 10 이고, $Y$ = 1 인 확률은 $f(10, 1) = P(X=10, Y=1) = 0.4$로 읽을 수 있다. 결합 확률도 마찬가지로 확률의 성질을 가지므로, 모든 경우의 확률을 다 더하면 1이 됨을 알 수 있다. (0.4 + 0.2 + 0.1 + 0.3 = 1)
주변 확률 분포 (Marginal Probability Distribution)
확률 변수 $X, Y$의 결합 확률 질량 함수 $f(x, y)$를 이용하면 $X, Y$ 각각의 확률 질량 함수를 유도할 수 있다. 이 경우의 각 확률 변수의 확률 질량 함수 $g(x)$와 $h(y)$를 ‘주변 확률 질량 함수 (연속형 : 주변 확률 밀도 함수)’ 라고 부른다.
위 표를 통해서 예를 들어본다. 만약 $X=10$이 나올 확률이 궁금하다면, $X=10$이 나오는 모든 경우의 확률, 즉, $X = 10$이 나올 수 있는 모든 $Y$의 경우를 다 더하기만 하면 된다. 따라서,
\[g(10) = f(10, 1) + f(10, 2) = 0.4 + 0.1 = 0.5\\g(20) = f(20, 1) + f(20, 2) = 0.2 + 0.3 = 0.5\]임을 알 수 있다. $Y$에 대해서도 동일한 방법으로 확률 함수를 구할 수 있다.
\[h(1) = f(10, 1) + f(20, 1) = 0.4 + 0.2 = 0.6\\h(2) = f(10, 2) + f(20, 2) = 0.1 + 0.3 = 0.4\]정리하면,
\[g(x) = \begin{cases} 0.5 \quad x=10 \\ 0.5 \quad x=20 \end{cases} \qquad h(x) = \begin{cases} 0.6 \quad y=1 \\ 0.4 \quad y=2 \end{cases}\]와 같고 $g(x), h(y)$는 표에서 주변, 가장자리를 이용하여 정보를 얻을 수 있기 때문에 주변 확률 질량 함수란 이름이 붙여졌다.
조건부 확률과 독립
마지막으로 결합 확률 분포의 조건부 확률과 독립에 대해서 이야기한다.
위 표에서 $Y=1$라는 사실을 알고 있을 때, $X=10$일 확률을 구하는 상황을 가정해보자. 이 때 $P(X=10)$의 값은 더 이상 0.5가 아니다.
우선 $Y=1$일 경우로 표본 공간을 축소하고, 해당 공간 내에서 $X=10$일 확률이 얼만큼의 비율을 차지하고 있는지를 알아야 한다.
위 표에서 $Y=1$로 표본 공간을 축소하고 그 안에서 $X=10$이 차지하는 비율을 구해야 한다. 이를 수식으로 쓰면 아래와 같다.
\[\begin{align} P(X=10 | Y=1) & = \frac{P(X=10, Y=1)}{P(Y=1)} \nonumber \\ & = \frac{P(X=10, Y=1)}{P(X=10, Y=1) + P(X=20, Y=1)} \nonumber \\ & = \frac{0.4}{0.4 + 0.2} \nonumber \\ & = \frac{2}{3} = 0.66 \nonumber \end{align}\]따라서, $Y=1$일 때, $X = 10$일 확률은 0.66(내림)임을 알 수 있다. 이를 통해 $Y=y$일 때, $X=x$일 조건부 확률을 아래와 같이 쓸 수 있다.
\[P(X=x | Y=y) = \frac{P(X=x, Y=y)}{P(Y=y)}\]그렇다면, 두 확률 변수 $X$와 $Y$는 독립인가? 두 확률 변수가 독립이라고 말하기 위해서는 모든 $x \in X, y \in Y$에 대해서 아래 조건 중 하나만 만족하면 된다. (두 조건은 서로 동치이다.)
\[\begin{align} 1. \quad & P(X=x | Y=y) = P(X=x) \nonumber \\ 2. \quad & P(X=x, Y=y) = P(X=x]P(Y=y). \nonumber \end{align}\]다시 말하면, $X = x$일 확률이 $Y=y$로 축소된 표본 공간에서의 $X=x$일 확률과 같다면, $X$와 $Y$는 서로 독립이라고 말한다.
따라서, 위 경우에서 $P(X=10|Y=1)=0.66 \neq P(X=10) = 0.5$이므로 두 확률 변수 $X$와 $Y$는 서로 독립이 아니다.
댓글남기기