[ML 확률과 통계] 확률 변수와 확률 분포

오늘은 '확률 변수' 와 '확률 분포'에 대해서 정리해보도록 하자.

 

 

확률에 대해서 이해하기 위해서는 먼저 시행(trial)과 사건(event)를 이해해야한다.

예를들어,

주사위를 던져서 특정 눈금값을 구한다

 

라는 행위를 할때, 주사위를 던지는 행위는 '시행(trial)'이라고 할 수 있고, 그 결과로 나온 눈금값이 나온 결과를 '사건(event)'라고 정의할 수 있다.

즉, '확률'이라는 것은 '어떤 사건이 일어날 가능성'을 수치로 표현한 것이다.

 

첫번째 알아볼 개념 : 확률변수(Random Variable)와 확률 함수

확률변수란 '시행(trial)할 때마다 변할 수 있는 값'을 의미한다.

그리고 '확률 함수'란 각 확률변수에 따라서 '확률 값'을 부여하는 함수를 의미한다.

이때, 확률함수는 일반적으로 'P'라고 표현한다.

예시를 수식으로 표현해보자.

주사위를 던질(시행)때, 눈금이 3이 나올(사건) 확률은 1/6(확률값) 이다.

이를 수식으로 표현하면 

"P(X=3) = 1/6" 

으로 표현할 수 있다.

 

두번째 알아볼 개념 : 확률분포(Probability Distribution)

먼저, 발생가능한 모든 사건들의 집합(전체집합)을 '표본 공간(sample space)'라고 한다.

이 표본공간에서 시행에 의해서 사건이 일어날 경우, 그 사건에 해당하는 변수가 '확률변수'인것이다.

 

여기서 확률 분포(probability distribution)란, 각 사건에 어느정도의 확률이 할당되었는지 표현한 정보를

의미한다.

즉, 주사위를 던졌을때, 1이 일어날 확률, 2가 일어날 확률, 3이 일어날 확률 ...6이 나올 확률에 대한

각각의 값들을 표현한 정보를 의미한다.

보통의 데이터에서 확률 분포를 시각화하면 아마도, 아래와 같이 표현될 것이다.

 

그리고, 확률변수 X에,  변수 'X'가 발생할 확률, 즉 X에 대한 확률분포를 대응시키는 함수를 '확률분포함수'라고 한다.

즉, 확률분포함수를 위 확률분포라는 개념과 함께 정의하면,

모든 사건에 대해 확률 분포 함수를 적용하고 그 결과값 들을 모아서 표현한 것을 '확률 분포'라고 이해할 수 있다.

[참고]

확률 분포 그 자체를 함수로 보고, 확률분포함수 'P'와 같은 의미로 쓰기도 한다.

 

 

자 이제, 확률분포에 대해서 조금 더 깊게 들어가보자.

먼저, 확률분포는 다시 이산확률분포와 연속확률분포 두가지의 확률분포로 나눠서 정의할 수 있다.

 

세번째 알아볼 개념 : 이산확률분포와 연속확률분포

먼저, 이산확률분포란, 확률변수 X의 개수(나올 수 있는 변수)가 셀 수 있을 때, 이를 '이산확률변수'라하고, 그 분포는 '이산확률분포' 라고한다. 반대로 확률변수를 셀 수 없다면 '연속확률변수'라하고, 그 분포를 '연속확률분포' 라고 한다.

 

그리고 위 확률분포를 계산하는 가장 대표적인 학률 분포 함수로 아래 2가지 함수가 있다.

1) 확률질량함수

2) 확률밀도함수

각각 이산확률변수와 연속확률변수, 어느쪽의 확률을 계산하는가에 따라 위 함수를 각각 구분하여

사용하게 된다.

 

먼저, 확률질량함수는 이산확률변수가 특정한 값을 가질 확률을 출력하는 함수이다.

즉, 확률질량함수는 이산확률분포를 표현하기위해 사용하는 확률분포함수로 이해할 수 있다.

예를들어, 동전 2개를 동시에 던지는 시행에서 두 눈금의 합을 X라고하자.

이때, X는 이산확률변수로, 확률질량함수 f(x)는 다음과 같이 정의할 수 있다.

 

• f(0) = P(X=0) = 1/4
• f(1) = P(X=1) = 1/2
• f(2) = P(X=2) = 1/4

이를 확률변수 X에 대한 '확률질량함수'라는 의미로 fx(X)라고 표기하기도 한다.

 

딥러닝에서 사용되는 확률질량함수의 예시를 몇가지 살펴보자.

가장 대표적인 예시로 classification model을 들 수 있는데, 분류모델의 출력은 확률분포에 해당한다.

 

이때, 위 classification model을 '확률질량함수'로 이해할 수 있으며, 확률분포는 아래와 같이 나타낼 수 있다.

 

두번째, 연속확률변수의 예시로는 '키, 달리기성적, 몸무게 ...'와 같은 변수들을 예로 들 수 있다.

예를들어, 사람의 키는 실수 값을 가지기 때문에, 값의 개수를 셀 수 없다.

따라서, 키가 정확히 173.32945...일 확률일 얼마일까? 라는 문제를 풀고자할 때, 

키가 170이상 175 미만일 확률을 구하는 방식으로 결과를 구할 수 있다. 이런 방식을 확률밀도함수라고 한다.

즉, 확률밀도함수란 연속확률변수가 주어진 구간내에 포함될 확률을 출력하는 함수를 의미한다.

 

확률밀도함수의 예시

 

 

 

마치며

오늘은 확률분포와 확률변수에 대해서 기본적인 개념들을 정리해보았다.

머신러닝 모델로써 문제를 해결하고자할 때, 목표값이 될 확률변수라는 개념과 머신러닝 모델이 결과를 도출하는 방식인 확률분포에 대해서

개념적으로 정리할 수 있었다.

다음에는 이산확률분포와 연속확률분포에 대해서 조금 더 깊게 살펴보고 이해해보도록 해보도록 하자.