[Exponential Family] 0. 서론

 

데이터과학의 핵심 과제 중 하나는 관심있는 시스템에 대해 외부의 노이즈에 불변하는 정보를 얼마나 효율적으로 추출하는가가 있다. 데이터의 프로세스를 담아내기 위한 과정에서 모형의 함수와 분포에 대한 가정을 하게 되는데 - 특히 예전부터 지금까지도 자주 쓰이는 분포가 지수족분포(exponential family)이고 파라미터를 추정하기 위해 최대우도추정(Maximum Likelihood Estimation, MLE)이나 그의 variant들을 직접 활용하거나 알고리즘 안에 implicit하게 내재되어있는 경우 또한 많다.

 

인공지능에서 지수족분포가 안쓰이는 경우가 많긴 하지만 - 여전히 생물통계나 사회과학 등에서는 자주 볼 수 있는데 여기서 드는 궁금증은 지수족분포가 널리 쓰일 수 있는 당위성이 무엇이냐는 것이다. 물론 달리 선택지가 없거나 다른 사람들도 많이 쓰니까 그냥 쓰는 경우가 다반사겠지만 그래도 대체로 '잘 먹히는' 이유가 무엇일까.

 

이번 주제는 지수족분포로 모형화하여 최대우도추정하는 과정이 보다 더 큰 의미를 담고있을 수 있음을 보이려고 한다.

 

주의사항 :

1. 보다 엄밀하게는 base measure을 uniform distribution으로 두고 Minimal한 지수족 분포에 대해서만 다루도록 한다.

2. 중간중간 증명들을 넣었지만 스킵해도된다 - 의미만 알아가도 재밌는 이야기거리가 되기를 기대한다.