[Information Bottleneck] 4. IB의 의의와 필자 생각

 

12. IB를 직접 구현하는 방법들이 존재하지만 특정 모형(특히 compression함수가 포함된 경우)이 왜 잘 작동하는지 알기 위한 돋보기로써 쓰이기도 한다. 가령 신경망 모형이 잘 작동하는 이유를 IB도구를 활용하여 알아보는 논문들이 그런데, 관심있는 분들은 다음의 논문을 참고해도 될 것 같다 :

(1) Tishby, Naftali, and Noga Zaslavsky. "Deep learning and the information bottleneck principle." 2015 ieee information theory workshop (itw). IEEE, 2015.

(2) Shwartz-Ziv, Ravid, and Naftali Tishby. "Opening the black box of deep neural networks via information." arXiv preprint arXiv:1703.00810 (2017).

 

 

13. 사실 필자가 IB를 공부한 이유가 방법론 자체를 활용하기 위함이 아니라 데이터과학에 대한 직관력을 기르기 위해서였다.

클러스터링, 필터링, 차원축소, 구조방정식 등등 관측변수를 제외한 변수(잠재변수)를 포함된 모델링에서 볼 수 있는 공통점은 어떤 시스템의 불변하는 정보를 파악하기 위해 기저 방정식을 변수들간의 관계로 정립하고 관측데이터로부터 배운다는 것.

이들 모두 시스템 외부에서 가해지는 각종 노이즈에도 불구하고 항상 안정적으로 유지되는 정보만을 추출하고자 하는 목적을 가지고 있는데 이를 정보이론 관점에서 나이스하게 해결하고자 한게 IB의 목표였던 것이다.

 

우리가 바라보는 세상과 사회 속의 각종 현상에서 필요한 정보만 캐내어 원하는 목적을 ''효율적''으로 이루고자하는 - 수 세기 이전부터 존재해온 인간의 욕구가 현대에는 데이터과학이라는 이름으로 전개되고 있음도 새삼 깨닫게 되었다.