User:Greeninvisibledreams/KL Divergence

Kullback–Leibler Divergence（粵拼：kau1 bek1 laai1 baa1 daai6 voe1 zen4s ，簡稱KL Divergence，亦稱relative entropy；日文：Kullback-Leiber情報量；中文：相對熵、KL散度）係其中一種成日用嘅information entropy（資訊散度），喺information theory（訊息論）呢個範疇入面係一種用嚟比較兩個probability distribution（概率分佈）嘅方法，同埋會喺啲統計模型度攞嚟計information gain（訊息增益）。

Intro

你諗吓有兩個probability distribution P同Q，P代表由某啲觀察得出嚟嘅data，而Q代表某啲攞嚟approximate P嘅model、description或者description。噉樣呢，個Kullback–Leibler Divergence就可以畀人演繹為用一個爲Q而optimize嘅code嚟encode P嘅sample所需嘅咇士數量同埋用一個爲P而optimize嘅code嚟encode P嘅sample所需嘅咇士數量依兩個數量之間嘅平均差值。

來源

Solomon Kullback 同埋 Richard Leiber喺1951介紹咗relative entropy，話佢係兩個distribution之間嘅；Kullback就鐘意discrimination information呢個啍多啲。呢個divergence有喺「Information Theory and Statistics」度討論過。

例子

Kullback喺Table 2.1, Example 2.1度畀咗以下嘅例子。我哋let P同Q做喺個table同figure度嘅distribution。P呢就係個