聯合熵

聯合熵（粵拼：lyun4 hap6 soeng1；英文：joint entropy；符號：$S(X,Y)$）係指兩個隨機變數 X 同 Y 嘅共同訊息熵。條式係噉嘅：

$S(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=$

$-\sum _{x,y}p(x,y)\log p(x,y)$；

當中 $p(x,y)$ 係指「X 數值等如 x 而同時 Y 數值等如 y 嘅機會率」，而成條式道理同基本嗰條訊息熵式道理一樣，都係諗嗮所有可能性，將每個可能性嘅機率乘以個機率嘅對數，跟手再將所有可能性嘅呢個數加埋一齊。假如 X 同 Y 係獨立（其中一個數值係乜唔會影響另一個數值係乜）嘅，佢哋嘅聯合熵會等同佢哋各自嘅訊息熵相加，噉係因為當兩件事件係獨立嗰陣，以下呢條式會成立：

$p(x,y)=p(x)p(y)$；

$\log ab=\log a+\log b$；喺數學上已知，所以綜合呢兩條式，

$\log p(x,y)=\log p(x)+\log p(y)$。