ID3

ID3（全名係 Iterative Dichotomiser 3）係機械學習上一種用嚟建構決策樹嘅演算法。虛擬碼如下：

計吓成個數據庫嘅 information entropy（訊息熵；簡單啲講就係指柞數據有幾接近完全隨機）

For 每一個用嚟做預測嘅變數
    計吓用咗佢分類之後嘅總 entropy
    計吓用咗佢分類之後嘅總 entropy 同成個數據庫嘅 entropy 差幾多（information gain）

揀 information gain 最高嗰個變數嚟分類

For 每一個分咗嘅類，用嗰個類內嘅個案做數據庫，做多次上述嘅過程，直至用嗮所有用嚟做預測嘅變數，或者到咗指定嘅分枝數上限為止。

睇埋

• 訊息熵