玻茲曼機

玻茲曼機（粵拼：bo1 zi1 maan6 gei1；英文：Boltzmann machine）係一種隨機性遞迴神經網絡（stochastic recurrent neural network）。一部玻茲曼機啲細胞之間有對稱性連繫，而每一粒細胞都會用帶有隨機性嘅演算法決定係咪要啟動。即係話：

一部有 7 粒細胞嘅玻茲曼機；呢部玻茲曼機有 3 粒隱藏細胞（柞 $h_{i}$）同 4 粒隱藏細胞（柞 $v_{i}$）。

$z_{i}=b_{i}+\sum _{j}s_{j}w_{ij}$ ；$[1]$

$\Pr(s_{i}=1)={\frac {1}{1+e^{-z_{i}}}}$；$[2]$

當中 $z_{i}$ 係第 $i$ 粒神經細胞收到嘅輸入值；$b_{i}$ 係偏向（bias；細胞 $i$ 本身嘅啟動偏向）；$s_{j}$ 係第啲細胞當中第 $j$ 粒嘅狀態（數值只可以係 1 或者 0），而 $w_{ij}$ 係由細胞 $j$ 去細胞 $i$ 嘅權重。$\Pr(s_{i}=1)$ 係指「$s_{i}$（細胞 $i$ 嘅狀態）等如 1 嘅機會率」，而根據 $[2]$，$\Pr(s_{i}=1)$ 數值取決於 $z_{i}$ 。

有唔少理論性嘅認知科學（cognitive science）研究者都對玻茲曼機嘅行為同特性感興趣：玻茲曼機嘅訓練演算法通常會跟從海伯定律（Hebb's rule）－簡單講就係邊對細胞愈傾向同時啟動，兩者之間嘅權重就會愈強，而且玻茲曼機並唔似得一般人工神經網絡噉吓吓都分層；呢啲特性令到玻茲曼機（同一般嘅人工神經網絡比）更加似生物神經網絡，所以有唔少認知科學會用玻茲曼機嚟模擬心靈相關嘅現象（睇埋聯結主義），進行理論性嘅研究。

另一方面，玻茲曼機都有實用價值：雖然啲人對玻茲曼機嘅興趣好多時集中於玻茲曼機嘅理論特性，但機械學習（machine learning）上嘅研究說明咗，只要有適當嘅訓練演算法，玻茲曼機亦都有可以有足夠嘅效率，有可能攞嚟做某啲實際嘅應用。

結構

玻茲曼機嘅構造可以用四條式總括：

$z_{i}=b_{i}+\sum _{j}s_{j}w_{ij}$；$[1]$

－是但搵部玻茲曼機入面嘅一粒細胞 $i$，佢嘅輸入值（$z_{i}$）由佢嘅偏向值（$b_{i}$；可以喺初始化嗰陣設做隨機數值）以及第啲細胞（$s_{j}w_{ij}$）嘅狀態話事。

$\Pr(s_{i}=1)={\frac {1}{1+e^{-z_{i}}}}$；$[2]$

－嗰粒細胞跟住落嚟狀態變成「啟動」（$s_{i}$ 變成 1）嘅機會率（$\Pr(s_{i}=1)$）係個輸入值（$z_{i}$）嘅函數。

$E(\mathbf {v} )=-\sum _{i}{s_{i}}^{\mathbf {v} }b_{i}-\sum _{i<j}{s_{i}}^{\mathbf {v} }{s_{j}}^{\mathbf {v} }w_{ij}$；$[3]$

－設 $\mathbf {v}$ 做代表嗰個網絡喺某一時間點嘅狀態嘅向量，而 ${s_{i}}^{\mathbf {v} }$ 係指細胞 $i$ 喺 $\mathbf {v}$ 之下嘅狀態。$\mathbf {v}$ 所具有嘅「能量」（energy；$E(\mathbf {v} )$）就等如條式右手邊嗰個數。

$\Pr(\mathbf {v} )=e^{-E(\mathbf {v} )}/\sum _{\mathbf {u} }e^{-E(\mathbf {u} )}$；$[4]$

－如果個網絡啲細胞係噉以任何次序更新，而次序唔受佢哋嘅總輸入影響，個網絡最終會達致一個平衡情況（equilibrium；可以睇埋玻茲曼分佈）；喺呢個情況當中，任何一個可能嘅狀態向量 $\mathbf {v}$，$\mathbf {v}$ 出現嘅機會率由「$\mathbf {v}$ 嘅能量」同「所有其他可能狀態向量（$\mathbf {u}$）嘅能量嘅總和」呢兩個數之間嘅比例話事。

睇埋

• 人工神經網絡
• 遞迴神經網絡
• 受限玻茲曼機
• 隨機神經網絡
• 海伯理論
• 玻茲曼分佈

參考文獻

• Hinton, G. E.; Sejnowski, T. J. (1986). D. E. Rumelhart; J. L. McClelland (eds.). "Learning and Relearning in Boltzmann Machines" (PDF). Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations: 282–317. Archived from the original (PDF) on 2010-07-05.
• Hinton, G. E. (2002). "Training Products of Experts by Minimizing Contrastive Divergence" (PDF). Neural Computation. 14 (8): 1771–1800. CiteSeerX 10.1.1.35.8613. doi:10.1162/089976602760128018. PMID 12180402.
• Hinton, G. E.; Osindero, S.; Teh, Y. (2006). "A fast learning algorithm for deep belief nets" (PDF). Neural Computation. 18 (7): 1527–1554. CiteSeerX 10.1.1.76.1541. doi:10.1162/neco.2006.18.7.1527. PMID 16764513.

拎

• Scholarpedia article by Hinton about Boltzmann machines.
• Talk at Google by Geoffrey Hinton.