雙向遞迴網絡

雙向遞迴網絡（bidirectional recurrent network，BRN）係一種進階嘅遞迴神經網絡。雙向遞迴網絡嘅特徵係有兩個彼此之間唔相連嘅隱藏層，分別叫向前狀態（forward states；$h_{f}$）同向後狀態（backward states；$h_{b}$）。一個雙向遞迴網絡每次會讀取 $n$ 個輸入，foreach $t$，$t\in 1,2,...,n$ ：

${\begin{aligned}h_{f}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{f_{t-1}}+b_{h})\\h_{b}&=\sigma _{h}(W_{h}x_{t}+U_{h}h_{b_{t+1}}+b_{h})\\y_{i}&=\sigma _{y}(W_{y_{f}}h_{f}+W_{y_{b}}h_{b}+b_{y})\end{aligned}}$

最先嗰個時間點嘅 $h_{f_{t-1}}$ 以及最後嗰個時間點嘅 $h_{b_{t+1}}$ 可以會當做一啲事先設定好嘅常數。一個雙向遞迴網絡（右）嘅結構圖解如下：

一個雙向遞迴網絡嘅輸出層會由過去同未來嗰度攞訊息－例如想像一個做機械翻譯嘅遞迴神經網絡，佢會攞一連串嘅英文字母做輸入，然後輸出就係一段相應嘅粵文字。喺每個時間點 $t$，佢會攞 10 個字，然後 foreach 字，佢會有一個輸出，個輸出會取決於打前嘅字同打後嘅字。雙向遞迴網絡最大嘅特徵係能夠埋考慮「未來」嘅訊息，而因為未來嘅訊息好多時都對做預測有用（尤其係喺語言處理上），所以雙向遞迴網絡能夠做到一啲普通嘅遞迴神經網絡做唔到嘅預測。

睇埋

• 遞迴神經網絡