Long Short-Term Memory

$$ $\text{providecommand}\text{N}$ $$ $\text{providecommand}\text{Q}$ $$ $\text{providecommand}\text{R}$ $$ $\text{providecommand}\text{Z}$ $$ $\text{providecommand}\text{pa}$ $$ $\text{providecommand}\text{br}$ $$ $\text{Extra open brace or missing close brace}$ $$ $\text{providecommand}\text{abs}$ $$ $\text{providecommand}\text{norm}$ $$ $\text{providecommand}\text{floor}$ $$ $\text{providecommand}\text{ceil}$ $$ $\text{providecommand}\text{eval}$ $$ $\text{providecommand}\text{pd}$ $$ $$ $$ $$ $$ $\text{providecommand}\text{Lim}$ $$ $\text{providecommand}\text{Prod}$ $$ $\text{providecommand}\text{Sum}$ $$ $$ $$ $\text{providecommand}\text{algoProc}$ $$ $\text{providecommand}\text{algoEndProc}$ $$ $\text{providecommand}\text{algoIf}$ $$ $\text{providecommand}\text{algoEndIf}$ $$ $\text{providecommand}\text{algoEq}$ $$ $\text{providecommand}\text{algoFor}$ $$ $\text{providecommand}\text{algoEndFor}$ $$ $\text{providecommand}\text{algoWhile}$ $$ $\text{providecommand}\text{algoEndWhile}$ $$ $\text{providecommand}\text{algoReturn}$ $$ $\text{providecommand}\text{hash}$ $$

目標	提出 RNN 使用 BPTT 進行最佳化時遇到的問題，並提出 LSTM 架構進行修正
作者	Sepp Hochreiter, Jürgen Schmidhuber
期刊/會議名稱	Neural Computation
發表時間	1997
論文連結	https://ieeexplore.ieee.org/abstract/document/6795963
書本連結	https://link.springer.com/chapter/10.1007/978-3-642-24797-2_4

$\text{providecommand}\text{opnet}$ $$ $\text{providecommand}\text{opin}$ $$ $\text{providecommand}\text{opout}$ $$ $\text{providecommand}\text{ophid}$ $$ $\text{providecommand}\text{opblk}$ $$ $\text{providecommand}\text{opig}$ $$ $\text{providecommand}\text{opog}$ $$ $\text{providecommand}\text{opseq}$ $$ $\text{providecommand}\text{Loss}$ $$ $\text{providecommand}\text{loss}$ $$ $\text{providecommand}\text{net}$ $$ $\text{providecommand}\text{fnet}$ $$ $\text{providecommand}\text{dfnet}$ $$ $\text{providecommand}\text{din}$ $$ $\text{providecommand}\text{dout}$ $$ $\text{providecommand}\text{dhid}$ $$ $\text{providecommand}\text{dblk}$ $$ $\text{providecommand}\text{nblk}$ $$ $\text{providecommand}\text{tp}$ $$ $\text{providecommand}\text{tf}$ $$ $\text{providecommand}\text{dv}$ $$ $\text{providecommand}\text{blk}$ $$ $\text{providecommand}\text{wig}$ $$ $\text{providecommand}\text{wog}$ $$ $\text{providecommand}\text{whid}$ $$ $\text{providecommand}\text{wblk}$ $$ $\text{providecommand}\text{wout}$ $$ $\text{providecommand}\text{netig}$ $$ $\text{providecommand}\text{fnetig}$ $$ $\text{providecommand}\text{dfnetig}$ $$ $\text{providecommand}\text{netog}$ $$ $\text{providecommand}\text{fnetog}$ $$ $\text{providecommand}\text{dfnetog}$ $$ $\text{providecommand}\text{nethid}$ $$ $\text{providecommand}\text{fnethid}$ $$ $\text{providecommand}\text{dfnethid}$ $$ $\text{providecommand}\text{netout}$ $$ $\text{providecommand}\text{fnetout}$ $$ $\text{providecommand}\text{dfnetout}$ $$ $\text{providecommand}\text{netcell}$ $$ $\text{providecommand}\text{aptr}$ $$

重點

• 此篇論文與 LSTM-2000 都寫錯自己的數學公式，但我的筆記內容主要以正確版本為主
• 計算 RNN 梯度反向傳播的演算法包含 BPTT 或 RTRL
  • BPTT 全名為 Back-Propagation Throught Time
  • RTRL 全名為 Real Time Recurrent Learning
• 不論使用 BPTT 或 RTRL，RNN 的梯度都會面臨爆炸或消失的問題
  • 梯度爆炸造成神經網路的權重劇烈振盪
  • 梯度消失造成訓練時間慢長
  • 無法解決時間差較長的問題
• 論文提出 LSTM + RTRL 能夠解決上述問題
  • Backward pass 演算法時間複雜度為 $O(w)$，$w$ 代表權重
  • Backward pass 演算法空間複雜度也為 $O(w)$，因此沒有輸入長度的限制
  • 此結論必須依靠丟棄部份梯度並使用 RTRL 才能以有效率的辦法解決梯度爆炸或消失
• 使用乘法閘門（Multiplicative Gate）學習開啟 / 關閉模型記憶寫入 / 讀取機制
• LSTM 的閘門單元參數應該讓偏差項（bias term）初始化成負數
  • 輸入閘門偏差項初始化成負數能夠解決內部狀態偏差行為（Internal State Drift）
  • 輸出閘門偏差項初始化成負數能夠避免模型濫用記憶單元初始值與訓練初期梯度過大
  • 如果沒有輸出閘門，則收斂速度會變慢
• 根據實驗 LSTM 能夠達成以下任務
  • 擁有處理短時間差（Short Time Lag）任務的能力
  • 擁有處理長時間差（Long Time Lag）任務的能力
  • 能夠處理最長時間差長達 $1000$ 個單位的任務
  • 輸入訊號含有雜訊時也能處理
• LSTM 的缺點
  • 仍然無法解決 delayed XOR 問題
    • 改成 BPTT 可能可以解決，但計算複雜度變高
    • CEC 在使用 BPTT 後有可能無效，但根據實驗使用 BPTT 時誤差傳遞的過程中很快就消失
  • 在部份任務上無法比 random weight guessing 最佳化速度還要快
    • 例如 500-bit parity
    • 使用 CEC 才導致此後果
    • 但計算效率高，最佳化過程也比較穩定
  • 無法精確的判斷重要訊號的輸入時間
    • 所有使用梯度下降作為最佳演算法的模型都有相同問題
    • 如果精確判斷是很重要的功能，則作者認為需要幫模型引入計數器的功能
• 當單一字元的出現次數期望值增加時，學習速度會下降
  • 作者認為是常見字詞的出現導致參數開始振盪
• 與 PyTorch 實作的 LSTM 完全不同
  • 本篇論文的架構定義更為廣義
  • 本篇論文只有輸入閘門（Input Gate）跟輸出閘門（Output Gate），並沒有使用失憶閘門（Forget Gate）

傳統的 RNN

計算定義

一個 RNN 模型在 $t$ 時間點的輸入來源共有兩種：

• 外部輸入（External Input） $x(t)$
  • 輸入維度為 $d_{\mathrm{in}}$
  • 使用下標 $x_j(t)$ 代表不同的輸入訊號，$j\in \{1,\dots ,d_{\mathrm{in}}\}$
• 總輸出（Total Output） $y(t)$
  • 輸出維度為 $d_{\mathrm{out}}$
  • 使用下標 $y_j(t)$ 代表不同的輸入訊號，$j\in \{1,\dots ,d_{\mathrm{out}}\}$
  • 注意這裡是使用 $t$ 不是 $t-1$
• 總共計算 $T$ 個時間點
  • 時間為離散狀態，$t$ 的起始值為 $0$，結束值為 $T-1$，每次遞增 $1$
  • 初始化 $y(0)=0$，輸入為 $x(0),\dots ,x(T-1)$，輸出為 $y(1),\dots ,y(T)$

令 RNN 模型的參數為 $w\in {\mathbb{R}}^{d_{\mathrm{out}}\times (d_{\mathrm{in}}+d_{\mathrm{out}})}$，如果我們已經取得 $t$ 時間點的外部輸入 $x(t)$ 與總輸出 $y(t)$，則我們可以定義 $t+1$ 時間點的計算狀態

$$\begin{array}{}\text{(1)}& \begin{array}{rl}{\mathrm{net}}_i(t+1)& =\sum _{j=1}^{d_{\mathrm{out}}}{w}_{i,j}\cdot y_j(t)+\sum _{j=1}^{d_{\mathrm{in}}}{w}_{i,d_{\mathrm{out}}+j}\cdot x_j(t)\\ & =\sum _{j=1}^{d_{\mathrm{out}}+d_{\mathrm{in}}}{w}_{i,j}\cdot {\left(\begin{array}{c}y(t)\\ x(t)\end{array}\right)}_j\\ \mathrm{net}(t+1)& =w\cdot \left(\begin{array}{c}y(t)\\ x(t)\end{array}\right)\end{array}\end{array}$$

• ${\mathrm{net}}_i(t+1)$ 代表第 $t+1$ 時間的模型內部節點 $i$ 所收到的淨輸入（total input）
  • 由 $t$ 時間點的輸入訊號計算 $t+1$ 時間點的輸出結果
  • 這是早年常見的 RNN 公式表達法
• $w_{i,j}$ 代表輸入節點 $j$ 與模型內部節點 $i$ 所連接的權重
  • 輸入節點可以是外部輸入 $x_j(t)$ 或是總輸出 $y_j(t)$
  • 總共有 $d_{\mathrm{in}}+d_{\mathrm{out}}$ 個輸入節點，因此 $1\le j\le d_{\mathrm{in}}+d_{\mathrm{out}}$
  • 總共有 $d_{\mathrm{out}}$ 個內部節點，因此 $1\le i\le d_{\mathrm{out}}$

令模型使用的啟發函數（Activation Function）為 $f:{\mathbb{R}}^{d_{\mathrm{out}}}\to {\mathbb{R}}^{d_{\mathrm{out}}}$，並且內部節點之間無相互連接（Element-wise Activation Function），則我們可以得到 $t+1$ 時間的輸出

$$\begin{array}{}\text{(2)}& \begin{array}{rl}{y}_i(t+1)& =f_i({\mathrm{net}}_i(t+1))\\ y(t+1)& =f(\mathrm{net}(t+1))\end{array}\end{array}$$

• 使用下標 $f_i$ 是因為每個維度所使用的啟發函數可以不同
• $f$ 必須要可以微分，當時與 RNN 有關的論文幾乎都是令 $f_i$ 為 sigmoid 函數 $\sigma (x)=1/(1+e^{-x})$
• 後續論文分析都是採用 sigmoid 函數，因此我們直接以 $\sigma$ 表達 $f_i$

計算誤差

如果 $t+1$ 時間點的輸出目標為 $\hat{y}(t+1)\in {\mathbb{R}}^{d_{\mathrm{out}}}$，則目標函數為最小平方差（Mean Square Error）：

$$\begin{array}{}\text{(3)}& \begin{array}{rl}{\mathrm{loss}}_i(t+1)& =\frac{1}{2}(y_i(t+1)-{\hat{y}}_i(t+1){)}^2\\ \mathrm{loss}(t+1)& =\sum _{i=1}^{d_{\mathrm{out}}}{\mathrm{loss}}_i(t+1)\end{array}\end{array}$$

梯度計算

根據 $\text{(3)}$ 我們知道 $y_i(t+1)$ 對 $\mathrm{loss}(t+1)$ 所得梯度為

$$\begin{array}{}\text{(4)}& \begin{array}{rl}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial y_i(t+1)}}& ={\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\\ & =1\cdot (y_i(t+1)-{\hat{y}}_i(t+1))\\ & =y_i(t+1)-{\hat{y}}_i(t+1)\end{array}\end{array}$$

根據 $\text{(4)}$ 我們可以推得 ${\mathrm{net}}_i(t+1)$ 對 $\mathrm{loss}(t+1)$ 所得梯度

$$\begin{array}{}\text{(5)}& \begin{array}{rl}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_i(t+1)}}& ={\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial {\mathrm{net}}_i(t+1)}}\\ & ={\sigma }^{\prime }({\mathrm{net}}_i(t+1))\cdot (y_i(t+1)-{\hat{y}}_i(t+1))\end{array}\end{array}$$

式子 $\text{(5)}$ 就是論文 3.1.1 節的第一條公式。

根據 $\text{(5)}$ 我們可以推得 $y_j(t)$ 對 $\mathrm{loss}(t+1)$ 所得梯度為

$$\begin{array}{}\text{(6)}& \begin{array}{rl}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial y_j(t)}}& =\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i(t+1)}{\partial y_j(t)}}]\\ & =\sum _{i=1}^{d_{\mathrm{out}}}[{\sigma }^{\prime }({\mathrm{net}}_i(t+1))\cdot (y_i(t+1)-{\hat{y}}_i(t+1))\cdot w_{i,j}]\end{array}\end{array}$$

由於第 $t$ 時間點的輸出 $y(t)$ 的計算是由 $\mathrm{net}(t)$ 而來（請見 $\text{(2)}$），所以我們也利用 $\text{(6)}$ 計算 ${\mathrm{net}}_j(t)$ 對 $\mathrm{loss}(t+1)$ 所得梯度（注意是 $t$ 不是 $t+1$）

$$\begin{array}{}\text{(7)}& \begin{array}{rl}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_j(t)}}& ={\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial y_j(t)}}\cdot {\displaystyle \frac{\partial y_j(t)}{\partial {\mathrm{net}}_j(t)}}\\ & =\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_i(t+1)}}\cdot w_{i,j}\cdot {\sigma }^{\prime }({\mathrm{net}}_j(t+1))]\\ & ={\sigma }^{\prime }({\mathrm{net}}_j(t+1))\cdot \sum _{i=1}^{d_{\mathrm{out}}}[w_{i,j}\cdot {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_i(t+1)}}]\end{array}\end{array}$$

式子 $\text{(7)}$ 就是論文 3.1.1 節的最後一條公式。

模型參數 $w_{i,j}$ 對於 $\mathrm{loss}(t+1)$ 所得梯度為

$$\begin{array}{}\text{(8)}& \begin{array}{rl}& {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{i,j}}}\\ & =\sum _{k=1}^{d_{\mathrm{out}}}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_k(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_k(t+1)}{\partial w_{i,j}}}\\ & =\sum _{k=1}^{d_{\mathrm{out}}}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_k(t+1)}}\cdot \left[\sum _{j^{\star }=1}^{d_{\mathrm{out}}+d_{\mathrm{in}}}({\displaystyle \frac{\partial w_{k,j^{\star }}}{\partial w_{i,j}}}\cdot {\left(\begin{array}{c}y(t)\\ x(t)\end{array}\right)}_{j^{\star }}+w_{k,j^{\star }}\cdot {\displaystyle \frac{\partial {\left(\begin{array}{c}y(t)\\ x(t)\end{array}\right)}_{j^{\star }}}{\partial w_{i,j}}})\right]\\ & =\sum _{k=1}^{d_{\mathrm{out}}}{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{net}}_k(t+1)}}\cdot [{\left(\begin{array}{c}y(t)\\ x(t)\end{array}\right)}_j+\sum _{j^{\star }=1}^{d_{\mathrm{out}}}{w}_{k,j^{\star }}\cdot {\sigma }^{\prime }({\mathrm{net}}_{j^{\star }}(t))\cdot {\displaystyle \frac{\partial {\mathrm{net}}_{j^{\star }}(t)}{\partial w_{i,j}}}]\end{array}\end{array}$$

而在時間點 $t+1$ 進行參數更新的方法為

$$\begin{array}{}\text{(9)}& w_{i,j}\leftarrow w_{i,j}-\alpha {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{i,j}}}\end{array}$$

$\text{(9)}$ 就是最常用來最佳化神經網路的梯度下降演算法（Gradient Descent），$\alpha$ 代表學習率（Learning Rate）。

梯度爆炸 / 消失

從 $\text{(7)}$ 式我們可以進一步推得 $t$ 時間點造成的梯度與前次時間點 ($t-1,t-2,\dots$) 所得的梯度變化關係。 注意這裡的變化關係指的是梯度與梯度之間的變化率，意即用時間點 $t-1$ 的梯度對時間點 $t$ 的梯度算微分。

為了方便計算，我們定義新的符號

$$\begin{array}{}\text{(10)}& {\vartheta }_k^{t_{\mathrm{future}}}[t_{\mathrm{past}}]={\displaystyle \frac{\partial \mathrm{loss}(t_{\mathrm{future}})}{\partial {\mathrm{net}}_k(t_{\mathrm{past}})}}\end{array}$$

意思是在過去時間點 $t_{\mathrm{past}}$ 的第 $k$ 個模型內部節點 ${\mathrm{net}}_k(t_{\mathrm{past}})$ 對於未來時間點 $t_{\mathrm{future}}$ 貢獻的總誤差 $\mathrm{loss}(t_{\mathrm{future}})$ 計算所得之梯度。

• 注意是貢獻總誤差所得之梯度
• 根據時間的限制我們有不等式 $0\le t_{\mathrm{past}}\le t_{\mathrm{future}}$
• 節點 $k$ 的數值範圍為 $k\in \{1,\dots ,d_{\mathrm{out}}\}$，見式子 $\text{(1)}$

因此

$$\begin{array}{}\text{(11)}& \begin{array}{rl}& {\vartheta }_{k_0}^t[t]={\displaystyle \frac{\partial \mathrm{loss}(t)}{\partial {\mathrm{net}}_{k_0}(t)}};\\ & {\vartheta }_{k_1}^t[t-1]={\displaystyle \frac{\partial \mathrm{loss}(t)}{\partial {\mathrm{net}}_{k_1}(t-1)}}\\ & ={\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\cdot (\sum _{k_0=1}^{d_{\mathrm{out}}}{w}_{k_0,k_1}\cdot {\vartheta }_{k_0}^t[t]);\\ & {\vartheta }_{k_2}^t[t-2]={\displaystyle \frac{\partial \mathrm{loss}(t)}{\partial {\mathrm{net}}_{k_2}(t-2)}}\\ & =\sum _{k_1=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t)}{\partial {\mathrm{net}}_{k_1}(t-1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_{k_1}(t-1)}{\partial y_{k_2}(t-2)}}\cdot {\displaystyle \frac{\partial y_{k_2}(t-2)}{\partial {\mathrm{net}}_{k_2}(t-2)}}]\\ & =\sum _{k_1=1}^{d_{\mathrm{out}}}[{\vartheta }_{k_1}^t[t-1]\cdot w_{k_1,k_2}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_2}(t-2))]\\ & =\sum _{k_1=1}^{d_{\mathrm{out}}}[{\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\cdot (\sum _{k_0=1}^{d_{\mathrm{out}}}{w}_{k_0,k_1}\cdot {\vartheta }_{k_0}^t[t])\cdot w_{k_1,k_2}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_2}(t-2))]\\ & =\sum _{k_1=1}^{d_{\mathrm{out}}}\sum _{k_0=1}^{d_{\mathrm{out}}}[w_{k_0,k_1}\cdot w_{k_1,k_2}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_2}(t-2))\cdot {\vartheta }_{k_0}^t[t]];\\ & {\vartheta }_{k_3}^t[t-3]=\sum _{k_2=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t)}{\partial {\mathrm{net}}_{k_2}(t-2)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_{k_2}(t-2)}{\partial y_{k_3}(t-3)}}\cdot {\displaystyle \frac{\partial y_{k_3}(t-3)}{\partial {\mathrm{net}}_{k_3}(t-3)}}]\\ & =\sum _{k_2=1}^{d_{\mathrm{out}}}[{\vartheta }_{k_2}^t[t-2]\cdot w_{k_2,k_3}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_3}(t-3))]\\ & =\sum _{k_2=1}^{d_{\mathrm{out}}}[\sum _{k_1=1}^{d_{\mathrm{out}}}\sum _{k_0=1}^{d_{\mathrm{out}}}[w_{k_0,k_1}\cdot w_{k_1,k_2}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_2}(t-2))\cdot {\vartheta }_{k_0}^t[t]]\\ & \cdot w_{k_2,k_3}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_3}(t-3))]\\ & =\sum _{k_2=1}^{d_{\mathrm{out}}}\sum _{k_1=1}^{d_{\mathrm{out}}}\sum _{k_0=1}^{d_{\mathrm{out}}}[w_{k_0,k_1}\cdot w_{k_1,k_2}\cdot w_{k_2,k_3}\cdot \\ & {\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_2}(t-2))\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_3}(t-3))\cdot {\vartheta }_{k_0}^t[t]]\\ & =\sum _{k_2=1}^{d_{\mathrm{out}}}\sum _{k_1=1}^{d_{\mathrm{out}}}\sum _{k_0=1}^{d_{\mathrm{out}}}[[\prod _{q=1}^3{w}_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))]\cdot {\vartheta }_{k_0}^t[t]]\end{array}\end{array}$$

由 $\text{(11)}$ 我們可以歸納得出 $n\ge 1$ 時的公式

$$\begin{array}{}\text{(12)}& {\vartheta }_{k_n}^t[t-n]=\sum _{k_{n-1}=1}^{d_{\mathrm{out}}}\cdots \sum _{k_0=1}^{d_{\mathrm{out}}}[[\prod _{q=1}^n{w}_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))]\cdot {\vartheta }_{k_0}^t[t]]\end{array}$$

由 $\text{(12)}$ 我們可以看出 ${\vartheta }_{k_n}^t[t-n]$ 都與 ${\vartheta }_{k_0}^t[t]$ 相關，因此我們將 ${\vartheta }_{k_n}^t[t-n]$ 想成由 ${\vartheta }_{k_0}^t[t]$ 構成的函數。

現在讓我們固定 $k_0^{\star }\in \{1,\dots ,d_{\mathrm{out}}\}$，我們可以計算 ${\vartheta }_{k_0^{\star }}^t[t]$ 對於 ${\vartheta }_{k_n}^t[t-n]$ 的微分，分析梯度在進行反向傳遞過程中的變化率

• 當 $n=1$ 時，根據 $\text{(11)}$ 我們可以推得論文中的 (3.1) 式

  $$\begin{array}{}\text{(13)}& {\displaystyle \frac{\partial {\vartheta }_{k_n}^t[t-n]}{\partial {\vartheta }_{k_0^{\star }}^t[t]}}=w_{k_0^{\star },k_1}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_1}(t-1))\end{array}$$

• 當 $n>1$ 時，根據 $\text{(12)}$ 我們可以推得論文中的 (3.2) 式

  $$\begin{array}{}\text{(14)}& {\displaystyle \frac{\partial {\vartheta }_{k_n}^t[t-n]}{\partial {\vartheta }_{k_0^{\star }}^t[t]}}=\sum _{k_{n-1}=1}^{d_{\mathrm{out}}}\cdots \sum _{k_1=1}^{d_{\mathrm{out}}}\sum _{k_0\in \left\{k_0^{\star }\right\}}[\prod _{q=1}^n{w}_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))]\end{array}$$

注意錯誤：論文中的 (3.2) 式不小心把 $w_{l_{m-1}{l}_m}$ 寫成 $w_{l_m{l}_{m-1}}$。

因此根據 $\text{(14)}$，共有 $(d_{\mathrm{out}}{)}^{n-1}$ 個連乘積項次進行加總。

根據 $\text{(13)}\text{(14)}$，如果

$$\begin{array}{}\text{(15)}& |w_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))|>1.0\mathrm{\forall }q=1,\dots ,n\end{array}$$

則梯度變化率成指數 $n$ 增長，直接導致梯度爆炸，參數會進行劇烈的振盪，無法進行順利更新。

而如果

$$\begin{array}{}\text{(16)}& |w_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))|<1.0\mathrm{\forall }q=1,\dots ,n\end{array}$$

則梯度變化率成指數 $n$ 縮小，直接導致梯度消失，誤差收斂速度會變得非常緩慢。

從 $\text{(17)}$ 我們知道 ${\sigma }^{\prime }$ 最大值為 $0.25$

$$\begin{array}{}\text{(17)}& \begin{array}{rl}\sigma (x)& =\frac{1}{1+e^{-x}}\\ {\sigma }^{\prime }(x)& =\frac{e^{-x}}{(1+e^{-x}{)}^2}=\frac{1}{1+e^{-x}}\cdot \frac{e^{-x}}{1+e^{-x}}\\ & =\frac{1}{1+e^{-x}}\cdot \frac{1+e^{-x}-1}{1+e^{-x}}=\sigma (x)\cdot (1-\sigma (x))\\ \sigma (\mathbb{R})& =(0,1)\\ \underset{x\in \mathbb{R}}{max}{\sigma }^{\prime }(x)& =\sigma (0)\times (1-\sigma (0))=0.5\times 0.5=0.25\end{array}\end{array}$$

因此當 $\left|w_{k_{q-1},k_q}\right|<4.0$ 時我們可以發現

$$\begin{array}{}\text{(18)}& |w_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))|<4.0\ast 0.25=1.0\end{array}$$

所以 $\text{(18)}$ 與 $\text{(16)}$ 的結論相輔相成：當 $w_{k_{q-1},k_q}$ 的絕對值小於 $4.0$ 會造成梯度消失。

而 $\left|w_{k_{q-1},k_q}\right|\to \mathrm{\infty }$ 我們可以使用 $\text{(17)}$ 得到

$$\begin{array}{}\text{(19)}& \begin{array}{rl}& |{\mathrm{net}}_{k_{q-1}}(t-q+1)|\to \mathrm{\infty }\\ ⟹& \{\begin{array}{ll}\sigma ({\mathrm{net}}_{k_{q-1}}(t-q+1))\to 1& \text{if }{\mathrm{net}}_{k_{q-1}}(t-q+1)\to \mathrm{\infty }\\ \sigma ({\mathrm{net}}_{k_{q-1}}(t-q+1))\to 0& \text{if }{\mathrm{net}}_{k_{q-1}}(t-q+1)\to -\mathrm{\infty }\end{array}\\ ⟹& \left|{\sigma }^{\prime }({\mathrm{net}}_{k_{q-1}}(t-q+1))\right|\to 0\\ ⟹& |\prod _{q=1}^n{w}_{k_{q-1},k_q}\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_q}(t-q))|\\ & =|w_{k_0,k_1}\cdot \prod _{q=2}^n[{\sigma }^{\prime }({\mathrm{net}}_{k_{q-1}}(t-q+1))\cdot w_{k_{q-1},k_q}]\cdot {\sigma }^{\prime }({\mathrm{net}}_{k_n}(t-n))|\\ & \to 0\end{array}\end{array}$$

最後一個推論的原理是指數函數的收斂速度比線性函數快。

注意錯誤：論文中的推論

$$|w_{k_{q-1},k_q}\cdot f_{k_q}^{\prime }({\mathrm{net}}_{k_q}(t-q))|\to 0$$

是錯誤的，理由是 $w_{k_{q-1},k_q}$ 無法對 ${\mathrm{net}}_{k_q}(t-q)$ 造成影響，作者不小心把時間順序寫反了，但是最後的邏輯仍然正確，理由如 $\text{(19)}$ 所示。

注意錯誤：論文中進行了以下函數最大值的推論

$$\begin{array}{rl}& f_{l_m}^{\prime }({\mathrm{net}}_{l_m}(t-m)))\cdot w_{l_m{l}_{m-1}}\\ & =\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot w_{l_m{l}_{m-l}}\end{array}$$

最大值發生於微分值為 $0$ 的點，即我們想求出滿足以下式子的 $w_{l_m{l}_{m-1}}$

$${\displaystyle \frac{\partial [\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot w_{l_m{l}_{m-l}}]}{\partial w_{l_m{l}_{m-1}}}}=0$$

拆解微分式可得

$$\begin{array}{rl}& {\displaystyle \frac{\partial [\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot w_{l_m{l}_{m-l}}]}{\partial w_{l_m{l}_{m-1}}}}\\ & ={\displaystyle \frac{\partial \sigma ({\mathrm{net}}_{l_m}(t-m))}{\partial {\mathrm{net}}_{l_m}(t-m)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_{l_m}(t-m)}{\partial w_{l_m{l}_{m-1}}}}\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot w_{l_m{l}_{m-l}}\\ & +\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot {\displaystyle \frac{\partial (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))}{\partial {\mathrm{net}}_{l_m}(t-m)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_{l_m}(t-m)}{\partial w_{l_m{l}_{m-1}}}}\cdot w_{l_m{l}_{m-l}}\\ & +\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot {\displaystyle \frac{\partial w_{l_m{l}_{m-1}}}{\partial w_{l_m{l}_{m-1}}}}\\ & =\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)){)}^2\cdot y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}\\ & -(\sigma ({\mathrm{net}}_{l_m}(t-m)){)}^2\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}\\ & +\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\\ & =[2(\sigma ({\mathrm{net}}_{l_m}(t-m)){)}^3-3(\sigma ({\mathrm{net}}_{l_m}(t-m)){)}^2+\sigma ({\mathrm{net}}_{l_m}(t-m))]\cdot \\ & y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}\\ & +\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\\ & =\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (2\sigma ({\mathrm{net}}_{l_m}(t-m))-1)\cdot (\sigma ({\mathrm{net}}_{l_m}(t-m))-1)\cdot \\ & y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}\\ & +\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\\ & =0\end{array}$$

移項後可以得到

$$\begin{array}{rl}& \sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (2\sigma ({\mathrm{net}}_{l_m}(t-m))-1)\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\cdot \\ & y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}=\sigma ({\mathrm{net}}_{l_m}(t-m))\cdot (1-\sigma ({\mathrm{net}}_{l_m}(t-m)))\\ ⟹& (2\sigma ({\mathrm{net}}_{l_m}(t-m))-1)\cdot y_{l_{m-1}}(t-m-1)\cdot w_{l_m{l}_{m-1}}=1\\ ⟹& w_{l_m{l}_{m-1}}=\frac{1}{y_{l_{m-1}}(t-m-1)}\cdot \frac{1}{2\sigma ({\mathrm{net}}_{l_m}(t-m))-1}\\ ⟹& w_{l_m{l}_{m-1}}=\frac{1}{y_{l_{m-1}}(t-m-1)}\cdot \coth (\frac{{\mathrm{net}}_{l_m}(t-m)}{2})\end{array}$$

註：推論中使用了以下公式

$$\begin{array}{rl}\tanh (x)& =2\sigma (2x)-1\\ \tanh (\frac{x}{2})& =2\sigma (x)-1\\ \coth (\frac{x}{2})& =\frac{1}{\tanh (\frac{x}{2})}=\frac{1}{2\sigma (x)-1}\end{array}$$

但公式的前提不對，理由是 $w_{l_m{l}_{m-1}}$ 根本不存在，應該改為 $w_{l_{m-1}{l}_m}$（同 $\text{(14)}$）。

接著我們可以計算 $t$ 時間點 $d_{\mathrm{out}}$ 個不同節點 ${\mathrm{net}}_{k_0^{\star }}(t)$ 對於同一個 $t-n$ 時間點的 ${\mathrm{net}}_{k_n}(t-n)$ 節點所貢獻的梯度變化總和：

$$\begin{array}{}\text{(20)}& \sum _{k_0^{\star }=1}^{d_{\mathrm{out}}}{\displaystyle \frac{\partial {\vartheta }_{k_n}^t[t-n]}{\partial {\vartheta }_{k_0^{\star }}^t[t]}}\end{array}$$

由於每個項次都能遭遇梯度消失，因此總和也會遭遇梯度消失。

問題觀察

情境 1：模型輸出與內部節點 1-1 對應

假設模型沒有任何輸入，啟發函數 $f_j$ 為未知且 $t-1$ 時間點的輸出節點 $y_j(t-1)$ 只與 ${\mathrm{net}}_j(t)$ 相連，即

$$\begin{array}{}\text{(21)}& {\mathrm{net}}_j(t)=w_{j,j}\cdot y_j(t-1)\end{array}$$

則根據式子 $\text{(11)}$ 我們可以推得

$$\begin{array}{}\text{(22)}& {\vartheta }_j^t[t-1]=w_{j,j}\cdot f_j^{\prime }({\mathrm{net}}_j(t-1))\cdot {\vartheta }_j^t[t]\end{array}$$

為了不讓梯度 ${\vartheta }_j^t[t]$ 在傳遞的過程消失，作者認為需要強制達成梯度常數（Constant Error Flow）

$$\begin{array}{}\text{(23)}& w_{j,j}\cdot f_j^{\prime }({\mathrm{net}}_j(t-1))=1.0\end{array}$$

透過 $\text{(23)}$ 的想法讓 $\text{(12)}$ 中梯度變化率的連乘積項為 $1.0$，因此

• 不會像 $\text{(15)}$ 導致梯度爆炸
• 不會像 $\text{(16)}$ 導致梯度消失

如果 $\text{(23)}$ 能夠達成，則積分 $\text{(23)}$ 可以得到

$$\begin{array}{}\text{(24)}& \begin{array}{rl}& \int w_{j,j}\cdot f_j^{\prime }({\mathrm{net}}_j(t-1))d[{\mathrm{net}}_j(t-1)]=\int 1.0d[{\mathrm{net}}_j(t-1)]\\ ⟺& w_{j,j}\cdot f_j({\mathrm{net}}_j(t-1))={\mathrm{net}}_j(t-1)\\ ⟺& y_j(t-1)=f_j({\mathrm{net}}_j(t-1))=\frac{{\mathrm{net}}_j(t-1)}{w_{j,j}}\end{array}\end{array}$$

觀察 $\text{(24)}$ 我們可以發現

• 輸入 ${\mathrm{net}}_j(t-1)$ 與輸出 $f_j({\mathrm{net}}_j(t-1))$ 之間的關係是乘上一個常數項 $w_{j,j}$
• 代表函數 $f_j$ 其實是一個線性函數

若採用 $\text{(24)}$ 的架構設計，我們可以發現每個時間點的輸出必須完全相同

$$\begin{array}{rl}{y}_j(t)& =f_j({\mathrm{net}}_j(t))=f_j(w_{j,j}\cdot y_j(t-1))\\ \text{(25)}& & =f_j(w_{j,j}\cdot \frac{{\mathrm{net}}_j(t-1)}{w_{j,j}})=f_j({\mathrm{net}}_j(t-1))=y_j(t-1)\end{array}$$

這個現象稱為 Constant Error Carousel（簡稱 CEC），而作者設計的 LSTM 架構會完全基於 CEC 進行設計，但我覺得概念比較像 ResNet 的 residual connection。

情境 2：增加外部輸入

將 $\text{(21)}$ 的假設改成每個模型內部節點可以額外接收外部輸入

$$\begin{array}{}\text{(26)}& {\mathrm{net}}_j(t)=w_{j,j}\cdot y_j(t-1)+\sum _{i=1}^{d_{\mathrm{in}}}{w}_{j,i}\cdot x_i(t-1)\end{array}$$

由於 $y_j(t-1)$ 的設計功能是保留過去計算所擁有的資訊，在 $\text{(26)}$ 的假設中唯一能夠更新資訊的方法只有透過 $x_i(t-1)$ 配合 $w_{j,i}$ 將新資訊合併進入 ${\mathrm{net}}_j(t)$。

但作者認為，在計算的過程中，部份時間點的輸入資訊 $x_i(\cdot )$ 可能是雜訊，因此可以（甚至必須）被忽略。 但這代表與外部輸入相接的參數 $w_{j,i}$ 需要同時達成兩種任務：

• 加入新資訊：代表 $\left|w_{j,i}\right|\ne 0$
• 忽略新資訊：代表 $\left|w_{j,i}\right|\approx 0$

因此無法只靠一個 $w_{j,i}$ 決定輸入的影響，必須有額外能夠理解當前內容 (context-sensitive) 的功能模組幫忙決定是否寫入 $x_i(\cdot )$。

情境 3：輸出回饋到多個節點

將 $\text{(21)}\text{(26)}$ 的假設改回正常的模型架構

$$\begin{array}{}\text{(27)}& {\mathrm{net}}_j(t)=\sum _{i=1}^{d_{\mathrm{out}}}{w}_{j,i}\cdot y_i(t-1)+\sum _{i=1}^{d_{\mathrm{in}}}{w}_{j,d_{\mathrm{out}}+i}\cdot x_i(t-1)\end{array}$$

由於 $y_j(t-1)$ 的設計功能是保留過去計算所擁有的資訊，在 $\text{(27)}$ 的假設中唯一能夠讓過去資訊影響未來計算結果的方法只有透過 $y_i(t-1)$ 配合 $w_{j,d_{\mathrm{in}}+i}$ 將新資訊合併進入 ${\mathrm{net}}_j(t)$。

但作者認為，在計算的過程中，部份時間點的輸出資訊 $y_i(\ast )$ 可能對預測沒有幫助，因此可以(甚至必須)被忽略。 但這代表與輸出相接的參數 $w_{j,d_{\mathrm{in}}+i}$ 需要同時達成兩種任務：

• 保留過去資訊：代表 $\left|w_{j,d_{\mathrm{in}}+i}\right|\ne 0$
• 忽略過去資訊：代表 $\left|w_{j,d_{\mathrm{in}}+i}\right|\approx 0$

因此無法只靠一個 $w_{j,d_{\mathrm{in}}+i}$ 決定輸出的影響，必須有額外能夠理解當前內容 (context-sensitive) 的功能模組幫忙決定是否讀取 $y_i(\ast )$。

LSTM 架構

圖 1：記憶單元內部架構。 符號對應請見下個小節。 圖片來源：論文。

圖 2：LSTM 全連接架構範例。 線條真的多到讓人看不懂，看我整理過的公式比較好理解。 圖片來源：論文。

為了解決梯度爆炸 / 消失問題，作者決定以 Constant Error Carousel 為出發點（見 $\text{(25)}$），提出 3 個主要的機制，並將這些機制的合體稱為記憶單元區塊（Memory Cell Blocks）（見圖 1）：

• 乘法輸入閘門（Multiplicative Input Gate）：用於決定是否更新記憶單元的內部狀態
• 乘法輸出閘門（Multiplicative Output Gate）：用於決定是否輸出記憶單元的計算結果
• 自連接線性單元（Central Linear Unit with Fixed Self-connection）：概念來自於 CEC（見 $\text{(25)}$），藉此保障梯度不會消失

初始狀態

我們將 $\text{(1)}$ 中的計算重新定義，並新增幾個符號：

符號	意義	數值範圍
$d_{\mathrm{hid}}$	隱藏單元的個數	$\mathbb{N}$
$d_{\mathrm{block}}$	每個記憶單元區塊中記憶單元的個數	${\mathbb{Z}}^{+}$
$n_{\mathrm{block}}$	記憶單元區塊的個數	${\mathbb{Z}}^{+}$

• 因為論文 4.3 節有提到可以完全沒有隱藏單元，因此允許 $d_{\mathrm{hid}}=0$
  • 此論文的後續研究似乎都沒有使用隱藏單元
  • 例如更新 LSTM 架構的主要研究 LSTM-2000 與 LSTM-2002 都沒有使用隱藏單元
• 根據論文 4.4 節，可以同時擁有 $n_{\mathrm{block}}$ 個不同的記憶單元區塊，因此允許 $n_{\mathrm{block}}\ge 1$

接著我們定義 $t$ 時間點的模型計算狀態：

符號	意義	數值範圍
$y^{\mathrm{hid}}(t)$	隱藏單元（Hidden Units）	${\mathbb{R}}^{d_{\mathrm{hid}}}$
$y^{\mathrm{ig}}(t)$	輸入閘門單元（Input Gate Units）	${\mathbb{R}}^{n_{\mathrm{block}}}$
$y^{\mathrm{og}}(t)$	輸出閘門單元（Output Gate Units）	${\mathbb{R}}^{n_{\mathrm{block}}}$
$y^{{\mathrm{block}}^k}(t)$	記憶單元區塊 $k$ 的輸出	${\mathbb{R}}^{d_{\mathrm{block}}}$
$s^{{\mathrm{block}}^k}(t)$	記憶單元區塊 $k$ 的內部狀態	${\mathbb{R}}^{d_{\mathrm{block}}}$
$y(t)$	模型總輸出	${\mathbb{R}}^{d_{\mathrm{out}}}$

• 以上所有向量全部都初始化成各自維度的零向量，也就是 $t=0$ 時模型所有節點（除了輸入）都是 $0$
• 根據論文 4.4 節，可以同時擁有 $n_{\mathrm{block}}$ 個不同的記憶單元
  • 圖 2 模型共有 $2$ 個不同的記憶單元
  • 記憶單元區塊上標 $k$ 的數值範圍為 $k\in \{1,\dots ,n_{\mathrm{block}}\}$
• 同一個記憶單元區塊共享閘門單元，因此 $y^{\mathrm{ig}}(t),y^{\mathrm{og}}(t)$ 的維度為 $n_{\mathrm{block}}$
• 根據論文 4.3 節，記憶單元、閘門單元與隱藏單元都算是隱藏層（Hidden Layer）的一部份
  • 外部輸入會與隱藏層和總輸出連接
  • 隱藏層會與總輸出連接（但閘門不會）

All units (except for gate units) in all layers have directed connections (serve as input) to all units in the layer above (or to all higher layers; see experiments 2a and 2b)

計算定義

當我們得到 $t$ 時間點的外部輸入 $x(t)$ 時，我們可以進行以下計算得到 $t+1$ 時間點的總輸出 $y(t+1)$

$$\begin{array}{rl}\text{(28)}& D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\text{(29)}& \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\in {\mathbb{R}}^D\text{(30)}& k& \in \{1,\dots ,n_{\mathrm{block}}\}\text{(31)}& y^{\mathrm{hid}}(t+1)& =f^{\mathrm{hid}}({\mathrm{net}}^{\mathrm{hid}}(t+1))=f^{\mathrm{hid}}(w^{\mathrm{hid}}\cdot \tilde{x}(t))\text{(32)}& y^{\mathrm{ig}}(t+1)& =f^{\mathrm{ig}}({\mathrm{net}}^{\mathrm{ig}}(t+1))=f^{\mathrm{ig}}(w^{\mathrm{ig}}\cdot \tilde{x}(t))\text{(33)}& y^{\mathrm{og}}(t+1)& =f^{\mathrm{og}}({\mathrm{net}}^{\mathrm{og}}(t+1))=f^{\mathrm{og}}(w^{\mathrm{og}}\cdot \tilde{x}(t))\text{(34)}& s^{{\mathrm{block}}^k}(t+1)& =s^{{\mathrm{block}}^k}(t)+y_k^{\mathrm{ig}}(t+1)\cdot g({\mathrm{net}}^{{\mathrm{block}}^k}(t+1))& =s^{{\mathrm{block}}^k}(t)+y_k^{\mathrm{ig}}(t+1)\cdot g(w^{{\mathrm{block}}^k}\cdot \tilde{x}(t))\\ \text{(35)}& y^{{\mathrm{block}}^k}(t+1)& =y_k^{\mathrm{og}}(t+1)\cdot h(s^{{\mathrm{block}}^k}(t+1))\text{(36)}& y(t+1)& =f^{\mathrm{out}}({\mathrm{net}}^{\mathrm{out}}(t+1))=f^{\mathrm{out}}(w^{\mathrm{out}}\cdot \left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right))\end{array}$$

以上就是 LSTM（1997 版本）的計算流程。

• $f^{\mathrm{hid}},f^{\mathrm{ig}},f^{\mathrm{og}},f^{\mathrm{out}},g,h$ 都是 differentiable element-wise activation function，大部份都是 sigmoid 或是 sigmoid 的變形
• $f^{\mathrm{ig}},f^{\mathrm{og}}$ 的數值範圍（range）必須限制在 $[0,1]$，才能達成閘門的功能
• $f^{\mathrm{out}}$ 的數值範圍只跟任務有關
• 論文並沒有給 $f^{\mathrm{hid}},g,h$ 任何數值範圍的限制

論文 4.3 節有提到可以完全沒有隱藏單元，而後續的研究（例如 LSTM-2000、LSTM-2002）也完全沒有使用隱藏單元，因此 $\text{(31)}$ 可以完全不存在。

• $\text{(29)}$ 中的 $y^{\mathrm{hid}}(t)$ 必須去除
• $\text{(36)}$ 中的 $y^{\mathrm{hid}}(t+1)$ 必須去除
• 隱藏單元的設計等同於保留 $\text{(1)}\text{(2)}$ 的架構，是個不好的設計，因此論文後續在最佳化的過程中動了手腳

根據 $\text{(32)}\text{(34)}$，在計算完 $t+1$ 時間點的輸入閘門 $y^{\mathrm{ig}}(t+1)$ 後便可以更新 $t+1$ 時間點的記憶單元內部狀態 $s^{{\mathrm{block}}^k}(t+1)$。

• 記憶單元淨輸入會與輸入閘門進行相乘，因此稱為乘法輸入閘門
• 由於 $t+1$ 時間點的資訊有加上 $t$ 時間點的資訊，因此稱為自連接線性單元
• 同一個記憶單元區塊會共享同一個輸入閘門，因此 $\text{(34)}$ 中的乘法是純量乘上向量，這也是 $y^{ig}(t+1)\in {\mathbb{R}}^{n_{\mathrm{block}}}$ 的理由
• 當模型認為輸入訊號不重要時，模型應該要關閉輸入閘門，即 $y_k^{\mathrm{ig}}(t+1)\approx 0$
  • 丟棄當前輸入訊號，只以過去資訊進行決策
  • 在此狀態下 $t+1$ 時間點的記憶單元內部狀態與 $t$ 時間點完全相同，達成 $\text{(23)}\text{(25)}$，藉此保障梯度不會消失
• 當模型認為輸入訊號重要時，模型應該要開啟輸入閘門，即 $y_k^{\mathrm{ig}}(t+1)\approx 1$
• 不論輸入訊號 $g({\mathrm{net}}^{{\mathrm{block}}^k}(t+1))$ 的大小，只要 $y_k^{\mathrm{ig}}(t+1)\approx 0$，則輸入訊號完全無法影響接下來的所有計算，LSTM 以此設計避免 $\text{(26)}$ 所遇到的困境

根據 $\text{(33)}\text{(35)}$，在計算完 $t+1$ 時間點的輸出閘門 $y^{\mathrm{og}}(t+1)$ 與記憶單元內部狀態 $s^{{\mathrm{block}}^k}(t+1)$ 後便可以得到 $t+1$ 時間點的記憶單元輸出 $y^{{\mathrm{block}}^k}(t+1)$。

• 記憶單元啟發值會與輸出閘門進行相乘，因此稱為乘法輸出閘門
• 同一個記憶單元區塊會共享同一個輸出閘門，因此 $\text{(35)}$ 中的乘法是純量乘上向量，這也是 $y^{og}(t+1)\in {\mathbb{R}}^{n_{\mathrm{block}}}$ 的理由
• 當模型認為輸出訊號會導致當前計算錯誤時，模型應該關閉輸出閘門，即 $y_k^{\mathrm{og}}(t+1)\approx 0$
  • 在輸入閘門開啟的狀況下，關閉輸出閘門代表不讓現在時間點的資訊影響當前計算
  • 在輸入閘門關閉的狀況下，關閉輸出閘門代表不讓過去時間點的資訊影響當前計算
• 當模型認為輸出訊號包含重要資訊時，模型應該要開啟輸出閘門，即 $y_k^{\mathrm{og}}(t+1)\approx 1$
  • 在輸入閘門開啟的狀況下，開啟輸出閘門代表讓現在時間點的資訊影響當前計算
  • 在輸入閘門關閉的狀況下，開啟輸出閘門代表不讓過去時間點的資訊影響當前計算
• 不論輸出訊號 $h(s^{{\mathrm{block}}^k}(t+1))$ 的大小，只要 $y_k^{\mathrm{og}}(t+1)\approx 0$，則輸出訊號完全無法影響接下來的所有計算，LSTM 以此設計避免 $\text{(26)}\text{(27)}$ 所遇到的困境
• PyTorch 實作的 LSTM 中 $h(t)$ 表達的意思是記憶單元輸出 $y^{{\mathrm{block}}^k}(t)$

根據 $\text{(36)}$，得到 $t+1$ 時間點的記憶單元輸出 $y^{{\mathrm{block}}^k}(t+1)$ 後就可以計算 $t+1$ 時間點的模型總輸出 $y(t+1)$。

• 注意在計算 $\text{(36)}$ 時並沒有使用閘門單元，與 $\text{(29)}$ 的計算不同
• 注意 $y(t+1)$ 與 $y^{\mathrm{og}}$ 不同
  • $y(t+1)$ 是總輸出，我的 $y(t+1)$ 是論文中的 $y^k(t+1)$
  • $y^{\mathrm{og}}(t+1)$ 是記憶單元的輸出閘門，我的 $y^{\mathrm{og}}(t+1)$ 是論文中的 $y^{{\mathrm{out}}_i}(t+1)$

根據論文 A.7 式下方的描述，$t+1$ 時間點的總輸出只與 $t$ 時間點的模型狀態（不含閘門與總輸出）有關係，所以 $\text{(31)}\text{(32)}\text{(33)}\text{(35)}$ 的計算都只是在幫助 $t+2$ 時間點的計算狀態鋪陳。

我不確定這是否為作者的筆誤，畢竟附錄中所有分析的數學式都寫的蠻正確的，我認為這裡是筆誤的理由如下：

• 同個實驗室後續的研究（例如 LSTM-2002）寫的式子不同
• 至少要傳播兩個時間點才能得到輸出，代表第 $1$ 個時間點的輸出完全無法利用到記憶單元的知識
• 後續的實驗架構設計中沒有將外部輸入連接到輸出，代表第 $1$ 個時間點的輸出完全依賴模型的初始狀態（常數），非常不合理

因此我決定改用我認為是正確的版本撰寫後續的筆記，即 $t+1$ 時間點的總輸出與 $t$ 時間點的外部輸入和 $t+1$ 時間點的計算狀態有關。

注意 $\text{(32)}\text{(33)}$ 沒有使用偏差項（bias term），但後續的分析會提到可以使用偏差項進行計算缺陷的修正。

參數結構

參數	意義	輸出維度	輸入維度
$w^{\mathrm{hid}}$	產生隱藏單元的全連接參數	$d_{\mathrm{hid}}$	$d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})$
$w^{\mathrm{ig}}$	產生輸入閘門的全連接參數	$n_{\mathrm{block}}$	$d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})$
$w^{\mathrm{og}}$	產生輸出閘門的全連接參數	$n_{\mathrm{block}}$	$d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})$
$w^{{\mathrm{block}}^k}$	產生第 $k$ 個記憶單元區塊淨輸入的全連接參數	$d_{\mathrm{block}}$	$d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})$
$w^{\mathrm{out}}$	產生輸出的全連接參數	$d_{\mathrm{block}}$	$d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}$

丟棄部份模型單元的梯度

過去的論文中提出以修改最佳化過程避免 RNN 訓練遇到梯度爆炸 / 消失的問題（例如 Truncated BPTT）。

論文 4.5 節提到最佳化 LSTM 的方法為 RTRL 的變種，主要精神如下：

• 最佳化的核心思想是確保能夠達成 CEC （見 $\text{(25)}$）
• 使用的手段是要求所有梯度反向傳播的過程在經過記憶單元區塊與隱藏單元後便停止傳播
• 停止傳播導致在完成 $t+1$ 時間點的 forward pass 後梯度可以馬上計算完成（real time 的精神便是來自於此）

首先我們定義新的符號 ${\approx }_{\mathrm{tr}}$，代表計算梯度的過程會有部份梯度故意被丟棄（設定為 $0$），並以丟棄結果近似真正的全微分。

$$\begin{array}{}\text{(37)}& {\displaystyle \frac{\partial {\mathrm{net}}_i^a(t+1)}{\partial y_j^b(t)}}{\approx }_{\mathrm{tr}}0\text{where }a,b\in \{\mathrm{hid},\mathrm{ig},\mathrm{og},{\mathrm{block}}^1,\dots ,{\mathrm{block}}^{n_{\mathrm{block}}}\}\end{array}$$

所有與隱藏單元淨輸入 ${\mathrm{net}}_i^{\mathrm{hid}}(t+1)$、輸入閘門淨輸入 ${\mathrm{net}}_i^{\mathrm{ig}}(t+1)$、輸出閘門淨輸入 ${\mathrm{net}}_i^{\mathrm{og}}(t+1)$、記憶單元淨輸入 ${\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)$ 直接相連的 $t$ 時間點的單元，一律丟棄梯度

• 注意論文在 A.1.2 節的開頭只提到輸入閘門、輸出閘門、記憶單元要丟棄梯度
• 但論文在 A.9 式描述可以將隱藏單元的梯度一起丟棄，害我白白推敲公式好幾天

Here it would be possible to use the full gradient without affecting constant error flow through internal states of memory cells.

根據 $\text{(37)}$ 我們可以進一步推得

$$\begin{array}{}\text{(38)}& \begin{array}{rl}a& \in \{\mathrm{hid},\mathrm{ig},\mathrm{og}\}\\ b& \in \{\mathrm{hid},\mathrm{ig},\mathrm{og},{\mathrm{block}}^1,\dots ,{\mathrm{block}}^{n_{\mathrm{block}}}\}\\ {\displaystyle \frac{\partial y_i^a(t+1)}{\partial y_j^b(t)}}& ={\displaystyle \frac{\partial y_i^a(t+1)}{\partial {\mathrm{net}}_i^a(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^a(t+1)}{\partial y_j^b(t)}}}}^0{\approx }_{\mathrm{tr}}0\\ k& \in \{1,2,\dots ,n_{\mathrm{block}}\}\\ {\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_j^b(t)}}& ={\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{ig}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial y_j^b(t)}}}}^0\\ & +{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}{\partial y_j^b(t)}}}}^0\\ & +{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{og}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial y_j^b(t)}}}}^0\\ & {\approx }_{\mathrm{tr}}0\end{array}\end{array}$$

由於 $y^{\mathrm{ig}}(t+1),y^{\mathrm{og}}(t+1),{\mathrm{net}}^{{\mathrm{block}}^k}(t+1)$ 並不是直接透過 $w^{\mathrm{hid}}$ 產生，因此 $w^{\mathrm{hid}}$ 只能透過參與 $t$ 時間點以前的計算間接對 $t+1$ 時間點的計算造成影響（見 $\text{(31)}$），這也代表在 $\text{(38)}$ 作用的情況下 $w^{\mathrm{hid}}$ 無法從 $y^{\mathrm{ig}}(t+1),y^{\mathrm{og}}(t+1),{\mathrm{net}}^{{\mathrm{block}}^k}(t+1)$ 收到任何的梯度：

$$\begin{array}{}\text{(39)}& \begin{array}{rl}a& \in \{\mathrm{ig},\mathrm{og},{\mathrm{block}}^1,\dots ,{\mathrm{block}}^{n_{\mathrm{block}}}\}\\ b& \in \{\mathrm{hid},\mathrm{ig},\mathrm{og},{\mathrm{block}}^1,\dots ,{\mathrm{block}}^{n_{\mathrm{block}}}\}\\ {\displaystyle \frac{\partial y_i^a(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}& =\sum _{j=d_{\mathrm{in}}+1}^{d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})}[{\cancel{{\displaystyle \frac{\partial y_i^a(t+1)}{\partial y_j^b(t)}}}}^0\cdot {\displaystyle \frac{\partial y_j^b(t)}{\partial w_{p,q}^{\mathrm{hid}}}}]{\approx }_{\mathrm{tr}}0\end{array}\end{array}$$

相對於總輸出所得剩餘梯度

我們將論文的 A.8 式拆解成 $\text{(41)}\text{(42)}\text{(43)}\text{(44)}$。

總輸出參數

令 ${\delta }_{a,b}$ 為 Kronecker delta，i.e.，

$$\begin{array}{}\text{(40)}& {\delta }_{a,b}=\{\begin{array}{ll}1& \text{if }a=b\\ 0& \text{otherwise}\end{array}\end{array}$$

由於總輸出 $y(t+1)$ 不會像是 $\text{(1)}\text{(2)}$ 的方式回饋到模型的計算狀態中，因此總輸出參數 $w^{\mathrm{out}}$ 對總輸出 $y(t+1)$ 計算所得的梯度為

$$\begin{array}{}\text{(41)}& \begin{array}{rl}i,p& \in \{1,\dots ,d_{\mathrm{out}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}\}\\ {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{p,q}^{\mathrm{out}}}}& ={\displaystyle \frac{\partial y_i(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial w_{p,q}^{\mathrm{out}}}}\\ & =f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot {\delta }_{i,p}\cdot {\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right)}_q\end{array}\end{array}$$

• $\text{(41)}$ 就是論文中 A.8 式的第一個 case
• 由於 $p$ 可以是任意的輸出節點，因此在 $i\ne p$ 時 $w_{p,q}^{\mathrm{out}}$ 對於 $y_i(t+1)$ 的梯度為 $0$

隱藏單元參數

在 $\text{(37)}\text{(38)}\text{(39)}$ 的作用下，我們可以求得隱藏單元參數 $w^{\mathrm{hid}}$ 在丟棄部份梯度後對於總輸出 $y(t+1)$ 計算所得的剩餘梯度

$$\begin{array}{}\text{(42)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}\\ \tilde{x}(t+1)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{out}}\}\\ p& \in \{1,\dots ,d_{\mathrm{hid}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}& ={\displaystyle \frac{\partial y_i(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}\\ & =f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \sum _{j=1}^D[{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial {\tilde{x}}_j(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\tilde{x}}_j(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}}}^{{\approx }_{\mathrm{tr}}}]\\ & {\approx }_{\mathrm{tr}}{f}_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,p}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_p^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}\end{array}\end{array}$$

$\text{(42)}$ 就是論文中 A.8 式的最後一個 case。

閘門單元參數

同 $\text{(42)}$，我們可以計算閘門單元參數 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 對總輸出 $y(t+1)$ 計算所得的剩餘梯度

$$\begin{array}{}\text{(43)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}\\ \tilde{x}(t+1)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{out}}\}\\ k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}& ={\displaystyle \frac{\partial y_i(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}\\ & =f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \sum _{j=1}^D[{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial {\tilde{x}}_j(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\tilde{x}}_j(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}}}^{{\approx }_{\mathrm{tr}}}]\\ & {\approx }_{\mathrm{tr}}{f}_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \sum _{j=1}^{d_{\mathrm{block}}}[w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}]\\ {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}& {\approx }_{\mathrm{tr}}{f}_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \sum _{j=1}^{d_{\mathrm{block}}}[w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}]\end{array}\end{array}$$

$\text{(43)}$ 就是論文中 A.8 式的第三個 case。

記憶單元淨輸入參數

記憶單元淨輸入參數 $w^{{\mathrm{block}}^k}$ 對總輸出 $y(t+1)$ 計算所得的剩餘梯度與 $\text{(43)}$ 幾乎相同

$$\begin{array}{}\text{(44)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}\\ \tilde{x}(t+1)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{out}}\}\\ k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ p& \in \{1,\dots ,d_{\mathrm{block}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}& ={\displaystyle \frac{\partial y_i(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}\\ & =f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \sum _{j=1}^D[{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{out}}(t+1)}{\partial {\tilde{x}}_j(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\tilde{x}}_j(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}}}^{{\approx }_{\mathrm{tr}}}]\\ & {\approx }_{\mathrm{tr}}{f}_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+p}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_p^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}\end{array}\end{array}$$

$\text{(44)}$ 就是論文中 A.8 式的第二個 case。

相對於隱藏單元所得剩餘梯度

我們將論文的 A.9 式拆解成 $\text{(45)}\text{(46)}\text{(47)}$。

隱藏單元參數

根據 $\text{(37)}\text{(38)}$ 我們可以得到隱藏單元參數 $w^{\mathrm{hid}}$ 對於隱藏單元 $y^{\mathrm{hid}}(t+1)$ 計算所得剩餘梯度

$$\begin{array}{}\text{(45)}& \begin{array}{rl}i,p& \in \{1,\dots ,d_{\mathrm{hid}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}& ={\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}}}^{{\approx }_{\mathrm{tr}}}\\ & {\approx }_{\mathrm{tr}}{f}_i^{\mathrm{hid}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{hid}}(t+1))\cdot {\delta }_{i,p}\cdot {\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)}_q\end{array}\end{array}$$

閘門單元參數

由於隱藏單元 $y^{\mathrm{hid}}(t+1)$ 並不是直接透過閘門參數 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 產生，因此根據 $\text{(37)}$ 我們可以推得 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 對於 $y^{\mathrm{hid}}(t+1)$ 剩餘梯度為 $0$

$$\begin{array}{}\text{(46)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{hid}}\}\\ p& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}& ={\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}}\cdot \sum _{j=1}^D[{\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}{\partial {\tilde{x}}_j(t)}}}}^0\cdot {\displaystyle \frac{\partial {\tilde{x}}_j(t)}{\partial w_{p,q}^{\mathrm{og}}}}]{\approx }_{\mathrm{tr}}0\\ {\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}& {\approx }_{\mathrm{tr}}0\end{array}\end{array}$$

記憶單元淨輸入參數

同 $\text{(46)}$，由於隱藏單元 $y^{\mathrm{hid}}(t+1)$ 並不是直接透過記憶單元淨輸入參數 $w^{{\mathrm{block}}^k}$ 產生，因此根據 $\text{(37)}$ 我們可以推得 $w^{{\mathrm{block}}^k}$ 對於 $y^{\mathrm{hid}}(t+1)$ 剩餘梯度為 $0$

$$\begin{array}{}\text{(47)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{hid}}\}\\ k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ p& \in \{1,\dots ,d_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}& ={\displaystyle \frac{\partial y_i^{\mathrm{hid}}(t+1)}{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}}\cdot \sum _{j=1}^D[{\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{\mathrm{hid}}(t+1)}{\partial {\tilde{x}}_j(t)}}}}^0\cdot {\displaystyle \frac{\partial {\tilde{x}}_j(t)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}]{\approx }_{\mathrm{tr}}0\end{array}\end{array}$$

相對於記憶單元輸出所得剩餘梯度

我們將論文的 A.13 式拆解成 $\text{(48)}\text{(49)}\text{(50)}$。

閘門單元參數

根據 $\text{(37)}$ 我們可以推得閘門單元參數 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 對於記憶單元輸出 $y^{{\mathrm{block}}^k}(t+1)$ 計算所得剩餘梯度

$$\begin{array}{rl}i& \in \{1,\dots ,d_{\mathrm{block}}\}\\ k,p& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}& ={\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{og}}(t+1)}}\cdot {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}+{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}}}^0\\ \text{(48)}& & {\approx }_{\mathrm{tr}}{h}_i(s_i^{{\mathrm{block}}^k}(t+1))\cdot {\delta }_{k,p}\cdot {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}& ={\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{og}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}}}^0+{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}\\ \text{(49)}& & {\approx }_{\mathrm{tr}}{y}_k^{\mathrm{og}}(t+1)\cdot h_i^{\prime }(s_i^{{\mathrm{block}}^k}(t+1))\cdot {\delta }_{k,p}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}\end{array}$$

記憶單元淨輸入參數

同 $\text{(49)}$，使用 $\text{(37)}$ 推得記憶單元淨輸入參數 $w^{{\mathrm{block}}^{k^{\star }}}$ 對於記憶單元輸出 $y^{{\mathrm{block}}^k}(t+1)$ 計算所得剩餘梯度（注意 $k^{\star }$ 可以不等於 $k$）

$$\begin{array}{}\text{(50)}& \begin{array}{rl}i,p& \in \{1,\dots ,d_{\mathrm{block}}\}\\ k,k^{\star }& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}& ={\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{og}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}}}^0+{\displaystyle \frac{\partial y_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}\\ & {\approx }_{\mathrm{tr}}{y}_k^{\mathrm{og}}(t+1)\cdot h_i^{\prime }(s_i^{{\mathrm{block}}^k}(t+1))\cdot {\delta }_{k,k^{\star }}\cdot {\delta }_{i,p}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{i,q}^{{\mathrm{block}}^k}}}\end{array}\end{array}$$

注意錯誤：論文 A.13 式最後使用加法 ${\delta }_{{\mathrm{in}}_{j}l}+{\delta }_{c_j^{v}l}$，可能會導致梯度乘上常數 $2$，因此應該修正成乘法 ${\delta }_{{\mathrm{in}}_{j}l}\cdot {\delta }_{c_j^{v}l}$

相對於閘門單元所得剩餘梯度

我們將論文的 A.10, A.11 式拆解成 $\text{(51)}\text{(52)}$。

閘門單元參數

根據 $\text{(37)}\text{(38)}$ 我們可以得到閘門單元參數 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 對於閘門單元 $y^{\mathrm{ig}}(t+1),y^{\mathrm{og}}(t+1)$ 計算所得剩餘梯度

$$\begin{array}{}\text{(51)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}\end{array}\right)\in {\mathbb{R}}^D\\ k,p& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial [w^{\mathrm{ig}};w^{\mathrm{og}}{]}_{p,q}}}& ={\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial {\mathrm{net}}_k^{\mathrm{ig}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_k^{\mathrm{ig}}(t+1)}{\partial [w^{\mathrm{ig}};w^{\mathrm{og}}{]}_{p,q}}}}}^{{\approx }_{\mathrm{tr}}}\\ & {\approx }_{\mathrm{tr}}{f}_k^{\mathrm{ig}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{ig}}(t+1))\cdot {\delta }_{k,p}\cdot {\tilde{x}}_q(t)\\ {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial [w^{\mathrm{ig}};w^{\mathrm{og}}{]}_{p,q}}}& {\approx }_{\mathrm{tr}}{\delta }_{k,p}\cdot f_k^{\mathrm{og}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{og}}(t+1))\cdot {\tilde{x}}_q(t)\end{array}\end{array}$$

記憶單元淨輸入參數

由於閘門單元 $y^{\mathrm{ig}}(t+1),y^{\mathrm{og}}(t+1)$ 並不是直接透過記憶單元淨輸入參數 $w^{{\mathrm{block}}^k}$ 產生，因此根據 $\text{(37)}$ 我們可以推得 $w^{{\mathrm{block}}^k}$ 對於 $y^{\mathrm{ig}}(t+1),y^{\mathrm{og}}(t+1)$ 剩餘梯度為 $0$

$$\begin{array}{}\text{(52)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}\end{array}\right)\in {\mathbb{R}}^D\\ k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ p& \in \{1,\dots ,d_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}& ={\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial {\mathrm{net}}_k^{\mathrm{ig}}(t+1)}}\cdot \sum _{j=1}^D[{\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_k^{\mathrm{ig}}(t+1)}{\partial {\tilde{x}}_j(t)}}}}^0\cdot {\displaystyle \frac{\partial {\tilde{x}}_j(t)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}]{\approx }_{\mathrm{tr}}0\\ {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}& {\approx }_{\mathrm{tr}}0\end{array}\end{array}$$

相對於記憶單元內部狀態所得剩餘梯度

我們將論文的 A.12 式拆解成 $\text{(53)}\text{(54)}\text{(55)}$。

閘門單元參數

將 $\text{(37)}$ 結合 $\text{(51)}$ 我們可以推得閘門單元參數 $w^{\mathrm{ig}},w^{\mathrm{og}}$ 對於記憶單元內部狀態 $s^{{\mathrm{block}}^k}(t+1)$ 計算所得剩餘梯度

$$\begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\in {\mathbb{R}}^D\\ i& \in \{1,\dots ,d_{\mathrm{block}}\}\\ k,p& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}& ={\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t)}}\cdot {\cancel{{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{p,q}^{\mathrm{og}}}}}}^0+{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{ig}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}}}^0\\ & +{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{og}}}}}}^0\\ \text{(53)}& & {\approx }_{\mathrm{tr}}0{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}& ={\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t)}}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{p,q}^{\mathrm{ig}}}}+{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{ig}}(t+1)}}\cdot {\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}\\ & +{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{\mathrm{ig}}}}}}^0\\ & {\approx }_{\mathrm{tr}}1\cdot {\delta }_{k,p}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{k,q}^{\mathrm{ig}}}}+g_i({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))\cdot {\delta }_{k,p}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}}}^{{\approx }_{\mathrm{tr}}}\\ \text{(54)}& & {\approx }_{\mathrm{tr}}{\delta }_{k,p}\cdot [{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{k,q}^{\mathrm{ig}}}}+g_i({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))\cdot f_k^{\mathrm{ig}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{ig}}(t+1))\cdot {\tilde{x}}_q(t)]\end{array}$$

記憶單元淨輸入參數

使用 $\text{(37)}$ 推得記憶單元淨輸入參數 $w^{{\mathrm{block}}^{k^{\star }}}$ 對於記憶單元內部狀態 $s^{{\mathrm{block}}^k}(t+1)$ 計算所得剩餘梯度（注意 $k^{\star }$ 可以不等於 $k$）

$$\begin{array}{}\text{(55)}& \begin{array}{rl}D& =d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\\ \tilde{x}(t)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\in {\mathbb{R}}^D\\ i,p& \in \{1,\dots ,d_{\mathrm{block}}\}\\ k,k^{\star }& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,D\}\\ {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}& ={\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t)}}\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}+{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial y_k^{\mathrm{ig}}(t+1)}}\cdot {\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}}}^0\\ & +{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^{k^{\star }}}}}\\ & {\approx }_{\mathrm{tr}}{\delta }_{k,k^{\star }}\cdot {\delta }_{i,p}\cdot 1\cdot {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{i,q}^{{\mathrm{block}}^k}}}\\ & +{\delta }_{k,k^{\star }}\cdot {\delta }_{i,p}\cdot y_k^{\mathrm{ig}}(t+1)\cdot g_i^{\prime }({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))\cdot {\tilde{x}}_q(t)\\ & ={\delta }_{k,k^{\star }}\cdot {\delta }_{i,p}\cdot [{\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial w_{i,q}^{{\mathrm{block}}^k}}}+y_k^{\mathrm{ig}}(t+1)\cdot g_i^{\prime }({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))\cdot {\tilde{x}}_q(t)]\end{array}\end{array}$$

注意錯誤：論文 A.12 式最後使用加法 ${\delta }_{{\mathrm{in}}_{j}l}+{\delta }_{c_j^{v}l}$，可能會導致梯度乘上常數 $2$，因此應該修正成乘法 ${\delta }_{{\mathrm{in}}_{j}l}\cdot {\delta }_{c_j^{v}l}$

更新模型參數

總輸出參數

從 $\text{(4)}$ 我們可以觀察出以下結論

$$\begin{array}{}\text{(56)}& \begin{array}{rl}\tilde{x}(t+1)& =\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t+1)\\ y^{{\mathrm{block}}^1}(t+1)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t+1)\end{array}\right)\\ i& \in \{1,\dots ,d_{\mathrm{out}}\}\\ j& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot d_{\mathrm{block}}\}\\ {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{i,j}^{\mathrm{out}}}}& ={\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{i,j}^{\mathrm{out}}}}\\ & =(y_i(t+1)-{\hat{y}}_i(t+1))\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{i,j}^{\mathrm{out}}}}\\ & =(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot {\tilde{x}}_j(t+1)\end{array}\end{array}$$

隱藏單元參數

從 $\text{(4)}\text{(39)}\text{(42)}\text{(45)}$ 我們可以觀察出以下結論

$$\begin{array}{}\text{(57)}& \begin{array}{rl}& p\in \{1,\dots ,d_{\mathrm{hid}}\}\\ & q\in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ & {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}=\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,p}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_p^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}]\\ & =\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,p}^{\mathrm{out}}]\cdot {\displaystyle \frac{\partial y_p^{\mathrm{hid}}(t+1)}{\partial w_{p,q}^{\mathrm{hid}}}}\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,p}^{\mathrm{out}}]\cdot \\ & f_p^{\mathrm{hid}}{}^{\prime }({\mathrm{net}}_p^{\mathrm{hid}}(t+1))\cdot {\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)}_j\end{array}\end{array}$$

輸出閘門單元參數

從 $\text{(4)}\text{(43)}\text{(48)}\text{(51)}\text{(53)}$ 我們可以觀察出以下結論

$$\begin{array}{}\text{(58)}& \begin{array}{rl}k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ q& \in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}& =\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}})]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot h_j(s_j^{{\mathrm{block}}^k}(t+1))\cdot {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}})]\\ & =[\sum _{i=1}^{d_{\mathrm{out}}}(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & (\sum _{j=1}^{d_{\mathrm{block}}}{w}_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot h_j(s_j^{{\mathrm{block}}^k}(t+1)))]\cdot {\displaystyle \frac{\partial y_k^{\mathrm{og}}(t+1)}{\partial w_{k,q}^{\mathrm{og}}}}\\ & {\approx }_{\mathrm{tr}}[\sum _{i=1}^{d_{\mathrm{out}}}(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & (\sum _{j=1}^{d_{\mathrm{block}}}{w}_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot h_j(s_j^{{\mathrm{block}}^k}(t+1)))]\cdot \\ & f_k^{\mathrm{og}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{og}}(t+1))\cdot {\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)}_q\end{array}\end{array}$$

輸入閘門單元參數

從 $\text{(4)}\text{(43)}\text{(49)}\text{(51)}\text{(54)}$ 我們可以觀察出以下結論

$$\begin{array}{}\text{(59)}& \begin{array}{rl}& \tilde{x}(t)=\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\\ & k\in \{1,\dots ,n_{\mathrm{block}}\}\\ & q\in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ & {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}=\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}}]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}})]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot y_k^{\mathrm{og}}(t+1)\cdot h_j^{\prime }(s_j^{{\mathrm{block}}^k}(t+1))\cdot {\displaystyle \frac{\partial s_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}})]\\ & =(\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot h_j^{\prime }(s_j^{{\mathrm{block}}^k}(t+1))\cdot {\displaystyle \frac{\partial s_j^{{\mathrm{block}}^k}(t+1)}{\partial w_{k,q}^{\mathrm{ig}}}})])\cdot y_k^{\mathrm{og}}(t+1)\\ & {\approx }_{\mathrm{tr}}(\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & \sum _{j=1}^{d_{\mathrm{block}}}(w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+j}^{\mathrm{out}}\cdot h_j^{\prime }(s_j^{{\mathrm{block}}^k}(t+1))\cdot [{\displaystyle \frac{\partial s_j^{{\mathrm{block}}^k}(t)}{\partial w_{k,q}^{\mathrm{ig}}}}+\\ & g_j({\mathrm{net}}_j^{{\mathrm{block}}^k}(t+1))\cdot f_k^{\mathrm{ig}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{ig}}(t+1))\cdot {\tilde{x}}_q(t)])])\cdot y_k^{\mathrm{og}}(t+1)\end{array}\end{array}$$

記憶單元淨輸入參數

從 $\text{(4)}\text{(44)}\text{(47)}\text{(50)}\text{(52)}\text{(55)}$ 我們可以觀察出以下結論

$$\begin{array}{}\text{(60)}& \begin{array}{rl}& \tilde{x}(t)=\left(\begin{array}{c}x(t)\\ y^{\mathrm{hid}}(t)\\ y^{\mathrm{ig}}(t)\\ y^{\mathrm{og}}(t)\\ y^{{\mathrm{block}}^1}(t)\\ ⋮\\ y^{{\mathrm{block}}^{n_{\mathrm{block}}}}(t)\end{array}\right)\\ & k\in \{1,\dots ,n_{\mathrm{block}}\}\\ & p\in \{1,\dots ,d_{\mathrm{block}}\}\\ & q\in \{1,\dots ,d_{\mathrm{in}}+d_{\mathrm{hid}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})\}\\ & {\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}=\sum _{i=1}^{d_{\mathrm{out}}}[{\displaystyle \frac{\partial \mathrm{loss}(t+1)}{\partial {\mathrm{loss}}_i(t+1)}}\cdot {\displaystyle \frac{\partial {\mathrm{loss}}_i(t+1)}{\partial y_i(t+1)}}\cdot {\displaystyle \frac{\partial y_i(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}]\\ & {\approx }_{\mathrm{tr}}\sum _{i=1}^{d_{\mathrm{out}}}[(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot \\ & w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+p}^{\mathrm{out}}\cdot {\displaystyle \frac{\partial y_p^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}]\\ & =[\sum _{i=1}^{d_{\mathrm{out}}}(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+p}^{\mathrm{out}}]\cdot \\ & {\displaystyle \frac{\partial y_p^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}\\ & {\approx }_{\mathrm{tr}}[\sum _{i=1}^{d_{\mathrm{out}}}(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+p}^{\mathrm{out}}]\cdot \\ & y_k^{\mathrm{og}}(t+1)\cdot h_p^{\prime }(s_p^{{\mathrm{block}}^k}(t+1))\cdot {\displaystyle \frac{\partial s_p^{{\mathrm{block}}^k}(t+1)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}]\\ & {\approx }_{\mathrm{tr}}[\sum _{i=1}^{d_{\mathrm{out}}}(y_i(t+1)-{\hat{y}}_i(t+1))\cdot f_i^{\mathrm{out}}{}^{\prime }({\mathrm{net}}_i^{\mathrm{out}}(t+1))\cdot w_{i,d_{\mathrm{in}}+d_{\mathrm{hid}}+(k-1)\cdot d_{\mathrm{block}}+p}^{\mathrm{out}}]\cdot \\ & y_k^{\mathrm{og}}(t+1)\cdot h_p^{\prime }(s_p^{{\mathrm{block}}^k}(t+1))\cdot [{\displaystyle \frac{\partial s_p^{{\mathrm{block}}^k}(t)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}+\\ & y_k^{\mathrm{ig}}(t+1)\cdot g_p^{\prime }({\mathrm{net}}_p^{{\mathrm{block}}^k}(t+1))\cdot {\tilde{x}}_q(t)]\end{array}\end{array}$$

架構分析

時間複雜度

假設 $t+1$ 時間點的 forward pass 已經執行完成，則更新 $t+1$ 時間點所有參數的時間複雜度為

$$\begin{array}{}\text{(61)}& O(\dim (w^{\mathrm{hid}})+\dim (w^{\mathrm{og}})+\dim (w^{\mathrm{ig}})+n_{\mathrm{block}}\cdot \dim (w^{{\mathrm{block}}^1})+\dim (w^{\mathrm{out}}))\end{array}$$

• $\text{(61)}$ 就是論文中的 A.27 式
• 在 $t+1$ 時間點參數更新需要考慮 $t$ 時間點的計算狀態，請見 $\text{(57)}\text{(58)}\text{(59)}\text{(60)}$
• 沒有如同 $\text{(14)}$ 的連乘積項，因此不會有梯度消失問題
• 整個計算過程需要額外紀錄的梯度項次只有 $\text{(59)}\text{(60)}$ 中的 ${\displaystyle \frac{\partial s_j^{{\mathrm{block}}^k}(t)}{\partial w_{k,q}^{\mathrm{ig}}}},{\displaystyle \frac{\partial s_p^{{\mathrm{block}}^k}(t)}{\partial w_{p,q}^{{\mathrm{block}}^k}}}$
  • 紀錄讓 LSTM 可以隨著 forward pass 的過程即時更新
  • 不需要等到 $T$ 時間點的計算結束，因此不是採用 BPTT 的演算法
  • 即時更新（意思是 $t+1$ 時間點的 forward pass 完成後便可計算 $t+1$ 時間點的誤差梯度）是 RTRL 的主要精神

總共會執行 $T+1$ 個 forward pass，因此更新所有參數所需的總時間複雜度為

$$\begin{array}{}\text{(62)}& O(T\cdot [\dim (w^{\mathrm{hid}})+\dim (w^{\mathrm{og}})+\dim (w^{\mathrm{ig}})+n_{\mathrm{block}}\cdot \dim (w^{{\mathrm{block}}^1})+\dim (w^{\mathrm{out}})])\end{array}$$

空間複雜度

我們也可以推得在 $t+1$ 時間點更新所有參數所需的空間複雜度

$$\begin{array}{}\text{(63)}& O(\dim (w^{\mathrm{hid}})+\dim (w^{\mathrm{og}})+\dim (w^{\mathrm{ig}})+n_{\mathrm{block}}\cdot \dim (w^{{\mathrm{block}}^1})+\dim (w^{\mathrm{out}}))\end{array}$$

總共會執行 $T$ 個 forward pass，但更新所需的總空間複雜度仍然同 $\text{(63)}$

• 依照時間順序計算梯度，計算完 $t+1$ 時間點的梯度時 $t$ 的資訊便可丟棄
• 這就是 RTRL 的最大優點

達成梯度常數

根據 $\text{(37)}\text{(38)}$ 我們可以推得

$$\begin{array}{}\text{(64)}& \begin{array}{rl}i& \in \{1,\dots ,d_{\mathrm{block}}\}\\ k& \in \{1,\dots ,n_{\mathrm{block}}\}\\ {\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t)}}& ={\displaystyle \frac{\partial s_i^{{\mathrm{block}}^k}(t)}{\partial s_i^{{\mathrm{block}}^k}(t)}}+{\cancel{{\displaystyle \frac{\partial y_k^{\mathrm{ig}}(t+1)}{\partial s_i^{{\mathrm{block}}^k}(t)}}}}^0\cdot g_i({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))+\\ & y_k^{\mathrm{ig}}(t+1)\cdot {\cancel{{\displaystyle \frac{\partial g_i({\mathrm{net}}_i^{{\mathrm{block}}^k}(t+1))}{\partial s_i^{{\mathrm{block}}^k}(t)}}}}^0\\ & {\approx }_{\mathrm{tr}}1\end{array}\end{array}$$

由於丟棄部份梯度的作用，$s^{{\mathrm{block}}^k}$ 的梯度是模型中唯一進行遞迴（跨過多個時間點）的計算節點。 透過丟棄部份梯度我們從 $\text{(64)}$ 可以看出 LSTM 達成 $\text{(23)}$ 所設想的情況。

內部狀態偏差行為

觀察 $\text{(54)}\text{(59)}$，當 $h$ 是 sigmoid 函數時，我們可以發現

• 如果 $s^{{\mathrm{block}}^k}(t+1)$ 是一個非常大的正數，則 $h_j^{\prime }(s_j^{{\mathrm{block}}^k}(t+1))$ 會變得非常小
• 如果 $s^{{\mathrm{block}}^k}(t+1)$ 是一個非常小的負數，則 $h_j^{\prime }(s_j^{{\mathrm{block}}^k}(t+1))$ 也會變得非常小
• 在 $s^{{\mathrm{block}}^k}(t+1)$ 極正或極負的情況下，輸入閘門參數 $w^{\mathrm{ig}}$ 的梯度會消失
• 此現象稱為內部狀態偏差行為（Internal State Drift）
• 同樣的現象也會發生在記憶單元淨輸入參數 $w^{{\mathrm{block}}^1},\dots w^{{\mathrm{block}}^{n_{\mathrm{block}}}}$ 身上，請見 $\text{(60)}$
• 此分析就是論文的 A.39 式改寫而來

解決 Internal State Drift

作者提出可以在 ${\mathrm{net}}^{\mathrm{ig}}$ 加上偏差項，並在訓練初期將偏差項弄成很小的負數，邏輯如下

$$\begin{array}{}\text{(65)}& \begin{array}{rl}& b^{\mathrm{ig}}\ll 0\\ ⟹& {\mathrm{net}}^{\mathrm{ig}}(1)\ll 0\\ ⟹& y^{\mathrm{ig}}(1)\approx 0\\ ⟹& s^{w^{{\mathrm{block}}^k}}(1)=s^{w^{{\mathrm{block}}^k}}(0)+y^{\mathrm{ig}}(1)\odot g({\mathrm{net}}^{w^{{\mathrm{block}}^k}}(1))\\ & =y^{\mathrm{ig}}(1)\odot g({\mathrm{net}}^{w^{{\mathrm{block}}^k}}(1))\approx 0\\ ⟹& \{\begin{array}{l}{s}^{w^{{\mathrm{block}}^k}}(t+1)\ll ̸0\\ s^{w^{{\mathrm{block}}^k}}(t+1)\gg ̸0\end{array}\mathrm{\forall }t=0,\dots ,T-1\end{array}\end{array}$$

根據 $\text{(65)}$ 我們就不會得到 $s^{{\mathrm{block}}^k}(t)$ 極正或極負的情況，也就不會出現 Internal State Drift。

雖然這種作法是種模型偏差（Model Bias）而且會導致 $y^{\mathrm{ig}}(\star )$ 與 $f_k^{\mathrm{ig}}{}^{\prime }({\mathrm{net}}_k^{\mathrm{ig}}(\star ))$ 變小，但作者認為這些影響比起 Internal State Drift 一點都不重要。

輸出閘門初始化

論文 4.7 節表示，在訓練的初期模型有可能濫用記憶單元的初始值作為計算的常數項（細節請見 $\text{(41)}$），導致模型在訓練的過程中學會完全不紀錄資訊。

因此可以將輸出閘門加上偏差項，並初始化成較小的負數（理由類似於 $\text{(65)}$），讓記憶單元在計算初期輸出值為 $0$，迫使模型只在需要時指派記憶單元進行記憶。

如果有多個記憶單元，則可以給予不同的負數，讓模型能夠按照需要依大小順序取得記憶單元（愈大的負數愈容易被取得）。

輸出閘門的優點

在訓練的初期誤差通常比較大，導致梯度跟著變大，使得模型在訓練初期的參數劇烈振盪。

由於輸出閘門所使用的啟發函數 $f^{\mathrm{og}}$ 是 sigmoid，數值範圍是 $(0,1)$，我們可以發現 $\text{(59)}\text{(60)}$ 的梯度乘積包含 $y^{\mathrm{og}}$，可以避免過大誤差造成的梯度變大。

但這些說法並沒有辦法真的保證一定會實現，算是這篇論文說服力比較薄弱的點。

實驗

實驗設計

• 要測試較長的時間差
  • 資料集不可以出現短時間差
• 任務要夠難
  • 不可以只靠 random weight guessing 解決
  • 需要比較多的參數或是高計算精度 (sparse in weight space)

控制變因

• 使用 Online Learning 進行最佳化
  • 意思就是 batch size 為 1
  • 不要被 Online 這個字誤導
• 使用 sigmoid 作為啟發函數
  • 包含 $f^{\mathrm{out}},f^{\mathrm{hid}},f^{\mathrm{ig}},f^{\mathrm{og}}$
• 資料隨機性
  • 資料生成為隨機
  • 訓練順序為隨機
• 在每個時間點 $t$ 的計算順序為
  1. 將外部輸入 $x(t)$ 丟入模型
  2. 計算輸入閘門、輸出閘門、記憶單元、隱藏單元
  3. 計算總輸出
• 訓練初期只使用一個記憶單元，即 $n_{\mathrm{block}}=1$
  • 如果訓練中發現最佳化做的不好，開始增加記憶單元，即 $n_{\mathrm{block}}=n_{\mathrm{block}}+1$
  • 一旦記憶單元增加，輸入閘門與輸出閘門也需要跟著增加
  • 這個概念稱為 Sequential Network Construction
• $h^{{\mathrm{block}}^k}$ 與 $g^{{\mathrm{block}}^k}$ 函數如果沒有特別提及，就是使用 $\text{(66)}\text{(67)}$ 的定義

$h^{{\mathrm{block}}^k}:\mathbb{R}\to [-1,1]$ 函數的定義為

$$\begin{array}{}\text{(66)}& h^{{\mathrm{block}}^k}(x)=\frac{2}{1+\exp (-x)}-1=2\sigma (x)-1\end{array}$$

$g^{{\mathrm{block}}^k}:\mathbb{R}\to [-2,2]$ 函數的定義為

$$\begin{array}{}\text{(67)}& g^{{\mathrm{block}}^k}(x)=\frac{4}{1+\exp (-x)}-2=4\sigma (x)-2\end{array}$$

實驗 1：Embedded Reber Grammar

圖 3：Reber Grammar。 一個簡單的有限狀態機，能夠生成的字母包含 BEPSTVX。 圖片來源：論文。

圖 4：Embedded Reber Grammar。 一個簡單的有限狀態機，包含兩個完全相同的 Reber Grammar，開頭跟結尾只能是 BT…TE 與 BP…PE。 圖片來源：論文。

任務定義

• Embedded Reber Grammar 是實驗 RNN 短時間差（Short Time Lag）的基準測試資料集
  • 圖 3 只是 Reber Grammar，真正的生成資料是使用圖 4 的 Embedded Reber Grammar
  • Embedded Reber Grammar 時間差最短只有 $9$ 個單位
  • 傳統 RNN 在此資料集上仍然表現不錯
  • 資料生成為隨機，任何一個分支都有 $0.5$ 的機率被生成
• 根據圖 3 的架構，生成的第一個字為 B，接著是 T 或 P
  • 因此前兩個字生成 BT 或 BP 的機率各為 $0.5$
  • 能夠生成的字母包含 BEPSTVX
  • 生成直到產生 E 結束，結尾一定是 SE 或 VE
  • 由於有限狀態機中有 Loop，因此 Reber Grammar 有可能產生任意長度的文字
• 根據圖 4 的架構，生成的開頭為 BT 或 BP
  • 前兩個字生成 BT 或 BP 的機率各為 $0.5$
  • 如果生成 BT，則結尾一定要是 TE
  • 如果生成 BP，則結尾一定要是 PE
  • 因此 RNN 模型必須學會記住開頭的 T / P 與結尾搭配，判斷一個文字序列是否由 Embedded Reber Grammar 生成
• 模型會在每個時間點 $t$ 收到一個字元，並輸出下一個時間點 $t+1$ 會收到的字元
  • 輸入與輸出都是 one-hot vector，維度為 $7$，每個維度各自代表 BEPSTVX 中的一個字元，取數值最大的維度作為預測結果
  • 模型必須根據 $0,1,\dots t-1,t$ 時間點收到的字元預測 $t+1$ 時間點輸出的字元
  • 概念就是 Language Model
• 資料數
  • 訓練集：256 筆
  • 測試集：256 筆
  • 總共產生 3 組不同的訓練測試集
  • 每組資料集都跑 $10$ 次實驗，每次實驗模型都隨機初始化
  • 總共執行 $30$ 次實驗取平均
• 評估方法
  • Accuracy

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$7$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$(n_{\mathrm{block}},d_{\mathrm{block}})$	$\{(3,2),(4,1)\}$	至少有 $3$ 個記憶單元
$d_{\mathrm{out}}$	$7$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})]$	全連接隱藏層
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}]$	外部輸入沒有直接連接到總輸出
參數初始化範圍	$[-0.2,0.2]$
輸出閘門偏差項初始化範圍	$\{-1,-2,-3,-4\}$	由大到小依序初始化不同記憶單元對應輸出閘門偏差項
Learning rate	$\{0.1,0.2,0.5\}$
總參數量	$\{264,276\}$

實驗結果

表格 1：Embedded Reber Grammar 實驗結果。 表格來源：論文。

• LSTM + 丟棄梯度 + RTRL 在不同的實驗架構中都能解決任務
  • RNN + RTRL 無法完成
  • Elman Net + ELM 無法完成
• LSTM 收斂速度比其他模型都還要快
• LSTM 使用的參數數量並沒有比其他的模型多太多
• 驗證輸出閘門的有效性
  • 當 LSTM 模型記住第二個輸入是 T / P 之後，輸出閘門就會讓後續運算的啟發值接近 $0$，不讓記憶單元內部狀態影響模型學習簡單的 Reber Grammar
  • 如果沒有輸出閘門，則收斂速度會變慢

實驗 2a：無雜訊長時間差任務

任務定義

定義 $p+1$ 種不同的字元，標記為 $V=\{\alpha ,\beta ,c_1,c_2,\dots ,c_{p-1}\}$。

定義 $2$ 種長度為 $p+1$ 不同的序列 ${\mathrm{seq}}_1,{\mathrm{seq}}_2$，分別為

$$\begin{array}{rl}{\mathrm{seq}}_1& =\alpha ,c_1,c_2,\dots ,c_{p-2},c_{p-1},\alpha \\ {\mathrm{seq}}_2& =\beta ,c_1,c_2,\dots ,c_{p-2},c_{p-1},\beta \end{array}$$

令 ${\mathrm{seq}}_{\star }\in \{{\mathrm{seq}}_1,{\mathrm{seq}}_2\}$，令 ${\mathrm{seq}}_{\star }$ 第 $t$ 個時間點的字元為 ${\mathrm{seq}}_{\star }(t)\in V$。

當給予模型 ${\mathrm{seq}}_{\star }(t)$ 時，模型要能夠根據 ${\mathrm{seq}}_{\star }(0),{\mathrm{seq}}_{\star }(1),\dots {\mathrm{seq}}_{\star }(t-1),{\mathrm{seq}}_{\star }(t)$ 預測 ${\mathrm{seq}}_{\star }(t+1)$。

• 模型需要記住 $c_1,\dots ,c_{p-1}$ 的順序
• 模型也需要記住開頭的 ${\mathrm{seq}}_{\star }(0)$ 是 $\alpha$ 還是 $\beta$，並利用 ${\mathrm{seq}}_{\star }(0)$ 的資訊預測 ${\mathrm{seq}}_{\star }(p+1)$
• 根據 $p$ 的大小這個任務可以是短時間差或長時間差
• 訓練資料
  • 每次以各 $0.5$ 的機率抽出 ${\mathrm{seq}}_1,{\mathrm{seq}}_2$ 作為輸入
  • 總共執行 $5000000$ 次抽樣與更新
• 測試資料
  • 每次以各 $0.5$ 的機率抽出 ${\mathrm{seq}}_1,{\mathrm{seq}}_2$ 作為輸入
  • 每次錯誤率在 $0.25$ 以下就是成功，反之失敗
  • 總共執行 $10000$ 次成功與失敗的判斷

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$p+1$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$d_{\mathrm{out}}$	總輸出就是記憶單元的輸出
$n_{\mathrm{block}}$	$1$	當誤差停止下降時，增加記憶單元
$d_{\mathrm{out}}$	$p+1$
$g$	$g(x)=\sigma (x)$	Sigmoid 函數
$h$	$h(x)=x$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+(1+n_{\mathrm{block}})\cdot d_{\mathrm{block}}]$	全連接隱藏層
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+(1+n_{\mathrm{block}})\cdot d_{\mathrm{block}}]$	全連接隱藏層
$\dim (w^{\mathrm{og}})$	$0$	沒有輸出閘門
$\dim (w^{\mathrm{out}})$	$0$	總輸出就是記憶單元的輸出
參數初始化範圍	$[-0.2,0.2]$
Learning rate	$1$
最大更新次數	$5000000$

實驗結果

表格 2：無雜訊長時間差任務實驗結果。 表格來源：論文。

• 在 $p=4$ 時使用 RNN + RTRL 時部份實驗能夠預測序列
  • 序列很短時 RNN 還是有能力完成任務
• 在 $p\ge 10$ 時使用 RNN + RTRL 時直接失敗
• 在 $p=100$ 時只剩 LSTM 能夠完全完成任務
• LSTM 收斂速度最快

實驗 2b：有雜訊長時間差任務

實驗設計和 LSTM 的架構與實驗 2a 完全相同，只是序列 ${\mathrm{seq}}_1,{\mathrm{seq}}_2$ 中除了頭尾之外的字元可以替換成 $V$ 中任意的文字，總長度維持 $p+1$。

• 此設計目的是為了確保實驗 2a 中的順序性無法被順利壓縮
• 先創造訓練資料，測試使用與訓練完全相同的資料
• 仍然只有 LSTM 能夠完全完成任務
• LSTM 的誤差仍然很快就收斂
  • 當 $p=100$ 時只需要 $5680$ 次更新就能完成任務
  • 代表 LSTM 能夠在有雜訊的情況下正常運作

實驗 2c：有雜訊超長時間差任務

任務定義

實驗設計和 LSTM 的架構與實驗 2a 概念相同，只是 $V$ 增加了兩個字元 $b,e$，而序列長度可以不同。

生成一個序列的概念如下：

1. 固定一個正整數 $q$，代表序列基本長度
2. 從 $c_1,\dots ,c_{p-1}$ 中隨機抽樣生成長度為 $q$ 的序列 $\mathrm{seq}$
3. 在序列的開頭補上 $b\alpha$ 或 $b\beta$（機率各為 $0.5$），讓序列長度變成 $q+2$
4. 接著以 $0.9$ 的機率從 $c_1,\dots ,c_{p-1}$ 中挑一個字補在序列 $\mathrm{seq}$ 的尾巴，或是以 $0.1$ 的機率補上 $e$
5. 如果生成 $e$ 就再補上 $\alpha$ 或 $\beta$（與開頭第二個字元相同）並結束
6. 如果不是生成 $e$ 則重複步驟 4

假設步驟 $4$ 執行了 $k+1$ 次，則序列長度為 $2+q+(k+1)+1=q+k+4$。 序列的最短長度為 $q+4$，長度的期望值為

$$\begin{array}{rl}& 4+\sum _{k=0}^{\mathrm{\infty }}\frac{1}{10}{\left(\frac{9}{10}\right)}^k(q+k)\\ & =4+\frac{q}{10}\left[\sum _{k=0}^{\mathrm{\infty }}{\left(\frac{9}{10}\right)}^k\right]+\frac{1}{10}[\sum _{k=0}^{\mathrm{\infty }}{\left(\frac{9}{10}\right)}^k\cdot k]\\ & =4+\frac{q}{10}\cdot 10+\frac{1}{10}\cdot 100\\ & =q+14\end{array}$$

其中

$$\begin{array}{rl}& \left[\sum _{k=0}^{n}k{x}^k\right]-x\left[\sum _{k=0}^{n}k{x}^k\right]\\ & =(0x^0+1x^1+2x^2+3x^3+\cdots +n{x}^n)-\\ & (0x^1+1x^2+2x^3+3x^4+\cdots +n{x}^{n+1})\\ & =0x^0+1x^1+1x^2+1x^3+\cdots +1x^n-n{x}^{n+1}\\ & =\left[\sum _{k=0}^n{x}^k\right]-n{x}^{n+1}\\ & =\frac{1-x^{n+1}}{1-x}-n{x}^{n+1}\\ & =\frac{1-x^{n+1}-n{x}^{n+1}+n{x}^{n+2}}{1-x}\end{array}$$

因此

$$\begin{array}{rl}& \left[\sum _{k=0}^{n}k{x}^k\right]-x\left[\sum _{k=0}^{n}k{x}^k\right]=\frac{1-x^{n+1}-n{x}^{n+1}+n{x}^{n+2}}{1-x}\\ ⟹& \sum _{k=0}^{n}k{x}^k=\frac{1-x^{n+1}-n{x}^{n+1}+n{x}^{n+2}}{(1-x{)}^2}\\ ⟹& \sum _{k=0}^{\mathrm{\infty }}k{x}^k=\frac{1}{(1-x{)}^2}\text{ when }0\le x<1\end{array}$$

利用二項式分佈的期望值公式我們可以推得 $c_i\in V$ 出現次數的期望值

$$\begin{array}{rl}& \sum _{k=0}^{\mathrm{\infty }}\frac{1}{10}\cdot {\left(\frac{9}{10}\right)}^k\cdot [\sum _{i=0}^{q+k}(\genfrac{}{}{0ex}{}{q+k}{i})\cdot {\left(\frac{1}{p-1}\right)}^i\cdot {(1-\frac{1}{p-1})}^{q+k-i}]\\ & =\sum _{k=0}^{\mathrm{\infty }}\frac{1}{10}\cdot {\left(\frac{9}{10}\right)}^k\cdot \frac{q+k}{p-1}\\ & =\frac{q}{10(p-1)}\left[\sum _{k=0}^{\mathrm{\infty }}{\left(\frac{9}{10}\right)}^k\right]+\frac{1}{10(p-1)}[\sum _{k=0}^{\mathrm{\infty }}{\left(\frac{9}{10}\right)}^k\cdot k]\\ & =\frac{q}{p-1}+\frac{10}{p-1}\\ & \approx \frac{q}{p-1}\text{ when }q\gg 0\end{array}$$

訓練誤差只考慮最後一個時間點 $\mathrm{seq}(2+q+k+2)$ 的預測結果，必須要跟第 $\mathrm{seq}(1)$ 個時間點的輸入相同（概念同實驗 2a）。

測試時會連續執行 $10000$ 次的實驗，預測誤差必須要永遠小於 $0.2$。 會以 $20$ 次的測試結果取平均。

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$p+4$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$1$
$n_{\mathrm{block}}$	$2$	作者認為其實只要一個記憶單元就夠了
$d_{\mathrm{out}}$	$2$	只考慮最後一個時間點的預測誤差，並且預測的可能結果只有 $2$ 種（$\alpha$ 或 $\beta$）
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})]$	全連接隱藏層
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})]$	全連接隱藏層
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})]$	全連接隱藏層
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}]$	外部輸入沒有直接連接到總輸出
參數初始化範圍	$[-0.2,0.2]$
Learning rate	$0.01$

實驗結果

表格 3：有雜訊超長時間差任務實驗結果。 表格來源：論文。

• 其他方法沒有辦法完成任務，因此不列入表格比較
• 輸入序列長度可到達 $1000$
• 當輸入字元種類與輸入長度一起增加時，訓練時間只會緩慢增加
• 當單一字元的出現次數期望值增加時，學習速度會下降
  • 作者認為是常見字詞的出現導致參數開始振盪

實驗 3a：Two-Sequence Problem

任務定義

給予一個實數序列 $\mathrm{seq}$，該序列可能隸屬於兩種類別 $C_1,C_2$，隸屬機率分別是 $0.5$。

如果 $\mathrm{seq}\in C_1$，則該序列的前 $N$ 個數字都是 $1.0$，序列的最後一個數字為 $1.0$。 如果 $\mathrm{seq}\in C_2$，則該序列的前 $N$ 個數字都是 $-1.0$，序列的最後一個數字為 $0.0$。

給定一個常數 $T$，並從 $[T,T+\frac{T}{10}]$ 的區間中隨機挑選一個整數作為序列 $\mathrm{seq}$ 的長度 $L$。

當 $L\ge N$ 時，任何在 $\mathrm{seq}(N+1),\dots \mathrm{seq}(L-1)$ 中的數字都是由常態分佈隨機產生，常態分佈的平均為 $0$ 變異數為 $0.2$。

• 此任務由 Bengio 提出
• 作者發現只要用隨機權重猜測（Random Weight Guessing）就能解決，因此在實驗 3c 提出任務的改進版本
• 訓練分成兩個階段
  • ST1：事先隨機抽取的 $256$ 筆測試資料完全分類正確
  • ST2：達成 ST1 後在 $2560$ 筆測試資料上平均錯誤低於 $0.01$
• 實驗結果是執行 $10$ 次實驗的平均值

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$1$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$1$
$n_{\mathrm{block}}$	$3$
$d_{\mathrm{out}}$	$1$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}]$	外部輸入沒有直接連接到總輸出
參數初始化範圍	$[-0.1,0.1]$
輸入閘門偏差項初始化範圍	$\{-1,-3,-5\}$	由大到小依序初始化不同記憶單元對應輸入閘門偏差項
輸出閘門偏差項初始化範圍	$\{-2,-4,-6\}$	由大到小依序初始化不同記憶單元對應輸出閘門偏差項
Learning rate	$1$

實驗結果

表格 4：Two-Sequence Problem 實驗結果。 表格來源：論文。

• 偏差項初始化的數值其實不需要這麼準確
• LSTM 能夠快速解決任務
• LSTM 在輸入有雜訊（高斯分佈）時仍然能夠正常表現

實驗 3b：Two-Sequence Problem + 雜訊

表格 5：Two-Sequence Problem + 雜訊實驗結果。 表格來源：論文。

實驗設計與 LSTM 完全與實驗 3a 相同，但對於序列 $\mathrm{seq}$ 前 $N$ 個實數加上雜訊（與實驗 2a 相同的高斯分佈）。

• 兩階段訓練稍微做點修改
  • ST1：事先隨機抽取的 $256$ 筆測試資料少於 $6$ 筆資料分類錯誤
  • ST2：達成 ST1 後在 $2560$ 筆測試資料上平均錯誤低於 $0.04$
• 結論
  • 增加雜訊導致誤差收斂時間變長
  • 相較於實驗 3a，雖然分類錯誤率上升，但 LSTM 仍然能夠保持較低的分類錯誤率

實驗 3c：強化版 Two-Sequence Problem

表格 6：強化版 Two-Sequence Problem 實驗結果。 表格來源：論文。

實驗設計與 LSTM 完全與實驗 3b 相同，但進行以下修改

• $C_1$ 類別必須輸出 $0.2$，$C_2$ 類別必須輸出 $0.8$
• 高斯分佈變異數改為 $0.1$
• 預測結果與答案絕對誤差大於 $0.1$ 就算分類錯誤
• 任務目標是所有的預測絕對誤差平均值小於 $0.015$
• 兩階段訓練改為一階段
  • 事先隨機抽取的 $256$ 筆測試資料完全分類正確
  • $2560$ 筆測試資料上絕對誤差平均值小於 $0.015$
• Learning rate 改成 $0.1$
• 結論
  • 任務變困難導致收斂時間變更長
  • 相較於實驗 3a，雖然分類錯誤率上升，但 LSTM 仍然能夠保持較低的分類錯誤率

實驗 4：加法任務

任務定義

定義一個序列 $\mathrm{seq}$，序列的每個元素都是由兩個實數組合而成，具體的數值範圍如下

$$\mathrm{seq}(t)\in [-1,1]\times \{-1,0,1\}\mathrm{\forall }t=0,\dots ,T$$

每個時間點的元素的第一個數值都是隨機從 $[-1,1]$ 中取出，第二個數值只能是 $-1,0,1$ 三個數值的其中一個。

令 $T$ 為序列的最小長度，則序列 $\mathrm{seq}$ 的長度 $L$ 將會落在 $[T,T+T/10]$ 之間。

決定每個時間點的元素的第二個數值的方法如下：

1. 首先將所有元素的第二個數值初始化成 $0$
2. 將 $t=0$ 與 $t=L$ 的第二個數值初始化成 $-1$
3. 從 $t=0,\dots ,9$ 隨機挑選一個時間點，並將該時間點的第二個數值加上 $1$
4. 如果前一個步驟剛好挑到 $t=0$，則 $t=0$ 的第二個數值將會是 $0$，否則為 $-1$
5. 從 $t=0,\dots ,T/2-1$ 隨機挑選一個時間點，並只挑選第二個數值仍為 $0$ 的時間點，挑選後將該時間點的第二個數值設為 $1$

透過上述步驟 $\mathrm{seq}$ 最少會包含一個元素其第二個數值為 $1$，最多會包含二個元素其第二個數值為 $1$。

模型在 $L+1$ 時間點必須輸出所有元素中第二個數值為 $1$ 的元素，其第一個數值的總和，並轉換到 $[0,1]$ 區間的數值，即

$$\hat{y}(L+1)=0.5+\frac{1}{4}\sum _{t=0}^L[\mathbb{1}({\mathrm{seq}}_1(t)=1)\cdot {\mathrm{seq}}_2(t)]$$

只考慮 $L+1$ 時間點的誤差，誤差必須要低於 $0.04$ 才算預測正確。

• 模型必須要學會長時間關閉輸入閘門
• 在實驗中故意對所有參數加上偏差項，實驗內部狀態偏差行為造成的影響
• 當連續 $2000$ 次的誤差第於 $0.04$，且平均絕對誤差低於 $0.01$ 時停止訓練
• 測試資料集包含 $2560$ 筆資料

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$2$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$2$
$n_{\mathrm{block}}$	$2$
$d_{\mathrm{out}}$	$1$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}+1]$	外部輸入沒有直接連接到總輸出，有額外使用偏差項
參數初始化範圍	$[-0.1,0.1]$
輸入閘門偏差項初始化範圍	$\{-3,-6\}$	由大到小依序初始化不同記憶單元對應輸入閘門偏差項
Learning rate	$0.5$

實驗結果

表格 7：加法任務實驗結果。 表格來源：論文。

• LSTM 能夠達成任務目標
  • 不超過 $3$ 筆以上預測錯誤的資料
• LSTM 能夠摹擬加法器，具有作為 distributed representation 的能力
• 能夠儲存時間差至少有 $T/2$ 以上的資訊，因此不會被內部狀態偏差行為影響

實驗 5：乘法任務

任務定義

從 LSTM 的架構上來看實驗 4 的加法任務可以透過 $\text{(39)}$ 輕鬆完成，因此實驗 5 的目標是確認模型是否能夠從加法上延伸出乘法的概念，確保實驗 4 並不只是單純因模型架構而解決。

概念與實驗 4 的任務幾乎相同，只做以下修改：

• 每個時間點的元素第一個數值改為 $[0,1]$ 之間的隨機值
• $L+1$ 時間點的輸出目標改成

$$\hat{y}(L+1)=0.5+\frac{1}{4}\prod _{t=0}^L[\mathbb{1}({\mathrm{seq}}_1(t)=1)\cdot {\mathrm{seq}}_2(t)]$$

• 當連續 $2000$ 筆訓練資料中，不超過 $n_{\mathrm{seq}}$ 筆資料的絕對誤差小於 $0.04$ 就停止訓練
• $n_{\mathrm{seq}}\in \{13,140\}$
  • 選擇 $140$ 的理由是模型已經有能力記住資訊，但計算結果不夠精確
  • 選擇 $13$ 的理由是模型能夠精確達成任務

LSTM 架構

與實驗 4 完全相同，只做以下修改：

• 輸入閘門偏差項改成隨機初始化
• Learning rate 改為 $0.1$

實驗結果

表格 8：乘法任務實驗結果。 表格來源：論文。

• LSTM 能夠達成任務目標
  • 在 $n_{\mathrm{seq}}=140$ 時不超過 $170$ 筆以上預測錯誤的資料
  • 在 $n_{\mathrm{seq}}=13$ 時不超過 $15$ 筆以上預測錯誤的資料
• 如果額外使用隱藏單元，則收斂速度會更快
• LSTM 能夠摹擬乘法器，具有作為 distributed representation 的能力
• 能夠儲存時間差至少有 $T/2$ 以上的資訊，因此不會被內部狀態偏差行為影響

實驗 6a：Temporal Order with 4 Classes

任務定義

給予一個序列 $\mathrm{seq}$，其長度 $L$ 會落在 $[100,110]$ 之間，序列中的所有元素都來自於集合 $V=\{a,b,c,d,B,E,X,Y\}$。

序列 $\mathrm{seq}$ 的開頭必定為 $B$，最後為 $E$，剩餘所有的元素都是 $a,b,c,d$，除了兩個時間點 $t_1,t_2$。

$t_1,t_2$ 時間點只能出現 $X$ 或 $Y$，$t_1$ 時間點會落在 $[10,20]$，$t_2$ 時間點會落在 $[50,60]$。

因此根據 $X,Y$ 出現的次數與順序共有 $4$ 種不同的類別

$$\begin{array}{rl}{C}_1& =XX\\ C_2& =XY\\ C_3& =YX\\ C_4& =YY\end{array}$$

模型必須要在 $L+1$ 時間點進行類別預測，誤差只會出現在 $L+1$ 時間點。

• $t_1,t_2$ 的最少時間差為 $30$
• 模型必須要記住資訊與出現順序
• 當模型成功預測連續 $2000$ 筆資料，並且預測平均誤差低於 $0.1$ 時便停止訓練
• 測試資料共有 $2560$ 筆

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$8$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$2$
$n_{\mathrm{block}}$	$2$
$d_{\mathrm{out}}$	$4$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}+1]$	外部輸入沒有直接連接到總輸出，有額外使用偏差項
參數初始化範圍	$[-0.1,0.1]$
輸入閘門偏差項初始化範圍	$\{-2,-4\}$	由大到小依序初始化不同記憶單元對應輸入閘門偏差項
Learning rate	$0.5$

實驗結果

表格 9：Temporal Order with 4 Classes 任務實驗結果。 表格來源：論文。

• LSTM 的平均誤差低於 $0.1$

  • 沒有超過 $3$ 筆以上的預測錯誤

• LSTM 可能使用以下的方法進行解答

  • 擁有 $2$ 個記憶單元時，依照順序記住出現的資訊
  • 只有 $1$ 個記憶單元時，LSTM 可以改成記憶狀態的轉移

實驗 6b：Temporal Order with 8 Classes

任務定義

與實驗 6a 完全相同，只是多了一個 $t_3$ 時間點可以出現 $X,Y$。

• $t_2$ 時間點改成落在 $[33,43]$
• $t_3$ 時間點落在 $[66,76]$
• 類別變成 $8$ 種

LSTM 架構

參數	數值（或範圍）	備註
$d_{\mathrm{in}}$	$8$
$d_{\mathrm{hid}}$	$0$	沒有隱藏單元
$d_{\mathrm{block}}$	$2$
$n_{\mathrm{block}}$	$3$
$d_{\mathrm{out}}$	$8$
$\dim (w^{\mathrm{hid}})$	$0$	沒有隱藏單元
$\dim (w^{{\mathrm{block}}^k})$	$d_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{ig}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{og}})$	$n_{\mathrm{block}}\times [d_{\mathrm{in}}+n_{\mathrm{block}}\cdot (2+d_{\mathrm{block}})+1]$	全連接隱藏層，有額外使用偏差項
$\dim (w^{\mathrm{out}})$	$d_{\mathrm{out}}\times [n_{\mathrm{block}}\cdot d_{\mathrm{block}}+1]$	外部輸入沒有直接連接到總輸出，有額外使用偏差項
參數初始化範圍	$[-0.1,0.1]$
輸入閘門偏差項初始化範圍	$\{-2,-4,-6\}$	由大到小依序初始化不同記憶單元對應輸入閘門偏差項
Learning rate	$0.1$

實驗結果

見表格 9。