شبکه‌ی بازگشتی ساده

یک شبکه‌ی بازگشتی دنباله‌ی $X_1, \dots, X_L$ (هر کدام برداری به طول $p$) را یکی‌یکی می‌خواند. حالت پنهان $A_\ell$ (برداری به طول $K$) از ورودی همین گام و حالت گام قبل ساخته می‌شود، با همان وزن‌ها در همه‌ی گام‌ها:

و خروجی هر گام

تابع rnn_forward(X, W, U, b, beta) با X به شکل $L \times p$، W به شکل $K \times p$، U به شکل $K \times K$، b به طول $K$ و beta به طول $K + 1$ (اولین عضو $\beta_0$)، پشت‌سرهم برمی‌گرداند: همه‌ی خروجی‌ها $O_1, \dots, O_L$، و بعد حالت پنهان آخر $A_L$.