لایه‌ی خطی با گذر رو به عقب

nn.Linear در PyTorch وزنی به شکل (out, in) دارد و برای دسته‌ی $X$ (شکل $n \times \text{in}$) حساب می‌کند:

هر لایه دو کار بلد است: forward خروجی را می‌سازد و هرچه برای مشتق لازم دارد نگه می‌دارد؛ backward(G) مشتق زیان نسبت به خروجی‌اش ($G = \partial L/\partial Y$، هم‌شکل $Y$) را می‌گیرد، مشتق پارامترهایش را ذخیره می‌کند، و مشتق نسبت به ورودی‌اش را برمی‌گرداند تا لایه‌ی قبلی ادامه دهد:

ReLU و Sequential آماده‌اند. کلاس Linear را کامل کنید. تابع layer_grads(X, W1, b1, W2, b2, G) شبکه‌ی Linear → ReLU → Linear را می‌سازد، گذر رو به جلو را اجرا می‌کند، G را به‌عنوان مشتق خروجی به عقب می‌فرستد، و این‌ها را پشت‌سرهم برمی‌گرداند: dW1 (سطر به سطر)، db1، dW2، db2 و dX — همان چیزی که PyTorch بعد از out.backward(G) در .grad ها می‌گذارد.