مشتق‌گیری خودکار کوچک خودتان

loss.backward() در PyTorch چه می‌کند؟ این‌جا یک نسخه‌ی کوچکش را برای عددها می‌سازید.

کلاس Value یک عدد است که یادش می‌ماند از کدام عددها (_parents) ساخته شده. هر عمل یک Value تازه می‌سازد و به آن یک تابع _backward می‌دهد که مشتق رسیده به خروجی را، ضرب در مشتق محلی، به والدها اضافه می‌کند:

• جمع $c = a + b$: به هر دو والد c.grad اضافه می‌شود.
• ضرب $c = a \cdot b$: به $a$ مقدار b.data * c.grad و به $b$ مقدار a.data * c.grad.
• $c = \tanh(a)$: به $a$ مقدار $(1 - c^2)$ ضرب در c.grad.

backward() همه‌ی گره‌های گراف را به ترتیب توپولوژیک مرتب می‌کند (هر گره بعد از والدهایش)، grad خودِ خروجی را یک می‌گذارد، و _backward گره‌ها را از آخر به اول صدا می‌زند.

مشتق‌ها جمع می‌شوند، نه جایگزین: در d * d هر دو والد یک گره‌اند و مشتقش باید $2d$ شود؛ و هر پارامتر در جمله‌ی همه‌ی نمونه‌ها به کار رفته.

تابع autograd(x, y, p) — که آماده است و به آن دست نزنید — با p = [w1, b1, w2, b2, w3] این زیان را می‌سازد:

و [L, dL/dw1, dL/db1, dL/dw2, dL/db2, dL/dw3] را برمی‌گرداند. شما __add__، __mul__، tanh و backward را کامل کنید.