۴ کیو· سختپیشرفتهPYTHON۴ ثانیه · ۲۵۶ مگابایت

پس‌انتشار

همان شبکه‌ی تک‌لایه‌ی ReLU درس اول، $f(x_i) = \beta_0 + \sum_k\beta_kA_{ik}$ با $A_{ik} = g(z_{ik})$ و $z_{ik} = w_{k0} + \sum_j w_{kj}x_{ij}$ ، با زیان

R(\theta) = \frac{1}{2n}\sum_{i=1}^{n}\big(y_i - f(x_i)\big)^2

تابع gradients(X, y, W, beta) گرادیان $R$ را نسبت به همه‌ی پارامترها با قاعده‌ی زنجیره‌ای حساب می‌کند. با $r_i = f(x_i) - y_i$ :

\frac{\partial R}{\partial\beta_0} = \frac{1}{n}\sum_i r_i \qquad \frac{\partial R}{\partial\beta_k} = \frac{1}{n}\sum_i r_iA_{ik}

\frac{\partial R}{\partial w_{kj}} = \frac{1}{n}\sum_i r_i\,\beta_k\,g'(z_{ik})\,x_{ij} \qquad (x_{i0} = 1)

که $g'(z) = 1$ اگر $z > 0$ و وگرنه صفر. خروجی: گرادیان W (شکل $K \times (p + 1)$ ، سطر به سطر) و بعد گرادیان beta، همه پشت‌سرهم.

نمونه‌ها

ورودی نمونه ۱

[[[-0.8, 0.24], [-1.66, 0.66], [1.14, -0.45], [0.43, 0.25]], [-0.58, -0.82, 0.92, 0.53], [[-0.28, -0.6, -1.42], [0.99, -0.03, 1.77], [0.58, 0.19, -0.46]], [0.97, -0.35, 1.1, -0.28]]

خروجی نمونه ۱

[0.0, 0.0, 0.0, 2.4902, -2.3944, 1.1006, -0.3386, 0.1193, -0.0852, 2.2638, 0.0, 4.0774, 0.4803]

ورودی نمونه ۲

[[[-1.1, -0.73, -0.78], [0.27, -0.25, 0.13], [0.84, 0.86, 0.48], [-0.45, -0.75, -0.81], [-0.34, -0.05, -0.97], [-1.13, 0.31, -1.85]], [-1.31, 0.26, 0.91, -0.77, -0.77, -1.88], [[-0.12, 0.3, -0.69, -0.78], [-0.53, 0.45, -0.09, -1.31], [-0.3, 0.71, 0.69, 0.44], [-0.17, -1.29, 0.12, -0.12]], [0.05, 1.08, 0.13, 0.19, 0.42]]

خروجی نمونه ۲

[1.7471, -1.5204, -0.4217, -2.1505, 0.2141, -0.182, -0.0517, -0.2584, -0.0206, -0.0173, -0.0177, -0.0099, 0.6917, -0.588, -0.167, -0.8347, 1.5093, 1.2061, 1.1365, -0.1194, 1.7166]

برای نوشتن پاسخ و دریافت امتیاز، ابتدا وارد حساب شوید.

ورود