راه
۵ کیو· متوسط رو به بالامتوسطPYTHON۴ ثانیه · ۲۵۶ مگابایت

بهینه‌ساز Adam

تابع adam(X, y, w0, lr, steps) رگرسیون خطی بدون عرض از مبدأ را با زیان nn.MSELoss — یعنی L(w)=1n∑i(xi⊤w−yi)2L(w) = \frac{1}{n}\sum_i (x_i^\top w - y_i)^2 و گرادیان 2nX⊤(Xw−y)\frac{2}{n}X^\top(Xw - y) — با Adam و همان پیش‌فرض‌های torch.optim.Adam کمینه می‌کند: β1=0.9\beta_1 = 0.9، β2=0.999\beta_2 = 0.999، ϵ=10−8\epsilon = 10^{-8}. از w=w0w = w_0 و m=v=0m = v = 0، در گام t=1,2,…t = 1, 2, \dots:

m←β1m+(1−β1)gv←β2v+(1−β2)g2m \leftarrow \beta_1 m + (1 - \beta_1)g \qquad v \leftarrow \beta_2 v + (1 - \beta_2)g^2 m^=m1−β1tv^=v1−β2tw←w−lr m^v^+ϵ\hat m = \frac{m}{1 - \beta_1^t} \qquad \hat v = \frac{v}{1 - \beta_2^t} \qquad w \leftarrow w - \text{lr}\,\frac{\hat m}{\sqrt{\hat v} + \epsilon}

همه با داده‌ی کامل (نه دسته‌ای). بعد از steps گام، ww را برگردانید.

نمونه‌ها

ورودی نمونه ۱
[[[0.35, 0.82], [0.33, -1.3], [0.91, 0.45], [-0.54, 0.58], [0.36, 0.29], [0.03, 0.55]], [-0.92, 0.12, -1.47, 0.51, -0.87, -0.3], [0.0, 0.0], 0.1, 5]
خروجی نمونه ۱
[-0.4953, -0.4726]

برای نوشتن پاسخ و دریافت امتیاز، ابتدا وارد حساب شوید.

ورود