توجه ضرب‌داخلی مقیاس‌شده

لایه‌ی توجه (attention) برای هر جای دنباله، میانگینی وزن‌دار از اطلاعات همه‌ی جاها می‌سازد. هر جا سه بردار دارد: پرسش $q$، کلید $k$ و مقدار $v$. وزن جای $j$ برای جای $i$ از شباهت پرسش $i$ با کلید $j$ می‌آید:

با $Q$ و $K$ به شکل $n \times d$ و $V$ به شکل $n \times d_v$. تقسیم بر $\sqrt{d}$ نمی‌گذارد ضرب‌های داخلی با بزرگ شدن $d$ آن‌قدر بزرگ شوند که softmax تقریباً یک‌داغ شود.

در توجه علّی (causal) — مثل مدل‌های زبانی که کلمه‌ی بعد را پیش‌بینی می‌کنند — جای $i$ فقط جاهای $j \le i$ را می‌بیند: پیش از softmax، $S_{ij}$ برای $j > i$ برابر $-\infty$ می‌شود (وزنش صفر).

تابع attention(Q, K, V, causal) خروجی $n \times d_v$ را برمی‌گرداند؛ causal یک یا صفر است. softmax را پایدار حساب کنید: بیشینه‌ی هر سطر را پیش از نمایی کردن کم کنید.