softmax پایدار

تابع softmax(Z) ماتریس امتیازها $Z$ (شکل $n \times K$؛ هر سطر امتیاز $K$ کلاس برای یک نمونه) را می‌گیرد و هر سطر را به احتمال تبدیل می‌کند:

امتیازها ممکن است خیلی بزرگ باشند — مثلاً ۱۰۰۰ — و np.exp(1000) بی‌نهایت می‌شود. پیش از توان، بیشینه‌ی هر سطر را از همان سطر کم کنید؛ جواب عوض نمی‌شود ولی سرریز نمی‌کند.