راه
۵ کیو· متوسط رو به بالامتوسطPYTHON۴ ثانیه · ۲۵۶ مگابایت

tf-idf

TfidfTransformer (و TfidfVectorizer) با تنظیم‌های پیش‌فرض، ماتریس شمارش CC — سطرها سند، ستون‌ها واژه — را این‌طور وزن می‌دهد. با nn سند و dfj\text{df}_j تعداد سندهایی که واژه‌ی jj در آن‌ها دست‌کم یک بار آمده:

idfj=ln⁡1+n1+dfj+1\text{idf}_j = \ln\frac{1 + n}{1 + \text{df}_j} + 1

(یک‌ها برای «هموارسازی» اند: انگار سندی ساختگی همه‌ی واژه‌ها را یک بار دارد، و هیچ واژه‌ای وزن صفر نمی‌گیرد.) سپس

xij=Cij idfjx_{ij} = C_{ij}\,\text{idf}_j

و در آخر هر سطر به طول (نُرم اقلیدسی) یک تقسیم می‌شود. سطری که همه‌اش صفر است، صفر می‌ماند.

تابع tfidf(C) ماتریس xx را برمی‌گرداند.

نمونه‌ها

ورودی نمونه ۱
[[[1, 2, 3, 3], [0, 0, 3, 0], [0, 1, 3, 1]]]
خروجی نمونه ۱
[[0.2929, 0.4455, 0.5189, 0.6682], [0.0, 0.0, 1.0, 0.0], [0.0, 0.3669, 0.8548, 0.3669]]

برای نوشتن پاسخ و دریافت امتیاز، ابتدا وارد حساب شوید.

ورود