نشت داده در انتخاب ویژگی

تابع leak_report(seed) نشان می‌دهد پیش‌پردازشی که بیرون از اعتبارسنجی متقاطع انجام شود چقدر گمراه‌کننده است. داده کاملاً تصادفی است — هیچ رابطه‌ای بین X و y نیست:

rng = np.random.default_rng(seed)
X = rng.normal(size=(100, 10000))
y = rng.normal(size=100)

دو عدد برگردانید، هر دو میانگین $R^2$ اعتبارسنجی متقاطع ۵-تایی (cross_val_score(..., cv=5)):

1. با نشت: اول SelectPercentile(f_regression, percentile=5) را روی همه‌ی داده برازش دهید و ستون‌های انتخاب‌شده را بگیرید؛ بعد cross_val_score(Ridge(), X_selected, y, cv=5).
2. بدون نشت: cross_val_score(make_pipeline(SelectPercentile(f_regression, percentile=5), Ridge()), X, y, cv=5).