Machine Learning

TargetEncoder nativo: codificación por la variable objetivo sin fuga

El TargetEncoder de scikit-learn aplica un cross-fitting interno durante fit_transform: cada fila se codifica con medias calculadas sin ella, lo que neutraliza la fuga de la variable objetivo.

Requisitos

scikit-learn 1.3+

Python
from sklearn.preprocessing import TargetEncoder
from sklearn.pipeline import Pipeline
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.compose import ColumnTransformer

prep = ColumnTransformer([
    ("target_enc", TargetEncoder(cv=5, smooth="auto"), ["ville", "code_naf"]),
], remainder="passthrough")

pipe = Pipeline([
    ("prep", prep),
    ("clf", HistGradientBoostingClassifier(random_state=42)),
])
# fit_transform utilise le cross-fitting ; transform (en test) utilise
# l'encodage appris sur tout le train -> aucune fuite.
pipe.fit(X_train, y_train)

Resultado

Pipeline(steps=[('prep',
                 ColumnTransformer(remainder='passthrough',
                                   transformers=[('target_enc',
                                                  TargetEncoder(cv=5,
                                                                smooth='auto'),
                                                  ['ville', 'code_naf'])])),
                ('clf', HistGradientBoostingClassifier(random_state=42))])
TargetEncoderFuite de donnéesCardinalitéEncodage

Snippets relacionados

Volver al Data Lab