2 🧹 Data Wrangling (Nettoyage et Préparation)

2.1 🔍 Valeurs Manquantes

💡 Concept Clé : Le Mythe du Dataset Parfait

Dans l’investigation numérique, le Data Wrangling est le socle de l’intégrité du verdict. Le premier défi est la donnée manquante (NaN). Avant de “boucher un trou”, l’enquêteur doit se demander : “Pourquoi cet indice a-t-il été effacé ?”

2.1.1 🕵️‍♂️ Mécanismes de l’Absence

La stratégie de traitement dépend de la nature statistique de l’absence :

MCAR

Aléatoire Pur L’absence est un pur hasard.

Exemple : Une goutte de café sur un formulaire rend l’âge illisible.

MAR

Aléatoire Conditionnel L’absence dépend d’une autre variable connue.

Exemple : Un capteur omet le rythme cardiaque uniquement quand le patient dort.

MNAR

Non Aléatoire L’absence dépend de la valeur elle-même.

Exemple : Les hauts revenus refusent de déclarer leur salaire. L’absence est un indice en soi.

2.1.2 🛠️ Stratégies de Traitement

# ❌ Suppression des lignes avec au moins un NaN
df_clean = df.dropna()

# ❌ Suppression d'une colonne trop vide
df_clean = df.drop(columns=['Variable_Inutile'])

Verdict : À n’utiliser que si le manque est MCAR et représente moins de 5% du total. Risque majeur de perte d’information.

# ✅ Remplissage par la Médiane (Robuste aux outliers)
df['Salaire'] = df['Salaire'].fillna(df['Salaire'].median())

# ✅ Remplissage par le Mode (Pour le qualitatif)
df['Ville'] = df['Ville'].fillna(df['Ville'].mode()[0])

Verdict : Préserve la taille du dataset, mais réduit la variance globale.

from sklearn.impute import IterativeImputer

# 🚀 Utilise l'IA pour "deviner" les valeurs manquantes
imputer = IterativeImputer(max_iter=10, random_state=42)
df_impute = pd.DataFrame(imputer.fit_transform(df), columns=df.columns)

Verdict : La méthode la plus rigoureuse. Utilise les corrélations entre variables pour estimer l’absence.

⚠️ Danger : Ignorer le MNAR

Si vos données sont MNAR, boucher les trous sans précaution détruit l’information. Astuce Pro : Créez une colonne binaire Salaire_Est_Manquant pour que le modèle “sache” qu’il y a eu une absence suspecte.

🎒 Astuce Pro : Séries Temporelles

Pour les flux chronologiques (Bourse, IoT), utilisez la méthode LOCF (Last Observation Carried Forward) : df.fillna(method='ffill').

2.2 🕵️‍♂️ Mission 1

L’inspecteur principal vous a transmis un dossier contenant les données de toutes les personnes présentes sur les lieux. Voici comment la base a été constituée :

import pandas as pd
import numpy as np

data = {
    'nom': ['Alice', 'Bob', 'Charlie', 'Diana', 'Eve'],
    'age': [25, np.nan, 35, 42, np.nan],
    'has_alibi': [True, False, False, True, False]
}
df_suspects = pd.DataFrame(data)

Cependant, la base est bruitée. Votre premier objectif : nettoyer les valeurs manquantes et filtrer les suspects qui ont un alibi (colonne has_alibi).

Complétez le code ci-dessous pour démasquer les coupables potentiels.

2.3 🧹 Harmonisation & Correction

L’enfer des données saisies manuellement

L’hétérogénéité des formats est un obstacle majeur au traitement algorithmique automatisé. Un algorithme de Machine Learning est d’une bêtise absolue concernant la sémantique : pour lui, “Homme”, “homme” et “H” (avec un espace à la fin) sont trois catégories totalement distinctes. L’uniformité est la règle d’or pour éviter la dilution de la puissance statistique de votre modèle.

L’harmonisation est une étape de nettoyage stricte visant à unifier le “grain” de la donnée. Elle repose sur deux piliers principaux : le traitement du texte libre et la standardisation temporelle.

2.3.1 🔤 Nettoyage Typographique

Les données issues de formulaires ou de saisies manuelles sont systématiquement polluées par des erreurs typographiques. Les corriger nécessite une approche industrielle.

Les Règles d’Or de la Typographie :

La Casse Unifiée : Tout convertir en minuscules (ou majuscules) pour regrouper les variations d’une même entité.
Le Trim (Élagage) : Supprimer les espaces invisibles en début et fin de chaîne.
Le Remplacement (Regex) : Utiliser les expressions régulières pour supprimer les caractères spéciaux indésirables ou extraire des motifs précis.

import pandas as pd

# ❌ Avant : ['  Homme', 'homme', 'H', 'Femme ']
df['Genre'] = df['Genre'].str.lower()       # Étape 1 : Tout en minuscules -> ['  homme', 'homme', 'h', 'femme ']
df['Genre'] = df['Genre'].str.strip()       # Étape 2 : Enlever les espaces -> ['homme', 'homme', 'h', 'femme']
df['Genre'] = df['Genre'].replace({'h': 'homme', 'f': 'femme'}) # Étape 3 : Mapping
# ✅ Après : ['homme', 'homme', 'homme', 'femme']

2.3.2 ⏱️ Standardisation Temporelle

Des dates saisies sous des formats multiples (12/04/2026, 2026-04-12, 12 April 26) empêchent toute agrégation cohérente et ruinent les modèles de séries temporelles.

Le Standard Industriel : ISO 8601

L’imposition du format standard international AAAA-MM-JJ (Année-Mois-Jour) garantit une manipulation sans erreur par toutes les bibliothèques logicielles (Python, SQL, Spark).

De plus, il est souvent critique d’extraire des Features (Caractéristiques) Temporelles à partir d’une date (comme le jour de la semaine ou le mois) car l’algorithme ne “comprend” pas une date brute.

# Convertir une colonne hétérogène en un objet Datetime standardisé
df['Date_Achat'] = pd.to_datetime(df['Date_Achat'], format='mixed')

# Extraction d'informations temporelles (Feature Engineering de base)
df['Annee'] = df['Date_Achat'].dt.year
df['Mois'] = df['Date_Achat'].dt.month
df['Est_Weekend'] = df['Date_Achat'].dt.dayofweek > 4 # Retourne un booléen

Validation de Domaine

Une fois vos données harmonisées, appliquez toujours une Validation de Domaine. S’assurer que les données respectent les plages de valeurs logiques propres au métier (ex: l’âge ne peut pas être de 250 ans, un mois ne peut pas dépasser 12) est la dernière barrière de sécurité avant la modélisation.

2.4 📈 Transformation et Normalisation

Le problème des échelles disparates

Imaginez que vous prédisiez le prix d’une maison avec deux variables : le Nombre de chambres (entre 1 et 5) et le Prix du terrain (entre 10 000 et 1 000 000 €). Pour un algorithme mathématique (comme un réseau de neurones), la variable avec les plus grands nombres va “écraser” l’autre lors du calcul des gradients, la rendant virtuellement invisible. La transformation numérique ramène tout le monde sur un pied d’égalité.

Il existe deux grandes approches pour résoudre ce problème, avec des formules et des cas d’usage très différents.

2.4.1 📏 Normalisation (Min-Max)

La normalisation compresse (ou étire) les données pour qu’elles s’insèrent exactement dans une plage définie, généralement entre 0 et 1.

La mathématique (Formule LaTeX) : X_{norm} = \frac{X - X_{min}}{X_{max} - X_{min}}

Avantage : Maintient toutes les données dans des limites strictes.
Le Piège : Comme elle utilise le X_{min} et le X_{max}, elle est extrêmement vulnérable aux valeurs aberrantes (Outliers). Si une seule maison coûte 1 milliard d’euros (une erreur de saisie), toutes les autres maisons seront écrasées autour de 0.001.

2.4.2 🎯 Standardisation (Z-Score)

La standardisation ne fixe pas de limites strictes. Elle décale les données pour que la distribution soit centrée sur une moyenne (\mu) de 0, avec un écart-type (\sigma) de 1.

La mathématique : Z = \frac{X - \mu}{\sigma}

Avantage : Elle gère globalement mieux les variations naturelles et ne fige pas les données. Elle est indispensable lorsque les données sont collectées sous des conditions variables (ex: variations d’éclairage pour des images).
Alternative pour les extrêmes : S’il y a trop de valeurs aberrantes, on utilise le Robust Scaler. Au lieu de la moyenne, il centre sur la médiane et divise par l’écart interquartile (IQR).

2.4.3 ⚠️ Impact selon l’Algorithme

C’est ici que l’ingénieur se distingue du débutant. Faut-il toujours “scaler” ses données ? Non. Cela dépend de l’algorithme choisi.

🟢 Indispensable (Distance & Gradients) : Pour les modèles basés sur le calcul de distances géométriques (K-Nearest Neighbors, SVM) ou sur la descente de gradient (Réseaux de Neurones, Régression Logistique). Une variable sur une grande échelle dominerait les plus petites et ralentirait dramatiquement la convergence.
🔴 Inutile (Modèles basés sur les Arbres) : Pour les algorithmes d’ensemble (Arbres de Décision, Random Forest, XGBoost, LightGBM). Ces modèles divisent les données grâce à des comparaisons de seuils logiques (Si \, X > 10). Les transformations (Z-score ou Min-Max) sont dites monotones : elles préservent l’ordre absolu. Que le seuil soit 10 ou 0.85, la coupure de l’arbre sera mathématiquement identique.

Focus Deep Learning : Batchnorm et CMN

Pour des architectures IA complexes, on intègre cette mise à l’échelle directement dans le modèle. Par exemple, la Batchnorm (Normalisation par lots) stabilise l’apprentissage à chaque couche d’un réseau de neurones. En analyse audio (reconnaissance vocale type LibriSpeech), on utilise la CMN (Cepstral Mean Normalization) pour gommer les distorsions liées au bruit ambiant.

2.5 🕵️‍♂️ Mission 2

Votre instinct était bon : Charlie tente de fuir par la mer ! L’inspecteur principal vient de vous faire parvenir le registre piraté des départs maritimes d’aujourd’hui.

Exécutez la cellule ci-dessous pour consulter ce nouveau registre :

import pandas as pd

# Registre des embarquements du jour
donnees_port = {
    'passager': ['Alice', 'Bob', 'Charlie', 'Diana', 'Zoe'],
    'navire': ['Le Triton', 'L\'Océan', 'La Mouette', 'L\'Océan', 'Le Poséidon'],
    'quai': [4, 12, 7, 12, 2]
}
df_embarquements = pd.DataFrame(donnees_port)

print("Registre maritime téléchargé.")
display(df_embarquements)

Votre objectif : Croiser (joindre) la liste de vos coupables potentiels avec ce registre maritime pour découvrir où se cache Charlie. Indice : Regardez bien le nom des colonnes contenant les noms des individus dans les deux tables !

2.6 🏷️ Encodage des Variables

La barrière de la langue algorithmique

Le Machine Learning est une discipline purement mathématique : il calcule des gradients, des distances et des probabilités. Par conséquent, il ne peut traiter nativement que des nombres. Si vous lui donnez une colonne “Ville” avec “Paris”, “Lyon” et “Marseille”, il plantera. La conversion des variables catégorielles (textuelles) en format numérique est donc une étape obligatoire.

L’expert doit arbitrer entre plusieurs techniques d’encodage selon la nature des catégories et leur cardinalité (le nombre de valeurs uniques).

2.6.1 🧮 Méthodes Classiques

Le Label Encoding (Étiquettes) : Attribue simplement un nombre entier unique à chaque catégorie (ex: Paris=1, Lyon=2, Marseille=3).
- Le Piège : Cette méthode introduit un “ordre artificiel” (2 est plus grand que 1). Si la variable est nominale (sans ordre), le modèle peut déduire à tort que Lyon est supérieur à Paris.
- Quand l’utiliser ? Uniquement pour les variables ordinales (ex: Tailles de vêtement S=1, M=2, L=3).
Le One-Hot Encoding (Binaire) : Crée une nouvelle colonne binaire (0 ou 1) pour chaque modalité possible de la variable catégorielle.
- L’Avantage : Parfait pour éviter un ordre artificiel sur des variables nominales.
- Le Piège : Si vous avez une variable “Code Postal” (36 000 valeurs), vous allez créer 36 000 nouvelles colonnes ! C’est ce qu’on appelle le fléau de la dimensionnalité, qui sature la RAM et provoque du surapprentissage (Overfitting).

2.6.2 🚀 Méthodes Avancées

Quand le One-Hot Encoding fait exploser votre mémoire, il faut ruser. L’industrie utilise souvent la bibliothèque category_encoders pour cela.

Le Target Encoding (Moyenne Cible) : Substitue une catégorie par une statistique tirée de la variable cible (ce qu’on cherche à prédire). Par exemple, on remplace “Paris” par le taux de fraude moyen observé à Paris sur l’ensemble d’entraînement.
- Avantage : Ne crée aucune nouvelle colonne, très performant pour les modèles basés sur les arbres (XGBoost).
- Danger (Target Leakage) : Risque majeur de “fuite de la cible”. Si on calcule la moyenne en incluant la ligne en cours, le modèle prend par cœur le résultat au lieu de le prédire. Il faut appliquer un “lissage” ou calculer la moyenne en excluant la ligne actuelle (Leave-one-out).
Le Hashing Encoder (Hachage) : Projette les catégories dans un espace fini (un nombre défini de colonnes, ex: 8 bits) via une fonction de hachage (comme MD5), sans jamais stocker le dictionnaire d’origine.
- Avantage : Empreinte mémoire minuscule et constante. Accepte de nouvelles catégories “inconnues” en production sans planter.
- Inconvénient : Accepte les “collisions” (deux mots différents peuvent être hachés dans la même colonne), ce qui entraîne une légère perte d’information au profit de la vitesse.

2.6.3 💻 Implémentation en Python

import pandas as pd
from category_encoders import TargetEncoder, HashingEncoder

# 1. One-Hot Encoding natif avec Pandas (pour faible cardinalité)
df_onehot = pd.get_dummies(df, columns=['Genre'], drop_first=True)

# 2. Target Encoding (Scikit-learn Contrib)
# On encode la variable "Ville" en fonction de la variable cible "A_Fraude"
target_enc = TargetEncoder(smoothing=10) # Le smoothing évite le Target Leakage
df['Ville_Encoded'] = target_enc.fit_transform(df['Ville'], df['A_Fraude'])

# 3. Hashing Encoder (Pour les très hautes cardinalités comme "ID_Produit")
# On force le résultat sur seulement 8 colonnes (n_components=8)
hash_enc = HashingEncoder(cols=['ID_Produit'], n_components=8)
df_hashed = hash_enc.fit_transform(df)

2.7 TP1 : Le Titanic

2.8 🌉 Conclusion et Transition

Vos données sont maintenant propres et prêtes à être analysées. L’étape suivante consiste à explorer ces données pour en extraire des tendances et des relations.

C’est ce que nous allons voir dans le Chapitre 3 : Analyse Exploratoire des Données (EDA).