🚀 Introduction à la Science des Données

// Block de stabilisation OJS pour le projet Quarto
_stabilize = true

🕵️‍♂️ Mission Data Detective

🌪️ L’Art du Raffinage

La science des données s’est imposée comme le pivot central des architectures d’information modernes. Elle n’est plus une discipline technique isolée dans un laboratoire ; elle est le socle méthodologique sur lequel repose l’ensemble de la circulation de l’information d’une organisation.

L’objectif fondamental de la Data Science est de transformer un signal brut, souvent fragmenté et chaotique, en un actif stratégique capable de guider la prise de décision de haut niveau.

⚠️ Danger : Le Dark Data

Une donnée n’a pas de valeur statique. Si une organisation se contente de stocker de l’information sans vocation métier précise, elle accumule ce que l’on appelle du Dark Data (données sombres). Ces “friches industrielles” numériques génèrent des coûts de stockage énormes (serveurs, cloud) sans aucune valeur ajoutée.

flowchart LR
    A[(Données Brutes\nLe Chaos)] -->|Nettoyage & \nRaffinage| B(Information\nLe Contexte)
    B -->|Investigation &\nModélisation| C{Connaissance\nLes Motifs}
    C -->|Storytelling &\nDéploiement| D([Décision Métier\nL'Action])
    
    style A fill:#dc322f,stroke:#073642,stroke-width:2px,color:#fdf6e3
    style D fill:#859900,stroke:#073642,stroke-width:4px,color:#fdf6e3

🔎 Analyse Exploratoire (EDA)

Historiquement, cette philosophie de découverte de la valeur puise ses racines dans l’Analyse Exploratoire des Données (EDA), un concept popularisé par le mathématicien John Tukey dans les années 1970 (IBM, n.d.).

Contrairement à l’analyse confirmatoire classique (où l’on cherche simplement à valider ou infirmer une hypothèse préétablie), l’EDA se distingue par une approche d’investigation systématique. Le but ? Laisser la donnée “parler” d’elle-même pour révéler des structures, des anomalies (Outliers) ou des motifs cachés avant d’appliquer le moindre algorithme de Machine Learning complexe (IBM, n.d.).

C’est ce travail de détective qui constitue le premier rempart contre les conclusions hâtives et les biais algorithmiques.

💡 Concept Clé : EDA

EDA (Exploratory Data Analysis) : Phase d’investigation utilisant des statistiques descriptives et des outils visuels pour résumer les caractéristiques d’un jeu de données et découvrir des modèles cachés avant toute modélisation prédictive.

🎒 Astuce Pro : Éviter le Dark Data

Pour ne pas transformer votre base de données en cimetière numérique, chaque donnée collectée doit répondre à une question métier spécifique ou à un indicateur de performance (KPI) clairement identifié.

🕵️‍♂️ Simulateur d’Illusion : Ne faites jamais confiance aux résumés

Sélectionnez les différents jeux de données. Observez bien les statistiques descriptives (moyennes, corrélation) : elles sont strictement identiques. Pourtant, regardez ce que l’Analyse Exploratoire Visuelle (EDA) révèle…

// 2. Les Preuves : Ajout des parenthèses () autour de l'objet pour OJS
datasets = ({
  "α (Standard)": { 
    x: [10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5], 
    y: [8.04, 6.95, 7.58, 8.81, 8.33, 9.96, 7.24, 4.26, 10.84, 4.82, 5.68] 
  },
  "β (Non-linéaire)": { 
    x: [10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5], 
    y: [9.14, 8.14, 8.74, 8.77, 9.26, 8.10, 6.13, 3.10, 9.13, 7.26, 4.74] 
  },
  "γ (Outlier Y)": { 
    x: [10, 8, 13, 9, 11, 14, 6, 4, 12, 7, 5], 
    y: [7.46, 6.77, 12.74, 7.11, 7.81, 8.84, 6.08, 5.39, 8.15, 6.42, 5.73] 
  },
  "δ (Outlier X)": { 
    x: [8, 8, 8, 8, 8, 8, 8, 19, 8, 8, 8], 
    y: [6.58, 5.76, 7.71, 8.84, 8.47, 7.04, 5.25, 12.50, 5.56, 7.91, 6.89] 
  }
})

// 3. Interface de sélection
viewof selected_case = ui.toggle({
  options: Object.keys(datasets),
  value: "α (Standard)",
  states: {
    "α (Standard)": "success",
    "β (Non-linéaire)": "info",
    "γ (Outlier Y)": "warning",
    "δ (Outlier X)": "danger"
  }
})

current_data = datasets[selected_case]

case_colors = ({
  "α (Standard)": ui.colors.green,
  "β (Non-linéaire)": ui.colors.blue,
  "γ (Outlier Y)": ui.colors.orange,
  "δ (Outlier X)": ui.colors.red
})

// 4. Rendu des KPI (Molécules)
ui.render(`
  <div class="ui-metrics-row" style="margin-top: 15px; margin-bottom: 25px;">
    ${ui.metricCard({ title: "Moyenne (X)", value: "9.0", trend: "neutral", subtitle: "Immuable" })}
    ${ui.metricCard({ title: "Moyenne (Y)", value: "7.5", trend: "neutral", subtitle: "Immuable" })}
    ${ui.metricCard({ title: "Corrélation", value: "0.816", trend: "positive", subtitle: "Forte (Apparemment...)" })}
  </div>
`)

ui.plotlyWrapper({
  title: `Scène de crime : ${selected_case}`,
  height: ui.chart.height,
  data: [
    {
      x: current_data.x,
      y: current_data.y,
      mode: 'markers',
      type: 'scatter',
      name: 'Points',
      marker: { 
        size: ui.chart.markerSize, 
        color: case_colors[selected_case],
        line: { color: ui.colors.base03, width: ui.chart.markerLineWidth } 
      }
    },
    {
      x: [2, 20],
      y: [4, 13],
      mode: 'lines',
      type: 'scatter',
      name: 'Tendance (y = 3 + 0.5x)',
      line: {
        color: ui.colors.yellow,
        width: ui.chart.lineWidth,
        dash: 'dash'
      }
    }
  ],
  layout: {
    xaxis: { range: [2, 20], title: 'X' },
    yaxis: { range: [2, 14], title: 'Y' },
    margin: { t: 40, r: 20, b: 40, l: 40 },
    showlegend: true,
    legend: { orientation: 'h', y: -0.2 }
  }
})

🔄 De l’Acquisition au MLOps

💡 Concept Clé : Un Processus Industriel

L’Intelligence Artificielle n’est pas une intuition magique : c’est le résultat d’un processus industriel extrêmement structuré. Ce pipeline, souvent inspiré de standards comme CRISP-DM ou OSEMN, est ce que l’on appelle le Cycle de Vie de la Donnée.

Pour éviter que notre projet ne se transforme en un gouffre financier (ou que notre algorithme ne produise des résultats absurdes), tout projet d’Analyse de Données suit 7 étapes séquentielles et itératives (PM, n.d.).

🕰️ Les 7 Étapes de l’Investigation

Acquisition (L’Extraction) L’objectif est d’extraire le signal brut depuis diverses sources (API, Web Scraping, Capteurs IoT). C’est ici que l’on choisit l’architecture d’ingestion : Batch pour l’historique, ou Streaming pour le temps réel.

Nettoyage (Le Décrassage) Étape la plus chronophage (80 % du temps). Une donnée “sale” (doublons, formats invalides) condamne l’algorithme au principe du Garbage In, Garbage Out (GIGO).

Analyse Exploratoire (L’Interrogatoire) Phase d’investigation où l’on cherche des motifs, des corrélations ou des anomalies (Outliers) via des tests statistiques.

Visualisation (Le Témoignage) Transformer les chiffres indigestes en signaux actionnables visuellement compréhensibles via le Data Storytelling.

Modélisation (Le Profilage) C’est ici que l’IA entre en scène. À partir des données enrichies (Feature Engineering), un algorithme apprend à prédire le futur ou à classifier l’information.

Évaluation (L’Audit) Le modèle est audité via des métriques (F1-Score, RMSE) et des méthodes d’IA Explicable (XAI) pour comprendre pourquoi une décision a été prise.

Déploiement (La Mise sous Surveillance) Le modèle est mis en production. Le MLOps assure la surveillance continue pour détecter la dégradation naturelle des performances (Drift).

⚠️ Danger : L’Itération Infinie

Comme le montre ce pipeline, le cycle n’est pas strictement linéaire. Si une dérive (Drift) est détectée en production, il faut immédiatement relancer l’acquisition de nouvelles données pour ré-entraîner le modèle.

🎒 Astuce Pro : Le MLOps

Ne considérez jamais le déploiement comme une fin. Un bon “Raffineur” consacre autant d’énergie à la surveillance du modèle qu’à son entraînement initial.

et Operations. C’est l’ensemble des pratiques visant à déployer et maintenir des modèles d’IA en production de manière fiable et efficace.

📈 Simulateur de Dérive (Drift) : Le mythe de l’IA éternelle

En production, les performances d’un modèle se dégradent naturellement avec le temps (les comportements des utilisateurs changent, l’économie évolue…). C’est ce qu’on appelle la dérive (Concept Drift). Utilisez le curseur pour simuler l’intervention de l’équipe MLOps (ré-entraînement du modèle avec de nouvelles données) et observez l’impact sur la fiabilité de l’IA à la fin de l’année.

viewof intervention_month = Inputs.range([0, 11], {
  value: 0, 
  step: 1, 
  label: "🛠️ Mois du ré-entraînement MLOps (0 = Jamais) :"
})

// 2. Logique du modèle : Génération de la précision sur 12 mois
months = Array.from({length: 12}, (_, i) => i + 1)

calculate_accuracy = (month, intervention) => {
  // Dérive initiale (le modèle perd environ 2.5% de précision par mois)
  let base_acc = 95 - (month * 2.5)
  
  // Si l'équipe intervient, la précision remonte au mois de l'intervention
  if (intervention > 0 && month >= intervention) {
      let months_since_retrain = month - intervention
      base_acc = 95 - (months_since_retrain * 2.5)
  }
  
  // On s'assure que ça reste réaliste (pas en dessous de 50%)
  return Math.max(50, base_acc)
}

// Construction du tableau de données dynamique
accuracies = months.map(m => calculate_accuracy(m, intervention_month))

// 3. Extraction de la métrique clé pour la carte de score
final_accuracy = accuracies[11]
trend_color = final_accuracy >= 80 ? "positive" : (final_accuracy >= 65 ? "warning" : "negative")
trend_subtitle = intervention_month === 0 ? "Modèle à l'abandon" : (intervention_month < 6 ? "Intervention trop précoce" : "Modèle maintenu")

// 4. Rendu du KPI via ta molécule metricCard
ui.render(`
  <div class="ui-metrics-row">
    ${ui.metricCard({ 
      title: "Précision Finale (Mois 12)", 
      value: final_accuracy.toFixed(1) + " %", 
      trend: trend_color, 
      subtitle: trend_subtitle
    })}
  </div>
`)

// 5. Rendu du Graphique Plotly
ui.plotlyWrapper({
  title: "Surveillance MLOps en Production",
  height: ui.chart.height,
  data: [
    // Trace 1 : La courbe de précision
    {
      x: months,
      y: accuracies,
      mode: 'lines+markers',
      type: 'scatter',
      name: 'Précision',
      line: { color: ui.colors.blue, width: ui.chart.lineWidth },
      marker: { 
        size: ui.chart.markerSize, 
        color: ui.colors.blue,
        line: { color: ui.colors.base03, width: ui.chart.markerLineWidth }
      }
    },
    // Trace 2 (Optionnelle) : La ligne verticale d'intervention
    intervention_month > 0 ? {
      x: [intervention_month, intervention_month],
      y: [50, 100],
      mode: 'lines',
      name: 'Ré-entraînement',
      line: { color: ui.colors.orange, width: ui.chart.markerLineWidth, dash: 'dot' },
      hoverinfo: 'none'
    } : {}
  ].filter(trace => trace.x), // Le filter permet d'ignorer la trace 2 si on est à 0
  
  layout: {
    xaxis: { title: 'Temps en production (Mois)', tickmode: 'linear', dtick: 1 },
    yaxis: { title: 'Précision (%)', range: [50, 100] },
    margin: { t: 40, r: 20, b: 40, l: 40 },
    showlegend: false
  }
})

🌍 Applications Sectorielles

💡 Concept Clé : Du code à l’impact métier

Maîtriser les outils est essentiel, mais l’objectif final reste de résoudre des énigmes industrielles. La valeur d’un “Enquêteur Numérique” se mesure à sa capacité à traduire un défi métier (“Nos machines tombent en panne”) en un problème de données exploitable.

L’analyse de données alimente aujourd’hui des systèmes d’IA critiques dans la quasi-totalité des secteurs économiques.

🏛️ Les Scènes de Crime par Industrie

• 💸 Banque & Fintech : Secteur à haute tension où la donnée doit être traitée à la milliseconde.
  • Détection de Fraude : Analyse en temps réel des flux de transactions pour bloquer les “suspects” avant même qu’ils ne quittent la banque.
  • Scoring de Crédit : Profilage statistique pour évaluer la fiabilité d’un emprunteur.

⚖️ Le Dilemme du Banquier : Le coût d’une décision

Un modèle d’IA ne dit jamais “Ce client est un fraudeur”, il dit “Ce client a un score de risque de 72%”. C’est à vous, l’Enquêteur, de fixer la frontière (le seuil). Déplacez le curseur ci-dessous pour ajuster la sévérité de l’algorithme. Observez l’impact direct sur les clients légitimes (Faux Positifs) et sur l’argent perdu (Faux Négatifs).

legit_scores = Array.from({length: 400}, (_, i) => 
  Math.max(0, Math.min(100, 30 + Math.sin(i) * 15 + (i % 20) - 10))
)
// Fraudeurs : concentrés vers le haut (moyenne ~75)
fraud_scores = Array.from({length: 80}, (_, i) => 
  Math.max(0, Math.min(100, 75 + Math.cos(i) * 12 + (i % 15) - 7.5))
)

// 2. Input interactif : Le seuil de décision du Banquier
viewof decision_threshold = Inputs.range([10, 90], {
  value: 50, 
  step: 1, 
  label: "🚩 Seuil d'Alerte Fraude (Score) :"
})

// 3. Calcul des conséquences métier (Matrice de confusion simplifiée)
// Faux Positifs : Légitimes bloqués (Score > seuil)
fp_count = legit_scores.filter(s => s >= decision_threshold).length
// Faux Négatifs : Fraudeurs non détectés (Score < seuil)
fn_count = fraud_scores.filter(s => s < decision_threshold).length
// Vrais Positifs : Fraudeurs bloqués (Score >= seuil)
tp_count = fraud_scores.filter(s => s >= decision_threshold).length

// 4. Rendu des KPI (Impact Métier)
ui.render(`
  <div class="ui-metrics-row">
    ${ui.metricCard({ 
      title: "Fraudes Déjouées", 
      value: tp_count, 
      trend: "positive", 
      subtitle: "Vrais Positifs (Succès)" 
    })}
    ${ui.metricCard({ 
      title: "Clients Mécontents", 
      value: fp_count, 
      trend: fp_count > 50 ? "danger" : (fp_count > 20 ? "warning" : "positive"), 
      subtitle: "Bloqués à tort (Faux Positifs)" 
    })}
    ${ui.metricCard({ 
      title: "Fraudes Manquées", 
      value: fn_count, 
      trend: fn_count > 15 ? "danger" : (fn_count > 5 ? "warning" : "positive"), 
      subtitle: "Pertes €€€ (Faux Négatifs)" 
    })}
  </div>
`)

// 5. Rendu du Graphique Plotly (Histogrammes superposés)
ui.plotlyWrapper({
  title: "Distribution des Scores de Risque",
  height: ui.chart.height,
  data: [
    {
      x: legit_scores,
      type: 'histogram',
      name: 'Légitimes',
      marker: { color: ui.colors.green + "99" },
      xbins: { start: 0, end: 100, size: 2 }
    },
    {
      x: fraud_scores,
      type: 'histogram',
      name: 'Fraudeurs',
      marker: { color: ui.colors.red + "b3" },
      xbins: { start: 0, end: 100, size: 2 }
    }
  ],
  layout: {
    barmode: 'overlay', // Superposition des histogrammes pour voir le chevauchement
    xaxis: { title: 'Score de Risque de la Transaction', range: [0, 100] },
    yaxis: { title: 'Nombre de Transactions' },
    legend: { orientation: 'h', y: -0.2 },
    shapes: [
      // La ligne verticale représentant le seuil choisi par l'étudiant
      {
        type: 'line',
        x0: decision_threshold,
        x1: decision_threshold,
        y0: 0,
        y1: 1,
        yref: 'paper', // La ligne prend toute la hauteur du graphique
        line: { color: ui.colors.yellow, width: ui.chart.lineWidth, dash: 'dash' }
      }
    ]
  }
})

🕵️‍♂️ Le Décodeur de l’Enquêteur : La Matrice de Confusion

Pour un enquêteur, chaque décision de l’algorithme a une conséquence réelle. Voici la grille de lecture pour interpréter les verdicts du modèle :

	Réalité : Fraude (Positif)	Réalité : Légitime (Négatif)
Prédiction : Bloqué (Positif)	🟢 Vrais Positifs (TP) L’IA suspecte et bloque une fraude à juste titre. 👉 Impact : Argent sauvé !	🔴 Faux Positifs (FP) L’IA suspecte et bloque un client honnête à tort. 👉 Impact : Client frustré.
Prédiction : Autorisé (Négatif)	⚠️ Faux Négatifs (FN) L’IA ne détecte rien et laisse passer un fraudeur à tort. 👉 Impact : Perte financière.	🔵 Vrais Négatifs (TN) L’IA ne détecte rien et laisse passer un client honnête. 👉 Impact : Client heureux.

⚖️ Le Compromis Fondamental : Le Dilemme du Banquier

Il est statistiquement impossible d’avoir à la fois 0 Faux Positif et 0 Faux Négatif. Ajuster le seuil d’alerte déplace simplement le curseur du compromis : baisser le seuil élimine les fraudes (FN) mais bloque tous vos clients (FP), tandis que l’élever libère vos clients mais ouvre les portes aux fraudeurs. C’est l’essence même du Dilemme du Banquier.

• 🏭 Industrie 4.0 : L’usine connectée est une mine d’or d’indices.
  • Maintenance Prédictive : Analyse des vibrations et températures pour prédire une défaillance mécanique avant qu’elle ne paralyse la ligne de production. C’est l’art d’écouter les “murmures” des machines.
• 🩺 Santé & Génomique : Ici, l’erreur est fatale. La précision est l’unique règle.
  • Aide au diagnostic : Utilisation de la vision par ordinateur pour repérer des anomalies invisibles à l’œil nu sur des radiographies.

⚖️ L’Éthique de l’Enquêteur

Traiter des données réelles impose des responsabilités majeures. La gouvernance n’est pas une option, c’est un serment.

⚠️ Danger : Biais et Éthique

Si vos données d’entraînement sont biaisées, votre IA ne sera pas un juge impartial, mais un amplificateur de préjugés. Le respect du RGPD et le principe de Privacy by Design sont les garde-fous indispensables de votre mission (Harbi, Tidjon, and Khomh 2026).

🎒 Astuce Pro : Responsible AI

Documentez toujours la provenance de vos données (Data Lineage). Un verdict sans preuve de la qualité de la source n’a aucune valeur juridique ou métier.

🛠️ La Stack Python

💡 Concept Clé : Pourquoi Python ?

Python n’est pas le langage le plus rapide au monde, mais il domine l’IA grâce à son écosystème. Il agit comme un chef d’orchestre, pilotant des bibliothèques ultra-optimisées (C++/Rust) pour effectuer le travail lourd (IBM, n.d.).

Pour extraire la valeur des données, un bon “raffineur” doit maîtriser son équipement. Voici l’arsenal de référence.

🧰 Les Outils de Manipulation

Pandas & NumPy

Les Fondations

• NumPy : Le moteur mathématique pour les calculs matriciels.
• Pandas : L’établi de travail pour manipuler les DataFrames (tables).

Polars

La Performance brute L’alternative moderne écrite en Rust. Conçu pour les volumes massifs de données avec une exécution multithreadée.

🧠 Modélisation et Intelligence Artificielle

Scikit-Learn

Le Couteau Suisse Idéal pour le Machine Learning classique : classification, régression et détection d’anomalies.

PyTorch

L’Artillerie Lourde Dédié au Deep Learning et aux réseaux de neurones complexes (Vision, NLP).

📊 Visualisation des Preuves

Matplotlib, Seaborn & Plotly

De la preuve statique élégante (Seaborn) au tableau de bord interactif (Plotly), ces outils permettent de transformer des colonnes de chiffres en récits visuels percutants.

🎒 Astuce Pro : Le choix de l’outil

Commencez toujours par Pandas pour l’exploration rapide. Si vous atteignez les limites de la RAM ou que les temps de calcul deviennent critiques, passez à Polars.

💡 Concept Clé : DataFrame

Structure de données en deux dimensions (lignes et colonnes), centre névralgique de toute l’analyse de données moderne.

🌉 Conclusion et Transition

Nous avons maintenant une vision globale de ce qu’est la Data Science, de ses outils et de son cycle de vie. Mais avant de pouvoir analyser des données, il faut savoir comment les acquérir et surtout comprendre leur nature profonde.

C’est ce que nous allons explorer dans le Chapitre 1 : Acquisition et Compréhension des Données.

Harbi, Saud Hakem Al, Lionel Nganyewou Tidjon, and Foutse Khomh. 2026. “Responsible Design Patterns for Machine Learning Pipelines.” arXiv Preprint.

IBM. n.d. “What Is Exploratory Data Analysis?” https://www.ibm.com/think/topics/exploratory-data-analysis.

PM, Data Science. n.d. “What Is a Data Science Life Cycle?” https://www.datascience-pm.com/data-science-life-cycle/.