Objectif : analyser et nettoyer des données avant de procéder à une feature selection

Contexte : une école en ligne veut s’étendre à l’international. À l’aide des données mondiales sur l’éducation, nous devons faire une proposition de pays par où commencer l’expansion.

Analyse exploratoire des données (EDA) : données manquantes, indicateurs…
Élimination des variables en-dessous d’un seuil de complétude défini
Sélection de 17 indicateurs sur 3665 initiaux (feature selection)
Création de variables pour répondre à la problématique (feature engeneering)
Proposition de 3 pays à l’aide d’autres indicateurs (force de proposition)

Objectif : analyser et nettoyer des données, effectuer des tests statistiques

Contexte : Avec les données sur les aliments, nous devons donner une idée d’application ainsi que sa faisabilité au vu des tests statistiques réalisés.

EDA : histogramme, nuage de points, densité de points, boîtes à moustache…
Nettoyage des données : valeurs aberrantes, données manquantes, lignes dupliquées…
Idée d’application : déduire le nutriscore à partir de 2 nutriments seulement
Premiers tests statistiques effectuées : régression linéaire
Réponse à la problématique : application faisable

Objectif : déterminer si l’on peut prédire la consommation électrique et les émissions de CO2 des bâtiments de Seattle

Contexte : Avec les données de 2015 et 2016, l’enjeu est de savoir si on peut prédire la consommation électrique et l’émission de CO2 pour un nouveau bâtiment de Seattle.

EDA et nettoyage des données : valeurs aberrantes, géolocalisation, outliers…
Feature engineering (création de variables : log, distances, moyennes…)
6 modèles testés : régressions linéaire/ridge/lasso, k-nn, random forest, gradient boosting
Analyse des feature importances pour éliminer les variables inutiles
Métriques pour mesurer la performance des modèles : R², RMSE, MAE, MAPE, SMAPE
Réponse : on peut établir des prédictions mais avec des incertitudes assez importantes

Objectif : effectuer un clustering pour distinguer des comportements clients

Contexte : Avec des données de commandes anonymisées sur deux ans, notre tâche est de départager les clients selon des critères à définir (localisation, pouvoir d’achat, etc.)

EDA et nettoyage des données : valeurs aberrantes, données manquantes, outliers…
Feature engineering : création de variables et jointure en un seul tableau
3 modèles de clustering testés : Kmeans, DBSCAN, hiérarchique
2 types de projection en 2D testés : PCA et t-SNE
Métriques pour mesurer la performance : silhouette, Davies-Bouldin, Calinski-Harabasz
Comportements clients : montant de la commande, catégories similaires de produit

Objectif : étudier la faisabilité d’un moteur de classification de produits à partir des images et des textes

Contexte : Les utilisateurs d’une marketplace peuvent poster leurs propres produits avec des photos et une description. L’enjeu est de savoir s’il est possible de classer automatiquement ces produits grâce aux images et aux textes.

Analyse de texte

Prétraitement de texte (NLP) : tokenisation, lemmatisation, stop words
Réduction dimensionnelle : TF, TF-IDF, NMF, LDA (topic modelling)
Modèles de classification : SGD, SVC, MultinomialNB, k-nn, random forest, ridge, PassiveAgressive, BernoulliNB…

Analyse d’image

Prétraitement d’images : redimensionnement, contraste, exposition, filtrage (bruit, Laplacien, Sobel…)
Détection de features d’une image avec ORB
Création de bags of visual words via Kmeans
Modèles de classification : k-nn, régression logistique, SVC linéaire, SVC à noyau, CNN (transfer learning via ResNet152)

Précision des prédictions sur 1000 produits :
MultinomialNB : 93%
CNN (ResNet152) : 68%

Objectif : créer un modèle de scoring pour noter les clients, prédire leur probabilité de défaut de paiement et créer un dashboard interactif via une API

Contexte : Nous devons évaluer la probabilité qu’a un client à pouvoir rembourser le crédit qu’il demande. Le dashboard doit permettre à la fois au banquier et au client de comprendre la décision de la banque.

Jointure des tables et feature engineering (min, max, mean, count, sum)
Nettoyage des données : complétude, données manquantes, variables corrélées

Métriques : recall et F1-score plus adaptées à la détection de faux négatifs (clients non fiables)
Modèles de prédiction : k-nn, SVM, Gaussian Process, Decision Tree, Random forest, Neural Net, Adaboost, Naive Bayes, QDA, XGBoost, LGBM, CatBoost
Méthodes pour améliorer la performance des modèles :
Modification de la fonction coût
Ré-échantillonnage des deux classes (fiable/pas fiable)

Création du dasboard interactif avec Streamlit
Récupération des données via une API avec Flask et PythonAnywhere

Objectif : Développer dans un environnement Big Data une première chaîne de traitement des données (passage à l’échelle)

Utilisation de Spark pour exécuter des calculs parallélisés et des services AWS (environnement Big Data)
Prétraitement d’images (OpenCV) et réduction dimensionnelle (bag of visual words) avec PySpark
Sauvegarde des livrables dans un bucket S3 sous format .csv

• Assurer la mise en œuvre de 2 plateformes et 3 sites internet Kuipers
  
• Assurer la réalisation complète des sites internets pour les clients
• Maintenir les sites internet techniquement et visuellement
• Mettre en œuvre et coordonner la cellule innovation avec les équipes d’experts et Avant-Vente
• Assurer la veille technologique et culturelle des tendances du marché
• Accompagner la recherche et la sélection de nouveaux partenaires innovation
• Conseiller et assurer la veille des prospects et clients pour accompagner la transformation de leur organisation (management de projets, analyse du contexte et des outils, animation d’ateliers…)
• Animer des ateliers et des conférences
  
• Contribuer à l’organisation des évènements (workshop, team building, atelier de travail)
  
• Assurer la qualité des livrables (plaquettes, PTC, présentations institutionnelles…)