Gradient boosting
Le gradient boosting est une technique d’apprentissage ensembliste qui construit un modèle de prédiction en enchaînant des modèles faibles, typiquement des arbres de décision peu profonds. Chaque nouveau modèle s’entraîne pour corriger les erreurs (résidus) laissées par l’ensemble précédent, en s’appuyant sur le gradient de la fonction de perte — d’où le nom.
C’est une technique de boosting : les modèles s’ajoutent en séquence, contrairement au bagging (Random Forest) où ils s’entraînent en parallèle indépendamment les uns des autres. XGBoost est l’implémentation la plus utilisée aujourd’hui, réputée pour ses performances en compétition de data science.
En RH, le gradient boosting figure parmi les algorithmes les plus performants pour les modèles de scoring : prédiction de turnover, tri de candidatures, estimation de risque d’absentéisme. Son point fort : une précision souvent supérieure aux modèles simples. Son revers : plus coûteux à entraîner, plus sensible au réglage des paramètres, et moins lisible qu’un arbre de décision unique — un compromis précision/explicabilité à arbitrer selon l’usage RH visé.
Retrouvez tous les termes dans le lexique SIRH et IA de yapluqua.com.
Sources : DeepAI, Natekin & Knoll (2013, Frontiers in Neurorobotics).