Régression tabulaire : quelle est la meilleure fonction de perte ?
Une étude réévalue les fonctions de perte en régression sur données tabulaires : la plupart ne battent pas le MSE, sauf la perte quantile bien exploitée.
👁 116 lectures
Le choix de la fonction objectif pour la régression avec des réseaux de neurones sur données tabulaires reste un paramètre souvent négligé. Une étude publiée par Danil Rudenko, Georgii Bulgakov, Nikolai Kartashev, Ivan Rubachev, Daniil Krasylnikov et Artem Babenko réévalue ces méthodes et met en évidence une faille méconnue de l’entraînement standard : les limites de l’early stopping global. Le code de leurs expériences est mis à disposition publiquement dans les références du papier.
Le problème : l’absence de comparatif rigoureux des fonctions de perte
L’application des réseaux de neurones aux données tabulaires représente un domaine de recherche très actif. Pourtant, le choix de la fonction objectif dans les tâches de régression restait, selon les termes des auteurs, un degré de liberté insuffisamment exploré. Plusieurs axes de recherche ont proposé des alternatives à l’erreur quadratique moyenne classique (MSE), mais l’hétérogénéité des jeux de données, des architectures de réseaux et des protocoles d’évaluation compliquait toute comparaison réelle des gains pratiques. Les chercheurs ont entrepris de combler ce vide.
Méthodologie : un banc d’essai face à une référence MSE solide
L’équipe a mené une réévaluation systématique des fonctions de perte pour la régression. Elles ont été testées sur un ensemble étendu de jeux de données tabulaires reconnus et sur plusieurs architectures de réseaux neuronaux différentes (la liste nominative n’est pas détaillée dans le texte). Le point de comparaison central reposait sur une baseline MSE soigneusement calibrée - un point sur lequel les auteurs insistent fortement pour éviter de comparer des alternatives à un modèle de base mal optimisé.
Résultats : la perte quantile comme seule véritable gagnante
Le verdict s’avère sévère pour une grande partie des propositions de la littérature spécialisée : la majorité d’entre elles n’apporte que des bénéfices limités ou irréguliers par rapport à un MSE bien ajusté. Une seule exception se distingue nettement : la perte quantile (quantile loss). Elle est la seule à afficher des améliorations globales et cohérentes face au MSE sur l’ensemble des architectures évaluées.
Une limite structurelle : les pièges de l’early stopping global
Même avec une meilleure fonction de perte, les auteurs ont mis en évidence un autre obstacle. Le mécanisme d’arrêt précoce (early stopping) est la technique habituelle pour interrompre l’entraînement dès que le modèle cesse de progresser sur le jeu de validation. Or, les chercheurs constatent que différentes régions de données - présentant des niveaux de bruit distincts sur la variable cible - atteignent leurs performances prédictives optimales à des époques d’entraînement différentes. Définir un point d’arrêt global impose par conséquent un compromis sous-optimal entre ces différentes zones, même lorsque la fonction de perte employée sait modéliser des distributions hétéroscédastiques. En clair : stopper l’apprentissage en un instant unique pénalise le modèle, car certaines portions de l’espace des variables mûrissent à un rythme différent.
La solution proposée : un lissage dépendant des entrées
Face à ce constat, les chercheurs introduisent une extension de la perte quantile prenant en compte l’hétéroscédasticité. Ce mécanisme s’appuie sur un lissage des étiquettes dépendant des variables d’entrée (input-dependent label smoothing). Les auteurs le présentent comme un remède potentiel, sans prétendre résoudre entièrement le dilemme. Cette méthode améliore néanmoins les scores par rapport à la perte quantile standard sur plusieurs architectures testées.
Ce que le document ne précise pas
Le résumé ne partage pas de chiffres précis sur l’ampleur exacte des gains, tels que le pourcentage de réduction de l’erreur de prédiction ou le nombre total de jeux de données utilisés. De même, les noms des architectures de réseaux et des fonctions de perte concurrentes écartées lors des tests ne sont pas mentionnés en détail.
Google · Vos sourcesPromptif plus haut dans Google - en un clicAjouter aux sources préférées →Notre analyse : ce qu’il faut en retenir
Selon nous, cette étude sert avant tout de mise en garde utile : il ne sert à rien d’adopter des fonctions de perte complexes ou à la mode sans avoir d’abord poussé l’optimisation d’un MSE standard, que la plupart des nouveautés peinent à surpasser. L’observation concernant l’early stopping s’avère particulièrement pertinente : cette contrainte concerne directement quiconque entraîne des modèles sur données tabulaires, alors qu’elle est rarement abordée. Sans bouleverser la discipline, ce travail clarifie la littérature existante et cible précisément une faiblesse cachée des pratiques d’entraînement courantes.
Source : arXiv cs.AI : Revisiting Tabular Deep Regression: Objectives and the Limits of Global Early Stopping (document du 12-10-2026). Cette synthèse a été établie à partir du texte complet de l’étude.
More on this from PROMPTIF
outils d'ia·Seedance 2.5 : 8 exemples de prompts et tests vidéo en pratiqueQue vaut Seedance 2.5 ? Plan-séquence de 30 s, extension, 18 références et tests réels : découvrez 8 exemples décortiqués avec leurs prompts et coûts.