Benchmark
Test standardisé servant à comparer les modèles (par ex. en mathématiques ou en programmation).
Un benchmark est un test standardisé servant à comparer les modèles : un ensemble de tâches en mathématiques, culture générale, programmation ou compréhension du langage, sur lequel chaque modèle obtient un score. C'est grâce aux benchmarks qu'on peut dire que le modèle X se débrouille mieux en code que Y. Il faut aborder les résultats avec réserve : les tests populaires « fuient » avec le temps dans les données d'entraînement, et les producteurs optimisent les modèles pour les métriques. C'est pourquoi aux côtés des benchmarks classiques émergent des classements basés sur des évaluations humaines en aveugle et des tests privés - et le meilleur benchmark reste votre propre tâche.