Latence
Temps entre l'envoi de la requête et le premier mot de la réponse.
La latence est le délai entre l'envoi d'une requête et la réaction du modèle - en pratique, on mesure le plus souvent le temps jusqu'au premier token de réponse. Pour une conversation vocale fluide ou l'autocomplétion de code, les fractions de seconde comptent ; lors de la génération d'un rapport, la latence importe moins. La latence dépend de la taille du modèle, de la charge des serveurs, de la longueur du prompt et du mode de fonctionnement (les modèles de raisonnement « réfléchissent » sensiblement plus longtemps). Les créateurs d'applications jonglent souvent entre modèles : un rapide pour les réactions immédiates, un puissant pour les tâches où l'utilisateur peut attendre.