Dictionnaire IA / Inference
⚙️ Technika
Inference
Moment où le modèle génère une réponse à votre requête (par opposition à l'entraînement).
L'inference (inférence) est la phase où le modèle entraîné est utilisé : il reçoit votre requête et génère une réponse, token par token. Cela distingue l'usage quotidien du modèle de l'entraînement, qui s'est déroulé une fois, auparavant, sur d'énormes données. Les coûts des services IA sont principalement des coûts d'inférence - c'est pourquoi les fournisseurs les optimisent par quantification, meilleur matériel et architectures type MoE. Quand un chat « écrit » une réponse en direct, vous observez l'inférence en temps réel, généralement en mode streaming.
Concepts associés