Dictionnaire IA / Streaming
⚙️ Technika
Streaming
Envoi de la réponse en direct, token par token - d'où l'effet d'« écriture » du chat à l'écran.
Le streaming est un mode dans lequel le modèle envoie la réponse en continu, token par token, au lieu d'attendre la fin de la génération complète. C'est grâce à lui que les chats « écrivent » à l'écran comme un humain au clavier. Au-delà de l'effet visuel, le streaming a une utilité pratique : l'utilisateur commence à lire immédiatement, donc la latence perçue diminue, et les longues réponses peuvent être interrompues en cours, économisant temps et coûts. Dans les API, c'est une option standard lors de la construction d'applications personnalisées.