Tests IA indépendants : Labo Promptif

👁 125 lectures

Le Labo Promptif réunit l’ensemble de mes bancs d’essai indépendants consacrés à l’intelligence artificielle : modèles de langage, générateurs vidéo, d’images, outils vocaux et modèles locaux exécutés sur ma carte RTX 4090. Chaque test indique sa date, le volume d’échantillons, la méthode détaillée, le coût réel et, quand c’est possible, les données brutes téléchargeables.

Mon protocole de test

J’applique des règles rigoureuses et constantes à chaque banc d’essai. Vous pouvez consulter les grands principes sur la page détaillant ma méthode de test.

• Mêmes requêtes et paramètres identiques. Tous les modèles évalués reçoivent une consigne strictement identique avec les mêmes réglages, par exemple un raisonnement configuré au niveau bas (effort=low) pour le texte. Les visuels et clips vidéo sont générés en un seul essai, sans relancer de tirage ni retenir les versions les plus séduisantes.
• Évaluations en aveugle en l’absence de réponse unique. Pour les épreuves d’écriture, les résultats sont notés sous identifiants anonymisés par trois modèles juges distincts ; si un juge provient du même éditeur que le modèle évalué, sa note est écartée. Les comparatifs audio vous permettent d’écouter les voix en aveugle à volume égalisé.
• Mesure objective plutôt qu’impression visuelle. La clarté vocale est mesurée par reconnaissance vocale Whisper large-v3 via le taux d’erreur de mots, le texte dans les images est contrôlé caractère par caractère, la mise en page et les retouches sont vérifiées par IoU et SSIM, et les quiz par une grille de correction. Les jetons, temps d’exécution et coûts sont extraits des retours d’API.
• Matériel et canaux d’accès. Mes évaluations locales tournent sur un PC équipé d’une RTX 4090 24 Go, d’un i9-14900KF, de 64 Go de RAM sous Windows 11, avec llama.cpp, Ollama ou ComfyUI. Les modèles en nuage sont interrogés à travers des API publiques (les API officielles des fournisseurs et des passerelles d’API).
• Horodatage précis. Les modèles progressent d’une semaine à l’autre ; chaque score reflète donc l’état exact au jour de l’évaluation. La date figure dans le tableau ci-dessous et dans chaque article.
• Coûts réels facturés. Je relève systématiquement les dépenses réelles : la première édition du banc d’essai d’écriture a coûté 6,12 USD et l’Arena vidéo 8,54 USD. Pour les exécutions locales, je mesure l’électricité consommée d’après la puissance appelée par la carte graphique.
• Transparence des publications. Les réponses brutes, images, vidéos et enregistrements audio sont publiés sans retouche. Les données du banc d’écriture sont regroupées dans l’archive 2026-09-pisanie-po-polsku.zip.
• Rectifications publiques. Si une erreur apparaît dans un script ou un barème, je corrige l’analyse, je recalcule les résultats et je le mentionne ouvertement dans l’article.
• Limites méthodologiques. Un essai unique sur une tâche fournit une mesure factuelle mais ne constitue pas une étude statistique absolue. Je vous recommande de valider chaque modèle sur vos propres documents avant toute utilisation professionnelle.

Tous les bancs d’essai

Cette liste rassemble uniquement les tests que j’ai conçus, exécutés et publiés. La colonne Échantillons précise le nombre de modèles, de tâches ou de fichiers traités pour chaque évaluation.

Écriture, correction et connaissances (stress test en polonais)

IA locale sur carte RTX 4090

Génération vidéo

Génération d’images

Voix, transcription et musique

Détecteurs d’IA et coûts

Écriture sur banc d’essai non anglophone : une échelle unique

J’évalue chaque nouveau modèle dès son jour de sortie sur le même ensemble de 13 tâches que lors de la première édition du 26 septembre. Les scores sont calibrés à l’aide de modèles étalons, ce qui permet une comparaison directe avec la première session (tests réalisés sur des énoncés en polonais en tant qu’épreuve de résistance pour les modèles non anglophones).

La première édition en quelques repères chiffrés : 16 modèles issus de 9 fournisseurs, 13 tâches (9 de rédaction, 2 de correction, 2 quiz), 351 évaluations rendues par des juges en aveugle, et un coût total de 6,12 USD (dont 3,19 USD pour les requêtes des modèles testés, 2,75 USD pour les juges et 0,18 USD d’essais écartés). Le modèle le plus économique a été GPT-6 Luna, avec un résultat de 82,8 points pour seulement 0,002 USD sur les 9 travaux d’écriture. L’intégralité des relevés est accessible dans l’archive 2026-09-pisanie-po-polsku.zip.

Mes guides et comparatifs de synthèse

Bancs d’essai individuels antérieurs

Avant d’établir cette série globale, j’ai publié plusieurs bancs d’essai ciblés consacrés à des modèles ou fonctionnalités spécifiques :

• Test de 7 modèles d’IA : Claude Opus 5, GPT-6 Astra, Gemini 3.1
• Test hallucinations GPT-6 Astra, Claude et Gemini
• AI Act : test de 9 chatbots, 8 donnent des dates périmées
• Test fenêtre de contexte IA : Gemini 3.8 Flash vs GPT-6 Astra
• Édition d’image dans ChatGPT : test de onze corrections
• Test GPT-6 Astra : 11 modèles IA face à 9 défis de code
• Analyse de données avec Claude Opus 5.5 : test sur 44 assertions

Mes principes d’indépendance

• Aucun placement rémunéré. Aucun éditeur ne paie pour figurer dans un test ou modifier son rang. Je finance moi-même chaque appel d’API et j’affiche le montant exact dépensé.
• L’ordre découle uniquement des mesures. La position d’un outil dans mes tableaux dépend des chiffres obtenus et non de l’existence d’une commission d’affiliation.
• Liens d’affiliation clairement identifiés. Lorsque des liens affiliés sont présents, ils portent expressément l’attribut rel= »sponsored » et n’altèrent en rien les avis exprimés.
• Outils personnels explicitement signalés. J’ai développé AUTHORRA, un détecteur de texte généré par IA ; il était l’un des trois outils examinés lors de mon test littéraire, aux côtés de Pangram et ZeroGPT. J’opère également le service d’API Jantaris.
• Rectifications transparentes. En cas d’erreur de clé de correction ou de code, je modifie le texte et je consigne les détails sur la page dédiée aux corrections du site.

Qui conduit les tests

Je prépare et réalise personnellement l’ensemble des bancs d’essai publiés sur Promptif. Vous pouvez consulter mon parcours sur ma page auteur Promptif ainsi que sur la présentation de la ligne éditoriale du site. Mes bancs d’essai en local s’exécutent sur une station dédiée équipée d’une GeForce RTX 4090 24 Go, d’un processeur i9-14900KF, de 64 Go de mémoire vive sous Windows 11. Je surveille quotidiennement les annonces de nouveaux modèles afin de les soumettre sans attendre au protocole habituel.

Me contacter et suggérer un outil

• Pour suggérer un modèle ou un logiciel à tester, écrivez-moi via ma page de contact en précisant son mode d’accès (API publique, application en ligne ou poids téléchargeables pour exécution locale).
• Pour signaler une erreur sur un identifiant, une note ou un chiffre, contactez-moi par ce même biais afin que j’analyse le point et documente la correction dans le test concerné.
• Pour solliciter des fichiers de mesures brutes additionnels, faites-en la demande directement (les données du test d’écriture sont librement accessibles dans l’archive mise à disposition).

Prochains chantiers

Je prépare de nouvelles séries d’évaluations selon le même protocole :

• Résumés de documents denses - analyse de contrats, rapports et notes de synthèse avec inventaire minutieux des informations omises ou inventées.
• Développement logiciel en langue non anglaise - défis de programmation formulés avec consignes et documentation métier rédigées dans une langue cible.
• Traductions de documents intégraux - textes complets plutôt que phrases isolées, confrontés au jargon technique et au respect de glossaires spécialisés.

Il s’agit d’un plan d’exploration, sans calendrier rigide.

Foire aux questions

// lire la suitePIDS-Bench : faiblesses des détecteurs de prompt injectionBenchmarksCOPEX : les failles des modèles de langage dans MCPBenchmarksMicrosoft-Decision-1 : classement et test du modèleBenchmarks