PROMPTIF_
Benchmarks

Le modèle refuse de lire le document : test chez trois fournisseurs

promptif@ai:~$ cat news_1

› Nous avons préparé un test de contexte pour modèles : un document contenant des informations cachées, des questions à leur sujet, puis vérification du nombre d'informations retrouvées.

promptif@ai:~$ cat news_2

› Le résultat était zéro, nous avons donc d'abord pensé que le modèle avait une mémoire faible.

promptif@ai:~$ cat news_3

› Après examen de la réponse brute de l'API, il s'est avéré que le modèle n'avait pas lu un seul mot - l'entrée avait été rejetée par la modération et était revenue avec content_filter et native_finish_reason: refusal.

promptif@ai:~$ cat news_4

› Conclusion en un paragraphe Zéro résultat dans un test de mémoire n'est pas toujours la preuve d'un contexte court.

promptif@ai:~$ open --full
Lire la suite

Le modèle refuse de lire le document : test chez trois fournisseurs

Ouvrir l'article sur promptif.fr