basal-omni : le modèle de décision ouvert en tête de JevBench

👁 127 lectures

Le modèle de décision basal-omni-1.0-ultra de Remek Kinas arrive en tête des modèles à poids ouverts sur JevBench, un classement de modèles qui ne rédigent pas de texte, mais choisissent une réponse dans une liste et indiquent leur degré de confiance. Il obtient 82,5 points au Capability Score. Si l’on ajoute les services fermés accessibles par API, seul kettei-fat, de Sqwish, fait mieux, avec 86,3 points. basal devance dans ce classement les modèles de décision fermés d’OpenAI et de Microsoft, ainsi que Jev de TypeSafe, le modèle à l’origine de toute cette catégorie. J’ai examiné le classement JevBench, les fiches des modèles sur Hugging Face et l’identité de la personne qui tient le classement. J’ai aussi exécuté la plus petite version sur mon ordinateur.

Ce qu’a annoncé Remek Kinas

Le 17 octobre, Remek Kinas (@KinasRemek sur X) a écrit que basal-omni était « numéro 1 mondial parmi les modèles ouverts » et numéro 2 parmi tous les modèles sur JevBench. Son message se termine par : « Alors, c’est possible ? Oui ! Une IA polonaise. » Il a également remercié le créateur du classement (@airesearch12) pour cette évaluation indépendante. Selon le compteur de X, le message avait enregistré environ 266 000 vues au 19 octobre.

basal est le projet de Kinas. Il possède son propre moteur d’exécution, basal-serve, et deux familles de modèles : basal-2.0, construit sur le modèle polonais Bielik v3, et basal-omni, construit sur Gemma 4 de Google. basal-omni traite le texte, les images et l’audio (ultra ne traite pas l’audio), mais, comme les autres modèles de décision, ne génère pas de phrases. Il reçoit un état, par exemple le contenu d’un ticket, ainsi que des questions à choix fermé, puis renvoie la probabilité de chaque option en une seule passe. TypeSafe a créé ce mode de fonctionnement avec son modèle Jev. J’en ai parlé en septembre dans mon article Jev de TypeSafe ; je présente toute cette catégorie dans mon guide sur les modèles de décision IA.

Les résultats de JevBench

JevBench soumet chaque système aux mêmes 1 500 décisions et mesure quatre critères : la précision (Intelligence), la calibration - c’est-à-dire la correspondance entre le degré de confiance annoncé et la précision réelle -, la vitesse et le coût pour 1 000 décisions. Le classement principal des modèles ouverts repose sur le Capability Score, la moyenne de la précision et de la calibration. Seuls les systèmes « de la classe de Jev » peuvent y figurer : leur coût ne doit pas dépasser deux fois celui de Jev et leur temps de réponse ne doit pas être supérieur à deux fois le sien.

Dans le classement distinct des services API, calculé avec la même mesure, kettei-fat de Sqwish arrive en tête (86,3), devant notamment d1-ultra de Liquid AI (80,5), Jev 1.13.0 (77,1), Jev 1.14.0 (75,0), OpenAI Decisions sur GPT-6 Luna (73,5) et Microsoft-Decision-1 (72,2, résultat indiqué comme préliminaire). Avec ses 82,5 points, basal se classe donc deuxième si l’on rapproche les deux classements.

Ce que signifie « numéro 1 » - et ce que cela ne signifie pas

• Il s’agit de la première place au Capability Score, qui combine précision et calibration. Dans le score composite officiel de JevBench, où la vitesse et le coût comptent également chacun pour 25 %, basal-omni-1.0-ultra se classe troisième parmi 184 systèmes ouverts. Deux modèles 4B bien plus petits le devancent : H2O-Lightning-4B v1.1 et Torchcast Decision 4B. Ils sont moins coûteux à exécuter, mais nettement moins précis (60,0 et 60,3).
• Le classement évolue d’une version à l’autre. Lorsque basal est apparu dans le classement le 17 octobre (version v1.6.28), la note de version le plaçait quatrième sur 45 dans le tirage de tâches de l’époque. L’ordre actuel est celui du classement v1.7.46 du 18 octobre.
• La vitesse d’ultra est mesurée par JevBench sur sa propre fiche : la médiane est de 0,102 s. Le coût est de 0,045 USD pour 1 000 décisions, soit 38 % de plus que Jev, tout en restant dans les limites de la classe de Jev. Cela correspond à environ 0,0401 EUR (0,045 USD) pour 1 000 décisions. Il s’agit d’une conversion indicative, pas d’un tarif local. Conversion selon le taux de référence de la BCE du 19 octobre 2026, 1 EUR = 1,1225 USD : source BCE.
• Le tableau ne présente qu’ultra. Les versions plus petites de basal-omni, mini et max, n’ont pas de résultat distinct sur JevBench.

Qui tient JevBench ?

JevBench est hébergé sur le site Benchmark Heaven. Selon le site et le dépôt GitHub, il s’agit d’un projet amateur open source sous licence MIT, créé par Florian Standhartinger, qui utilise le pseudonyme @airesearch12 sur X. C’est la même personne que Kinas a remerciée. Le site précise que la comparaison est menée « indépendamment de TypeSafe AI ». Le nom et la mesure viennent de Jev : les limites de coût et de temps sont calculées par rapport à Jev, et Jev 1.13.0 figure comme référence, hors classement. Je n’ai trouvé sur le site aucune information sur d’éventuels liens entre le créateur et TypeSafe ou Kinas. Certaines tâches sont publiques, mais la plupart sont gardées secrètes pour éviter que les modèles ne puissent les apprendre. Le créateur décrit les changements de méthode dans les notes de chaque version.

Il faut garder à l’esprit qu’il ne s’agit que d’un classement parmi plusieurs. Dans le Decision Index d’Artificial Analysis (au 19 octobre), d1-ultra de Liquid AI arrive en tête avec 65,2 points, devant Jev 1.13 ; basal-omni n’y a pas été évalué.

Trois tailles et le benchmark du créateur

Le score v1 provient d’un ensemble caché de décisions en polonais et en anglais, réparties en 10 catégories et préparées par le créateur lui-même : il s’agit donc d’un résultat communiqué par le développeur, et non d’une mesure indépendante. Selon les fiches des modèles, avec le seuil d’erreur par défaut de 1 %, ultra traite automatiquement 56,8 % des décisions et transmet le reste à un humain. Les catégories les plus difficiles pour toutes les versions portent sur les règles comportant des seuils précis et des dates. Le créateur recommande de traiter ce type de cas avec du code.

Depuis le 19 octobre, mini et max disposent aussi de versions GGUF pour Ollama et llama.cpp, de versions FP8 pour vLLM et de versions MLX pour Mac. Elles sont sorties avec le moteur basal 2.2 et son nouvel outil de calibration sur des données personnalisées : basal 2.2 et basal-calibrate.

Qui est Remek Kinas ?

Remigiusz Kinas travaille comme Principal AI Researcher chez Ingenix.ai, une entreprise basée à Varsovie qui développe des modèles d’IA pour la biologie et la recherche clinique. Il est l’un des co-créateurs des modèles polonais Bielik et porte le titre de Kaggle Grandmaster. basal est son projet personnel : le code du moteur est hébergé sur son GitHub (rkinas/basal) et les modèles sur le compte Remek de Hugging Face. La version 2.2 comprend également des correctifs apportés par plusieurs membres de la communauté.

J’ai testé la plus petite version

Le 19 octobre, j’ai exécuté basal-omni-1.0-mini en GGUF Q8_0 (7,9 Go) avec Ollama sur une RTX 4090. Je lui ai soumis mon ensemble de 50 tickets de service client en polonais et de 10 décisions d’utilisation d’outils, celui sur lequel j’avais évalué des modèles du classement AA le 13 octobre. Le test a donc été réalisé en polonais. Mini a correctement identifié la catégorie de 42 tickets sur 47, le degré d’urgence de 47 sur 50 et l’outil à choisir dans 10 cas sur 10. C’est un ticket de plus que Jev 1.13 sur le même ensemble, avec une médiane de 137 ms par décision en local. Les instructions détaillées et tous les résultats sont disponibles ici : basal en local : Ollama, llama.cpp et Mac.

À qui ce modèle peut-il servir ?

• Aux entreprises qui classent de grands volumes de texte en polonais (tickets, e-mails, documents) et ne souhaitent pas envoyer leurs données à une API externe. La licence Apache-2.0 autorise un usage commercial.
• Aux équipes qui utilisent des agents IA et ont besoin d’une décision rapide - « appeler un outil, demander des précisions ou refuser » - accompagnée d’un degré de confiance chiffré.
• Pas à la rédaction de textes. basal ne répondra pas à un client et ne rédigera pas de résumé ; ces tâches restent du ressort d’un modèle de langage classique.

// lire la suiteLiquid AI d1-ultra : prix et test du modèle décisionnelBenchmarksModèles décisionnels ou petits LLM : coût, vitesse, précisionBenchmarksModèle décisionnel ou LLM : coût d’un million de classificationsBenchmarks

Kinetyra