Jev face aux autres classifieurs de texte : règles, fine-tuning, zero-shot

La réponse courte

Jev gagne quand vous n’avez pas de données étiquetées et que vos labels bougent. Un petit modèle fine-tuné ou des règles gagnent quand les labels sont stables, les exemples nombreux, ou l’hébergement européen obligatoire.

Les LLM génératifs utilisés comme classifieurs ont leur propre comparatif : Jev vs LLM.

Quelles options pour la classification de texte par IA ?

Les durées de mise en place sont des ordres de grandeur tirés de notre expérience, pas des mesures.

Règles et mots-clés : quand suffisent-elles ?

Les règles gagnent quand le signal est explicite et stable. Un champ de formulaire, un numéro de commande, un expéditeur connu : pas besoin d’IA.

• Données : aucune, il suffit de connaître le métier.
• Labels : chaque changement est une modification de code, avec ses tests.
• Calibration : aucune. Une règle matche ou ne matche pas.
• Latence, coût, hébergement : négligeables, chez vous.

Leur limite est connue : paraphrases, fautes, langues imprévues. « On m’a débité deux fois » échappe à la règle « remboursement ». Bon réflexe : garder les règles pour les cas certains, et envoyer le reste à un modèle.

Jev vs fine-tuning d’un petit modèle type BERT

Un petit modèle fine-tuné reste la référence quand les labels sont stables et les exemples nombreux.

• Données : des exemples étiquetés pour chaque label. SetFit réduit fortement ce besoin : avec 8 exemples par classe, ses auteurs obtiennent sur un jeu d’avis clients des résultats proches d’un RoBERTa entraîné sur 3 000 exemples.
• Mise en place : collecte, étiquetage, entraînement, évaluation, déploiement.
• Labels : une nouvelle catégorie impose de réétiqueter et de réentraîner.
• Calibration : les transformers pré-entraînés sont plutôt bien calibrés dans leur domaine, et le temperature scaling les améliore. Hors de leur domaine, elle est à revérifier.
• Latence et coût : inférence locale, sans appel externe. Le coût est surtout fixe : hébergement, étiquetage, maintenance.
• Hébergement : où vous voulez, en Europe comprise.

Jev l’emporte sans données étiquetées, avec des labels qui bougent, ou pour livrer vite. Jev n’est pas fine-tunable : il s’adapte par les instructions et les options de chaque requête. Les deux se combinent : TypeSafe montre comment entraîner un modèle classique sur les probabilités de Jev.

Embeddings et plus proches voisins : l’option pragmatique

Les embeddings sont un bon compromis avec quelques exemples par label. Chaque texte devient un vecteur. Une régression logistique ou les voisins les plus proches donnent le label.

• Labels : avec les plus proches voisins, il suffit d’ajouter des exemples.
• Calibration : un vote de voisins n’est pas une probabilité calibrée. Une régression logistique se calibre avec scikit-learn, par méthode sigmoïde, isotonique ou temperature scaling.
• Coût : text-embedding-3-small d’OpenAI coûte 0,02 $ par million de tokens, moins que les 0,042 $ de Jev.
• Hébergement : un modèle d’embedding open source tourne où vous voulez.

La limite : la ressemblance n’est pas une décision. Deux tickets proches en surface peuvent relever de deux équipes. Jev répond à la question posée, pas à la similarité.

Classifieur zero-shot : l’alternative la plus proche de Jev ?

Le classifieur zero-shot NLI ressemble le plus à Jev à l’usage. Vous donnez des labels en langage naturel, sans données d’entraînement.

La méthode vient de Yin, Hay et Roth, à EMNLP 2019. Un modèle d’inférence textuelle juge si le texte implique une hypothèse construite pour chaque label, du type « Ce texte parle de facturation ». facebook/bart-large-mnli, sous licence MIT, en est l’exemple le plus connu.

• Labels : changement immédiat, il suffit de réécrire les hypothèses.
• Coût et latence : une paire texte et hypothèse par label. Ils croissent donc avec le nombre de labels.
• Calibration : rien ne garantit que les scores d’implication soient calibrés pour votre tâche.
• Langues : bart-large-mnli est entraîné en anglais. xlm-roberta-large-xnli couvre 15 langues, dont le français.
• Hébergement : chez vous.

Jev accepte en plus des options décrites en détail, des états JSON et plusieurs types de questions par appel. Nous ne connaissons pas de comparaison publique des deux sur les mêmes données. Testez-les sur les vôtres.

RouteLLM, Not Diamond, Martian : un autre problème

Ces outils choisissent quel LLM répond. Ils ne décident pas quelle équipe traite un ticket.

• RouteLLM, open source sous Apache 2.0, envoie les requêtes simples vers un modèle faible et les autres vers un modèle fort. Ses routeurs sont entraînés sur des préférences de Chatbot Arena. Le projet annonce jusqu’à 85 % d’économie en gardant 95 % de la performance de GPT-4, sur ses benchmarks.
• Not Diamond prédit le meilleur LLM pour chaque requête et peut s’entraîner sur vos évaluations.
• Martian a présenté son model router comme l’envoi de chaque requête au meilleur LLM, en temps réel.

Les deux se complètent. Jev prend la décision métier et peut fournir les signaux qui choisissent le modèle, comme la complexité. Du code simple fait le reste, comme dans notre démo.

Quand un petit modèle ou des règles battent Jev

• Les labels sont stables depuis des mois : un modèle fine-tuné ne demande presque rien tant que rien ne bouge.
• Vous avez beaucoup de données étiquetées : un modèle entraîné sur votre historique apprend vos cas limites. Jev ne s’entraîne pas sur vos données.
• L’hébergement en Europe est exigé : Jev est hébergé aux États-Unis. TypeSafe encadre les transferts depuis l’UE par clauses contractuelles types, sans certification Data Privacy Framework.
• Le volume est très élevé : voir le calcul ci-dessous.
• Les textes ne sont pas en anglais et l’enjeu est fort : l’anglais reste la langue où Jev est le plus précis, selon TypeSafe.

À très haut volume, le coût de Jev reste modeste. Pour 10 millions de décisions par mois à 500 tokens : 10 000 000 × 500 × 0,042 ÷ 1 000 000 = 210 $, soit 183,20 €. La contrainte est ailleurs :

• la limite est de 1 200 requêtes par minute, soit 51 840 000 sur 30 jours au maximum ;
• TypeSafe prévient que ces limites changent sans préavis pendant la montée en charge ;
• Jev est un service lancé le 15 septembre 2026, inscriptions suspendues pour l’instant.

Un modèle hébergé chez vous n’a aucune de ces dépendances.

Quand Jev a l’avantage

• Pas de données étiquetées, ou pas le temps d’en produire.
• Des labels qui changent souvent : une option s’ajoute dans la requête, sans réentraînement.
• Plusieurs décisions sur le même texte : choice, score et noul partent dans le même appel.
• Des probabilités exploitables tout de suite, que TypeSafe dit calibrées, à vérifier chez vous.
• Aucune infrastructure à héberger ni à maintenir.

Comment choisir sans parier ?

Mesurez les candidats sur vos décisions réelles, pas sur une démo. En mode shadow, on rejoue un échantillon de décisions passées, sans toucher la production. On compare le taux d’accord et la part du trafic couverte à confiance égale.

Pour aller plus loin, lisez ce qu’est Jev et ce que recouvre un modèle System One.

Jev et TypeSafe sont des marques de TypeSafe AI, Inc. Cet article est indépendant et n’est pas affilié à TypeSafe AI.