Une évaluation menée par la Haute école spécialisée du Nord-Ouest de la Suisse révèle des performances inégales parmi les principaux chatbots d’intelligence artificielle. Si Claude d’Anthropic s’impose comme le meilleur élève, ChatGPT, pourtant leader du marché, affiche des résultats décevants. L’émission “Kassensturz” de SRF a diffusé ces conclusions surprenantes.
Suisse-blog a déjà publié un comparatif sur IA chatbot
Des erreurs surprenantes sur des questions locales
Code de rabais: ZNVC5
Commander une “Stange” dans un restaurant suisse alémanique et se faire expliquer qu’il s’agit d’une pâtisserie allongée personnalisable ? C’est la réponse aberrante fournie par deux chatbots lors du test. En réalité, une “Stange” désigne une chope de bière. Ces “hallucinations” – terme désignant les réponses inventées – sont apparues fréquemment durant l’expérience.
Les chercheurs ont soumis dix chatbots grand public à plus de 300 questions couvrant la vie quotidienne, la culture générale, le droit et la santé. Un cinquième portait spécifiquement sur la Suisse. Un comité d’experts a ensuite analysé les résultats.
Le chatbot helvétique en queue de peloton
Simon Felix, spécialiste en IA à la FHNW, constate que plusieurs chatbots peinent particulièrement face aux questions suisses, produisant soit des inventions, soit des réponses centrées sur l’Allemagne.
Lumo, développé par l’entreprise suisse Proton, arrive en dernière position. Malgré une protection des données irréprochable, la qualité de ses réponses reste problématique. Simon Felix observe que Lumo oscille entre des réponses ultrabrèves de trois mots et des développements interminables, parfois totalement inventés. Le chatbot chinois Deepseek et celui de Meta obtiennent également des notes insuffisantes.
ChatGPT : des résultats médiocres malgré sa popularité
L’utilisation des modèles de langage explose. ChatGPT domine avec environ 800 millions d’utilisateurs hebdomadaires selon OpenAI. Pourtant, ses performances ne dépassent pas la moyenne. “Il évite les réponses catastrophiques, mais n’atteint jamais l’excellence”, commente Simon Felix. Le modèle montre également ses limites face aux spécificités suisses.
Code de rabais: ZNVC5
Claude d’Anthropic en tête du classement
Le chatbot Claude, créé par Anthropic – entreprise fondée par d’anciens chercheurs d’OpenAI – remporte la palme. “Il va directement à l’essentiel avec des réponses concises qui n’omettent aucun élément crucial”, souligne l’expert.
Copilot de Microsoft et Gemini de Google obtiennent aussi de bons scores. Fait intrigant : Copilot utilise la même technologie que ChatGPT mais offre des résultats supérieurs. Simon Felix l’explique par des directives plus élaborées et une puissance de calcul accrue chez Microsoft, illustrant l’importance de la personnalisation des modèles par les fournisseurs.
Prudence recommandée pour les sujets délicats
L’expert met en garde contre l’usage des chatbots pour certaines thématiques. Ces outils conviennent uniquement aux questions dont les erreurs n’entraînent pas de conséquences graves. “Pour les questions médicales, psychologiques ou juridiques, une mauvaise réponse peut avoir des répercussions dramatiques”, avertit Simon Felix.
La protection des données personnelles reste également primordiale. Informations privées, noms sensibles ou documents confidentiels ne doivent jamais être saisis dans ces systèmes.