Des chercheurs ont testé de nombreux modèles d'intelligence artificielle sur une question de logique simple et presque tous ont échoué. Parviendrez-vous à trouver la réponse ?

À votre avis, l'intelligence artificielle est-elle supérieure aux êtres humains ? Il ne s'agit pas d'un sujet du bac de philosophie en avant-première, mais d'une question que l'on peut légitimement se poser quand on voit les progrès fulgurants de cette technologie. Dans certains domaines, c'en est même effrayant. L'IA obtient facilement son diplôme de médecine par exemple, et sert déjà à identifier des maladies que plusieurs experts ne parviennent pas à trouver. C'est bien simple : l'intelligence artificielle peut être plus humaine que nous.

Pourtant, une étude de l'organisation LAION montre que l'on est encore loin de la domination des machines. De nombreux modèles de langage ont été testés : GPT-3, GPT-4 et GPT-4o d'OpenAI, Claude 3 Opus d'Anthropic, Gemini de Google, Llama de Meta, Mixtral de Mistral… Le protocole de test est extrêmement simple puisqu'il s'agit de répondre à ce qu'on appelle le problème “Alice au pays des merveilles”. Presque toute ont échoué.

Les IA n'arrivent pas à répondre correctement à cette question de logique simple

Voici la question posée : “Alice a [X] frères et aussi [Y] sœurs. Combien de sœurs le frère d'Alice possède-t-il ?“. Plusieurs variantes sont utilisées, et les réponses des IA sont stupéfiantes. Llama 3 de Meta a eu droit à “Alice a quatre frères et une sœur” et il explique que chaque frère a… une seule sœur, Alice elle-même. Sauf qu'ils en ont bien 2 chacun, Alice et l'autre sœur mentionnée. Le pire, c'est que l'IA s'enfonce dans ses explications avec conviction.

Lire aussi – Cette IA peut créer un robot qui marche en 26 secondes, Terminator en approche ?

Comme le note l'étude, “[…] les modèles expriment également une confiance excessive dans leurs solutions erronées, tout en fournissant des explications souvent absurdes […] pour justifier et étayer la validité de leurs réponses manifestement erronées, en les rendant plausibles“. Au final, seul GPT-4o s'en sort avec les honneurs en répondant juste dans 65 % des cas, selon les formulations choisies. Ces résultats sont d'autant plus étonnants que les modèles de langage testés obtiennent de bons scores de MMLU, pour “Multi-task Language Understanding”, qui évalue la capacité d'une IA à résoudre des problèmes. Les chercheurs n'expliquent pas ce décalage, mais pointent la nécessité de revoir les mesures.