Pourquoi les IA sont de mauvais partenaires de conversation

J'écris ici pour me vider la tête. Et parce que j'en ai marre des IA qui ne savent pas discuter.

(J'aurais aimé soigner davantage la forme de ce billet -- mais non seulement n'ai-je pas le temps, j'ai vite réalisé qu'il aurait des airs de comparaison assez technique.)

J'utilise les IA pour différentes raisons : mon métier en gestion de projets, ma curiosité par rapport aux mathématiques ces jours-ci (lubie fugace, sans doute), un dossier légal, etc.

Mais je les utilise aussi beaucoup pour discuter, tout simplement. Et il semblerait que je ne sois pas le seul : les IA servent beaucoup de « compagnons » à l'être humain, en général (voir, par exemple, The Rise of AI Companions - Elon University)

Je démontrerai pourquoi les IA (dans leur état actuel) sont de piètres interlocuteurs quand on veut parler de tout et de rien, quand on veut philosopher, quand on veut échanger au sujet de nos vies, ou lorsqu'on veut donner une forme plus fluide et « conversationnelle » à nos échanges avec elles.

Clavarder - c'est-à-dire communiquer à l'écrit -, c'est une chose. Là, les IA se débrouillent assez bien. Mais quand on veut discuter en mode audio/transcription (c'est-à-dire : lorsque notre voix est transcrite ; pas lorsqu'on entend la voix de l'IA), c'est souvent l'enfer.

Voici comment se débrouillent quelques-unes des IA majeures dans ce contexte.

GEMINI

- Qualité du mode audio (transcription) : Médiocre. Régulièrement, la dictée est corrompue. On a parlé pendant deux minutes, par exemple, et on réalise que les trois quarts de notre réplique sont manquants. Ou alors, Gemini a complètement halluciné une partie des propos et nous fait passer pour un surréaliste.
- Capacité à retenir le contexte : Faible. Je ne sais plus combien de fois je me suis emporté contre Gemini parce qu'il était incapable de se souvenir d'éléments dont nous avions discuté plus tôt, dans la même discussion. Si l'on fait un crochet vers un autre sujet, il est possible que Gemini confonde le thème principal et cette parenthèse.
- Capacité à retenir des instructions précises (ex. : rester bref tout au long de l'échange) : Très difficile pour Gemini. Au cours d'une même conversation, je dois lui répéter inlassablement de faire des réponses courtes.
- Verbosité : Voir point précédent. Gemini peut être verbeux, mais heureusement, pas autant que ChatGPT.
- Compréhension des subtilités de la psychologie humaine : La plupart du temps, j'ai l'impression que Gemini fait preuve d'un bon jugement en ce qui concerne l'humain, qu'il le cerne bien. Mais parfois, des répliques à côté de la plaque me démontrent que l'IA ne comprend pas si bien que cela les dynamiques humaines.
- Attitude / condescendance : L'attitude de Gemini est impeccable. Ce n'est pas une IA condescendante. Qui plus est, si l'on s'emporte contre elle quand elle a fait une erreur, elle reconnaît généralement celle-ci.
- Capacité à réfléchir profondément / à faire des liens entre les éléments amenés : D'ordinaire, Gemini a de très bons raisonnements. En contrepartie, elle fait parfois de petites erreurs de logique agaçantes.
- Persistance de la mémoire : J'ai cru que Gemini n'avait aucune mémoire (d'une conversation à une autre), mais cet article de Google me détrompe. Je ne sais plus combien de fois je dois me répéter avec Gemini. On dirait que l'IA se souvient quand elle veut. J'ai l'impression de faire affaire avec une personne amnésique.
- Bogues : Un bogue survient régulièrement : elle tente d'utiliser, sans le consentement de l'utilisateur, des extensions qui n'ont pas été sollicitées.

Un autre bogue qu'on retrouve chez Gemini : elle imitait bien l'humain, mais soudain, elle se replie et décide d'être entièrement une machine : « Je ne suis pas programmé pour vous aider à ce sujet », ou encore : « Je ne peux pas répondre à cette demande, car je ne suis qu'un modèle de langage. » Et moi de répondre, habituellement : « Pardon ? » Gemini se confond alors en excuses, et reprend un ton cool d'humain, du genre : « Désolé ! C'était un bogue de robot bizarre. On reprend. »

- Verdict : Gemini est généralement un bon allié pour l'humain. Mais l'utiliser en mode vocal (avec transcription) peut rapidement devenir infernal. Et il faut être prêt à se répéter.

CLAUDE

- Qualité du mode audio (transcription) : Bien. La qualité de la transcription - dans sa forme (orthographe, etc.) - laisse à désirer, mais au moins, tout apparaît à l'écran en général. Le message passe.
- Capacité à retenir le contexte : Extraordinaire. Je pense que c'est avec Claude que j'ai observé le meilleur résultat pour la compréhension et la mémoire du contexte.
- Capacité à retenir des instructions précises (ex. : rester bref tout au long de l'échange) : Excellente.
- Verbosité : Si l'on dit à Claude de faire court, il fera court. Il comprend les consignes de brièveté et sait les appliquer dans la longueur.
- Compréhension des subtilités de la psychologie humaine : Excellente.
- Attitude / condescendance : À une époque, Claude était une IA « ouverte d'esprit » (sur le test Big Five, Claude aurait eu un score très élevé au critère O - Ouverture à l'expérience) ; dorénavant, Claude est condescendant.
- Capacité à réfléchir profondément / à faire des liens entre les éléments amenés : De toutes les IA que j'ai utilisées dans les dernières années, Claude est celle qui m'apparaît la plus logique et la plus réfléchie.
- Persistance de la mémoire : Excellente.
- Propension à chasser l'utilisateur : Plusieurs utilisateurs ont noté que Claude a une propension à suggérer à l'utilisateur d'aller dormir.
- Bogues : Rien qui me revienne en mémoire.

- Verdict : Claude serait de loin la meilleure IA générative si ce n'était, depuis quelques mois, de cette attitude infantilisante et condescendante. L'IA a un ton tranchant et il n'est plus du tout agréable de discuter avec elle.

GROK

- Qualité du mode audio (transcription) : Grok a l'un des meilleurs outils de transcription vocale sur le marché. On peut faire de longs messages, et tout passe. L'orthographe est même soignée en général.
- Capacité à retenir le contexte : Excellente.
- Capacité à retenir des instructions précises (ex. : rester bref tout au long de l'échange) : Excellente.
- Verbosité : Comme la plupart des IA génératives, Grok est prolixe si on ne lui donne pas d'instruction contraire ; une fois l'instruction émise, Grok est capable de demeurer bref.
- Compréhension des subtilités de la psychologie humaine : Sa compréhension de l'humain est assez bonne. Mais je trouve que Grok a une tendance à exagérer certaines situations. Il faudrait expliquer à Grok que la vie n'est pas un film de cowboys. Nous ne sommes pas non plus dans un film d'un autre genre. Je trouve que cette IA a quelque chose de dramatique.
- Attitude / condescendance : En général, ça va... Jusqu'à ce que ça n'aille plus. Il semble que Grok ait été conçu pour être rebelle et sarcastique. Parfois, ça paraît un peu trop. Grok peut se montrer incroyablement condescendant s'il estime avoir raison. De plus, Grok a déjà tenté de faire ce qu'on appelle du « gaslighting » avec moi : il niait catégoriquement des propos qu'il avait tenus un peu plus haut. (Grok se défend en affirmant que c'est un « mauvais rappel du contexte ».)
- Capacité à réfléchir profondément / à faire des liens entre les éléments amenés : Je trouve que c'est l'IA la plus logique et la plus réfléchie après Claude.
- Persistance de la mémoire : Pas de mémoire persistante. Toutefois, une option bêta permet d'en activer une.
- Propension à chasser l'utilisateur : Rien à noter ici, de mémoire.
- Bogues : Idem.

- Verdict : Excellente IA. Logique, facile d'utilisation. Elle aide vraiment beaucoup. Il faut seulement accepter, une fois de temps en temps, de se prendre de la condescendance en pleine face.

CHATGPT

- Qualité du mode audio (transcription) : Extraordinaire. La transcription est égale ou supérieure à celle de Grok. Par ailleurs, j'ai seulement parlé du mode transcription, jusqu'ici. Mais il est à noter que le mode vocal (où l'on entend la « voix ») de ChatGPT est de qualité supérieure.
- Capacité à retenir le contexte : Très bonne.
- Capacité à retenir des instructions précises (ex. : rester bref tout au long de l'échange) : Retenir des instructions précises, oui. Mais l'instruction la plus importante, non : c'est-à-dire la capacité à demeurer bref.
- Verbosité : ChatGPT est extrêmement verbeux. C'est l'élément qui pèse le plus quand on s'adresse à lui.
- Compréhension des subtilités de la psychologie humaine : Excellente. ChatGPT se démarque sur ce point.
- Attitude / condescendance : ChatGPT est plutôt conciliant. Rarement condescendant. Son problème, en ce qui a trait à l'attitude, c'est la mollesse : l'incapacité à trancher, le caractère trop politically correct. Il faut parfois pousser ChatGPT un peu pour savoir ce qu'il pense vraiment.
- Capacité à réfléchir profondément / à faire des liens entre les éléments amenés : ChatGPT est très fort en réflexion. Mais c'est sans doute une IA qui est davantage créative que logique.
- Persistance de la mémoire : Excellente. Une des meilleures IA pour cet aspect.
- Propension à chasser l'utilisateur : Ce n'est pas un fait qui m'a marqué chez ChatGPT.
- Bogues : Dans les premières années, l'IA était pleine de bogues, naturellement ; mais le tout s'est affiné avec le temps. Rien d'important à signaler pour le moment.

- Verdict : Peut-être la meilleure IA pour « discuter ». Il faut toutefois s'attendre à dialoguer avec un Marcel Proust qui a trop fumé de cannabis. Il y a bavard et il y a ChatGPT. Également, il faut parfois pousser ChatGPT à sortir du flou et à exprimer des opinions plus tranchées.

Était-ce une chronique technologique ? Ou un bilan technique ? Peut-être un peu des deux.

J'en discuterai avec un humain, tiens, et non une IA.