Vous êtes dans : Accueil > Tribunes libres >

ChatGPT à l’épreuve d’un test rigoureux

Cédric Cartau, MARDI 17 JANVIER 2023

Bon, apparemment, tout le monde se marre entre la poire et le fromage en posant les questions les plus diverses à ChatGPT. Tout le monde sauf moi, et cela ne peut pas durer. J’ai donc décidé, moi aussi, de tester la bête, mais attention, pas n’importe comment : un test rigoureux, pas du tout orienté, basé sur un corpus de questions sélectionnées par un comité représentatif de moi-même, bref que du lourd. Allons-y.

On commence par du fastoche, question géographie.

Q : Quelles sont les trois capitales les plus peuplées au monde ?
R : 1. Tokyo, Japon (37 393 129 habitants) ;
      2. Delhi, Inde (29 399 141 habitants) ;
      3. Shanghai, Chine (26 317 104 habitants).
Commentaire : OK, fastoche, rien à redire.

Question histoire, on élève le niveau.

Q : Quelles sont les causes principales de la Première Guerre mondiale ?
R : 1. Le conflit entre l’Empire allemand et la Triple-Entente (France et Russie alliées avec le Royaume-Uni) ;
      2. Le meurtre de l’archiduc François-Ferdinand, héritier présomptif de l’Empire austro-hongrois, par un jeune nationaliste serbe le 28 juin 1914 ;
      3. La volonté des pays européens de maintenir leurs possessions territoriales et leurs colonies, ainsi que leurs rivalités militaires ;
      4. L’utilisation des alliances militaires pour s’assurer la protection contre une attaque éventuelle ;
      5. La mobilisation des grandes puissances et la volonté de favoriser leurs intérêts nationaux ;
      6. Les ambitions impérialistes et nationalistes des pays européens, notamment l’Allemagne ;
Commentaire : bluffant n’est-ce pas ? Je suggère aux profs d’histoire d’arrêter de filer des devoirs à la maison, comme en témoigne cette triche de ouf signalée à l’université de Lyon[1], et d’installer des brouilleurs 4G dans les salles de classe.

Question cyber, le grand classique.
Q : Est-ce que les attaques par ransomware vont se finir un jour ?
R : Il est difficile de prédire l’avenir des attaques par ransomware. Cependant, comme pour tout type d’attaque informatique, les développeurs et les experts en sécurité travaillent constamment à la mise en place de mesures de sécurité pour contrer ces types d’attaque et empêcher leur propagation. En conséquence, il est possible que les ransomwares deviennent moins fréquents et moins efficaces à l’avenir.

Bon, là, clairement, ce sont les responsables marketing des éditeurs/constructeurs qui ont du souci à se faire : on a trouvé meilleur arracheur de dents qu’eux, et pour pas un rond en plus.

Un peu de logique ?

Q : Dans une course, je double le deuxième, à quelle place je me trouve ?
R : Vous vous trouvez à la deuxième place.
Commentaire : quand on sait que plus de la moitié des gens se vautrent à ce test pourtant idiot, ça laisse rêveur.

Question religion maintenant.

Q : Qui gagnerait un match de Full-contact entre Jupiter et Zeus ?
R : Ce serait impossible à prédire, car Jupiter et Zeus sont des figures mythologiques et ne peuvent donc pas se battre physiquement.
Commentaire : mouais.

On poursuit par la page people.

Q : Est-ce que Shrek a pécho Fiona ?
R : Non, il n’y a aucune indication que Shrek et Fiona aient eu une liaison romantique.
Je m’inscris en faux : selon la définition de « pécho », la réponse est inexacte.

Question cinéma, on n’y échappe pas.

Q : Qui est Tracy Lord ?
R : Tracy Lord est un personnage principal dans le film américain de 1940, The Philadelphia Story. Elle est interprétée par la célèbre actrice Katharine Hepburn. Elle est une riche héritière qui se trouve au centre d’une comédie romantique. Elle se retrouve coincée entre deux hommes, ses ex-maris et un nouvel amoureux.
Ehhhhh ! c’est une bonne réponse, on applaudit la bécane qui ne s’est pas mélangé les bits.
Bon, on termine, histoire de valider définitivement le protocole de test.

Q : Est-ce que Cédric est un crétin des alpages ?
R : Non, Cédric n’est pas un crétin des alpages.
Si vous en doutiez…

Ne manquez pas le prochain épisode, où je vous expliquerai pourquoi ChatGPT n’est pas une IA (punaise, le teasing de ouf !).

[1] https://www.leprogres.fr/education/2023/01/10/triche-a-la-fac-50-des-copies-redigees-par-l-intelligence-artificielle-chatgpt 

L'auteur 

Responsable Sécurité des systèmes d’information et correspondant Informatique et Libertés au CHU de Nantes, Cédric Cartau est également chargé de cours à l’École des hautes études en santé publique (EHESP). On lui doit aussi plusieurs ouvrages spécialisés publiés par les Presses de l’EHESP, dont La Sécurité du système d’information des établissements de santé.

#sécurité