Comment savoir si la tâche est terminée avec ChatGPT ? Guide pour les enseignants

La technologie fait des progrès de géant dans des délais de plus en plus courts. Un exemple est surtout donné par les chatbots basés sur l’intelligence artificielle, ChatGPT dans sa tête, capable de traiter un texte complexe et crédible en l’espace de quelques secondes. Depuis que cette technologie a été présentée au grand public, beaucoup de choses ont changé, pas toujours pour le mieux.

C’est le cas dans le monde scolaire et universitaire, où les étudiants se laissent souvent envahir par leur paresse en s’appuyant entièrement sur ChatGPT pour rédiger des textes qui devraient plutôt tester leurs capacités.

D’où la question, particulièrement utile notamment pour les enseignants : Existe-t-il des moyens ou des outils qui permettent de comprendre si un contenu a été écrit par une intelligence artificielle ? Une réponse semble plus vraie que les autres : plus ou moins.

Comment comprendre si un texte a été écrit par ChatGPT

Le principe fondamental, à garder à l’esprit, est que les modèles d’intelligence artificielle sont précisément conçus et entraînés pour mieux imiter le contenu créé par des humains. Ce détail à lui seul devrait faire comprendre la complexité de la problématique : si le but est d’imiter et de « passer inaperçu », il va sans dire que retrouver les caractéristiques qui permettent d’identifier avec certitude la main de ChatGPT est une tâche assez difficile. Cela tient également compte du fait que notre « adversaire » est un robot qui dispose d’une énorme base de données dans laquelle puiser pour atteindre ses objectifs.

Tâche difficile, certes, mais pas impossible. Il existe en effet certains signaux qui, après une analyse minutieuse, permettent au moins de flairer la présence de ChatGPT au sein d’un texte. De ce point de vue, il existe certains caractéristiques typiques de la génération artificielle de contenu ce qui peut au moins semer le doute sur la paternité du texte en question. Voyons ce qu’ils sont.

Lexique: Bien que ChatGPT possède un vocabulaire très riche, la tendance est à la simplicité, à la clarté et à la répétition. Pour cette raison, lors de la rédaction d’un texte, le chatbot utilise souvent des lemmes faciles à digérer et, surtout, a tendance à les répéter sans trop d’efforts dans la recherche de synonymes ou de périphrases. Bref, au sein des contenus générés par l’IA, il est difficile de trouver des termes ambigus ou nuancés, voire des expressions familières qui véhiculent un certain « effet de sens » en quelques mots seulement.

Syntaxe: c’est peut-être l’une des caractéristiques les plus évidentes. Les textes générés par ChatGPT ont en effet une syntaxe simple et extrêmement rigide. Les phrases ont une structure de base élémentaire, rendant par exemple le sujet explicite de manière obsessionnelle, ce qui n’arrive pas toujours dans la communication humaine. Afin de rendre clair le point de la phrase, ChatGPT a alors recours à la répétition ou au remplacement du sujet par des expressions déictiques, avec une prédilection particulière pour « ceci », « ceci », « ces », etc. Ce qui renforce la cohérence logique de la discussion au détriment de la créativité.

Contenu: ChatGPT est comme un étudiant qui aurait étudié par cœur sans bien comprendre de quoi il parle. Formellement, il peut paraître parfait, mais dans son contenu il n’y a aucune torsion, aucune idée originale, aucune pensée perspicace, aucune imprévisibilité, aucune imperfection poétique. Car oui, après tout, c’est justement dans les imperfections que se cachent les figures rhétoriques qui font la particularité des textes.

Ton: extrêmement neutre, sans élaboration critique sur le sujet. Bref, ChatGPT ne s’exprime pas, il ne s’expose pas, il ne donne pas son avis sur les problématiques qu’il traite (heureusement je dirais). Alors un bon moyen de « forcer » les étudiants à écrire est certainement de demander un texte personnel, qui contient au moins une opinion, une réflexion subjective sur une question particulière.

les erreurs: il n’y en a pas. Du moins, presque jamais. Les textes créés par ChatGPT, surtout s’ils sont en anglais, sont parfaits d’un point de vue formel. Pas de fautes de frappe, pas de fautes de frappe, pas de doubles espaces. Même le meilleur élève fait des erreurs, et c’est une chose sacro-sainte.

Un truc: ChatGPT utilise des apostrophes et des guillemets sans empattements (pour être clair, » au lieu de « ). Habituellement, Word ou d’autres programmes d’écriture équipent plutôt les apostrophes et les guillemets d’empattements, en fonction de la police utilisée. Naturellement, cette caractéristique formelle ne ne permet en aucun cas l’attribution certaine d’un texte, mais s’ajoutant à toute une autre série de signaux évoqués plus haut, il peut être pris en considération pour renforcer une suspicion déjà solide.

Ce que dit ChatGPT

Attention cependant : les caractéristiques mises en évidence ne sont qu’indicativesc’est-à-dire qu’ils ne permettent pas d’attribuer avec certitude la paternité d’un texte. C’est également ce que dit ChatGPT lui-même, à qui nous avons demandé : Quels sont les signes qui me font comprendre qu’un texte a été écrit par vous ?

« Identifier avec certitude si un texte a été écrit par moi peut être difficile, car j’essaie de générer des textes naturels et cohérents avec les demandes des utilisateurs. Cependant, certains signes pourraient suggérer qu’un texte a pu être généré par un modèle comme moi ».

Vous trouverez ci-dessous la liste fournie par ChatGPT.

Cohérence et cohésion: l’un des signes les plus évidents pourrait être une très forte cohérence et cohésion dans le texte, car j’essaie de maintenir un fil logique dans les réponses et les textes que je produis.

Connaissance limitée: Mes connaissances sont limitées à la date limite de ma formation en septembre 2021, je ne suis donc peut-être pas au courant des événements ou des découvertes les plus récentes. Si le texte semble obsolète au-delà de cette date, cela pourrait être un indice.

Style neutre: J’essaie de maintenir un style neutre et informatif dans les textes que je génère, en évitant les préjugés ou les opinions personnelles.

Des réponses complètes et bien structurées: effort pour fournir des réponses complètes aux questions et pour structurer les textes de manière claire et organisée.

Absence de fautes d’orthographe et de grammaire: Habituellement, les textes que je génère sont exempts d’erreurs orthographiques et grammaticales évidentes, mais ce n’est pas une garantie absolue.

Des outils pour comprendre si un texte a été rédigé par ChatGPT

Tout cela est très beau. Mais analyser un texte demande un certain temps et des efforts que tous les enseignants ne peuvent pas se permettre compte tenu du nombre d’élèves. Est-il possible de faciliter le contrôle ? En d’autres termes, il y a des dieux des outils dédiés pour démasquer l’intelligence artificielle à partir des textes ? Encore une fois, la réponse la plus correcte est plus ou moins. En fait, il existe des programmes conçus pour une tâche spécifique, mais de toute façon, ils ne parviennent pas toujours à atteindre leur objectif. La possibilité d’erreur d’évaluation reste assez élevéeà tel point que les résultats sont souvent donnés en pourcentage.

Voici quelques outils qui peuvent encore s’avérer utiles :