Le détecteur d'IA de QuillBot, et le problème de fond des détecteurs

Ce que mesure réellement un détecteur

Un détecteur d'IA ne reconnaît pas une machine. Il mesure deux propriétés statistiques du texte : la perplexité — à quel point le mot suivant est prévisible — et la rafale, la variation de longueur et de complexité d'une phrase à l'autre. Un texte régulier et prévisible obtient un score « IA » élevé. Un texte irrégulier obtient un score « humain ».

Rien là-dedans ne détecte une origine. Cela détecte un style. Et il se trouve que plusieurs catégories d'humains écrivent dans un style régulier et prévisible.

Pourquoi les faux positifs frappent d'abord les non-anglophones

C'est le point que les pages de vente ne mentionnent jamais. Quelqu'un qui écrit en anglais dans une langue qui n'est pas la sienne emploie un vocabulaire plus restreint, des structures plus simples, des tournures plus scolaires. Exactement le profil statistique d'un texte généré. Plusieurs travaux universitaires ont montré que les détecteurs classaient une part importante de copies rédigées par des étudiants non anglophones comme générées par IA, contre une proportion très faible chez les locuteurs natifs.

Autrement dit : le détecteur n'est pas seulement imprécis, il est imprécis d'une façon systématiquement biaisée. Pour un public francophone, c'est la seule information qui compte vraiment.

Ce que vaut le détecteur de QuillBot en particulier

Il est dans la moyenne du marché : correct pour repérer du texte brut sorti d'un modèle sans retouche, très peu fiable dès que le texte a été relu, mélangé à de l'écriture personnelle ou traduit. C'est gratuit, rapide, sans compte — ce qui est appréciable — mais la gratuité ne change rien à la validité du résultat.

Notez la boucle un peu gênante : le même éditeur vend un reformulateur qui rend un texte moins détectable, et un détecteur censé repérer les textes générés. Les deux produits travaillent l'un contre l'autre, et aucun des deux n'est fiable au point de trancher.

Ce qu'il ne faut jamais faire avec un score

• Fonder une sanction. Un score de 80 % ne prouve rien. Une accusation de fraude appuyée sur un détecteur ne tient pas devant une contestation sérieuse.
• Se rassurer. Un score de 5 % ne garantit pas non plus qu'un texte passera un autre détecteur, ni le jugement d'un lecteur attentif.
• Optimiser dessus. Reformuler jusqu'à faire baisser le score produit un texte tordu, appauvri, qui se lit mal, pour un résultat qui changera à la prochaine mise à jour du détecteur.

L'usage défendable

Il en reste un : le signal faible. Sur un volume de textes, un score élevé peut justifier qu'on regarde de plus près, jamais qu'on conclue. C'est un tri, pas un verdict. Utilisé comme ça, l'outil a une utilité modeste et réelle.

Pour le reste des fonctions de la suite, autrement plus solides, voyez le correcteur et le traducteur ou notre avis d'ensemble.