Le détecteur que nous avons entraîné de zéro : AUC 0,970 et 0 % de faux positifs sur des rédactions du TOEFL.
Pour savoir si un texte a été écrit par une personne ou par une machine, nous avons entraîné un détecteur, publié des recherches et mesuré où les détecteurs se trompent.
Une version simple de la conclusion de notre article : le texte de LLM est plus autosimilaire que le texte humain, avec des longueurs de phrases plus uniformes. Ici, le calcul se fait avec des vecteurs de mots ; dans la recherche, nous avons utilisé des embeddings de phrases.
Lorsque les modèles ouverts prêts à l’emploi n’ont pas franchi la barrière, nous avons entraîné notre propre classifieur. Les faux positifs sur des rédactions d’étudiants sont passés de 16.7% à 0.5%.
Nous avons transposé au texte la matrice d’autosimilarité de la musique. Le texte de LLM ressort plus cohérent que le texte humain et apporte un gain significatif aux mesures classiques.
Les auteurs construisent-ils la surprise comme un arc musical ? Un non bien contrôlé. Le vrai signal se trouve dans le niveau et l’uniformité ; la mesure qui résiste aux attaques par paraphrase est la burstiness.
Les chiffres, les citations et le sens sont-ils préservés dans un paragraphe académique réécrit ? Nous mesurons phrase par phrase. Une couche de protection des citations a réduit les inventions d’environ 30%.