Tyhjästä kouluttamamme tunnistin: AUC 0,970 ja 0 % vääriä positiivisia TOEFL-esseissä.
Jotta voisimme todeta, onko tekstin kirjoittanut ihminen vai kone, koulutimme tunnistimen, julkaisimme tutkimusta ja mittasimme, missä tunnistimet erehtyvät.
Yksinkertainen versio artikkelimme löydöksestä: LLM-teksti on itsesamankaltaisempaa kuin ihmisen kirjoittama teksti, ja sen lauseet ovat pituudeltaan tasaisempia. Tässä se lasketaan sanavektoreilla; tutkimuksessa käytimme lauseupotuksia.
Kun valmiit avoimet mallit eivät läpäisseet porttia, koulutimme oman luokittelijan. Väärien positiivisten osuus opiskelijaesseissä laski 16.7%:sta 0.5%:iin.
Toimme musiikin itsesamankaltaisuusmatriisin tekstiin. LLM-teksti osoittautuu koherentimmaksi kuin ihmisen teksti ja tuo klassisiin mittareihin merkittävää lisäarvoa.
Rakentavatko kirjoittajat yllätystä kuin musiikillista kaarta? Huolellisesti kontrolloidussa kokeessa vastaus on ei. Todellinen signaali on tasossa ja tasaisuudessa; parafraasihyökkäykset kestävä mittari on purskeisuus (burstiness).
Säilyvätkö luvut, viitteet ja merkitys uudelleenkirjoitetussa akateemisessa kappaleessa? Mittaamme lause lauseelta. Viitteiden suojakerros vähensi sepittämistä noin 30%.