Detektorn vi tränade från grunden: AUC 0,970 och 0 % falska positiva på TOEFL-uppsatser.
För att avgöra om en människa eller en maskin har skrivit en text tränade vi en detektor, publicerade forskning och mätte var detektorer går fel.
En enkel version av vad vår artikel visar: LLM-text är mer självlik än mänsklig text, med jämnare meningslängder. Här beräknas det med ordvektorer; i forskningen använde vi meningsinbäddningar.
När färdiga öppna modeller inte kunde passera grinden tränade vi vår egen klassificerare. Falska positiva på studentuppsatser sjönk från 16.7% till 0.5%.
Vi tog musikens självlikhetsmatris till text. LLM-text visar sig vara mer koherent än mänsklig text och tillför något väsentligt till klassiska mått.
Bygger skribenter upp överraskning som en musikalisk båge? Ett väl kontrollerat nej. Den verkliga signalen finns i nivå och jämnhet; måttet som överlever parafrasattacker är burstiness.
Bevaras siffror, citat och betydelse i ett omskrivet akademiskt stycke? Vi mäter mening för mening. Ett skyddslager för citat minskade påhitt med omkring 30%.