Detektor yang kami latih dari nol: AUC 0,970 dan 0% positif palsu pada esai TOEFL.
Untuk mengetahui apakah sebuah teks ditulis manusia atau mesin, kami melatih sebuah pendeteksi, menerbitkan riset, dan mengukur di mana pendeteksi bisa keliru.
Versi sederhana dari temuan makalah kami: teks LLM lebih mirip dirinya sendiri dibanding teks manusia, dengan panjang kalimat yang lebih seragam. Di sini dihitung dengan vektor kata; dalam riset kami menggunakan embedding kalimat.
Ketika model terbuka siap pakai tidak dapat lolos gerbang, kami melatih pengklasifikasi sendiri. Positif palsu pada esai mahasiswa turun dari 16.7% menjadi 0.5%.
Kami membawa matriks kemiripan diri dari musik ke teks. Teks LLM ternyata lebih koheren daripada teks manusia dan memberi tambahan yang berarti pada ukuran klasik.
Apakah penulis membangun kejutan seperti lengkung musik? Dengan kontrol yang baik, jawabannya tidak. Sinyal yang sesungguhnya ada pada tingkat dan keseragaman; ukuran yang bertahan dari serangan parafrase adalah burstiness.
Apakah angka, sitasi, dan makna tetap terjaga dalam paragraf akademik yang ditulis ulang? Kami mengukurnya kalimat demi kalimat. Lapisan perlindungan sitasi memangkas fabrikasi sekitar 30%.