AI metin tespiti

Sıfırdan eğittiğimiz dedektör: AUC 0,970, TOEFL yazılarında %0 yanlış pozitif.

Bir metni insanın mı makinenin mi yazdığını anlamak için dedektör eğittik, araştırma yayımladık ve dedektörlerin nerede yanıldığını ölçtük.

Dedektör eğitimi
Kalibrasyon
Yanlış pozitif denetimi
Metin sadakati
Hesaplamalı dilbilim

0,970AUC, görülmemiş üreticiler ve akademik metin

%0yanlış pozitif, TOEFL yazılarında

0,865AUC, 125 kelimelik kısa metinde

+1,86etki büyüklüğü: LLM metni kendini daha çok tekrar ediyor

Öz-benzerlik matrisi · canlı hesaportalama -uzunluk değişkenliği -

Parlak hücre = benzer cümle

Makalemizdeki bulgunun basit hali: LLM metni insandan daha öz-benzer, cümle uzunlukları daha tekdüze. Burada kelime vektörleriyle hesaplanıyor; araştırmada cümle gömüleri kullandık.

ÖlçüldüTemmuz 2026

HumanizeMy.ai dedektörü

Sıfırdan dedektör

Hazır açık modeller kapıyı geçemeyince kendi sınıflandırıcımızı eğittik. Öğrenci yazılarında yanlış pozitif %16,7'den %0,5'e indi.

AUC 0,970%1 FPR'de %56,4 yakalama

AraştırmaAçık kod + makale

coherence-ssm-nlp

Ahenk öz-benzerliktir

Müzikteki öz-benzerlik matrisini metne taşıdık. LLM metni insandan fazla ahenkli çıkıyor ve klasik ölçütlere anlamlı katkı veriyor.

d +0,80 ile +1,86p 0,012

YayındaAçık kod

surprisal-arc-nlp

Sürpriz yayı yok

Yazarlar sürprizi bir müzik yayı gibi mi kuruyor? İyi kontrollü bir hayır. Asıl sinyal seviye ve tekdüzelikte; paraphrase saldırısına dayanan ölçü ise burstiness.

HC3 · MAGE · ASAPgpt2 · pythia

Ar-GeAkademik metin

Mürekkep 1.3

Anlam ve atıf sadakati

Yeniden yazılan akademik paragrafta sayı, atıf ve anlam korunuyor mu? Cümle cümle ölçüyoruz. Atıf koruma katmanı uydurmayı yaklaşık %30 azalttı.

HHEM cümle bayrağı38 paragraflık set

Benzer bir iş mi istiyorsunuz?

Bize yazın Tüm işler