मापा हुआजुलाई 2026
HumanizeMy.ai डिटेक्टरशुरू से बना डिटेक्टर
जब बने-बनाए ओपन मॉडल गेट पास नहीं कर सके, तब हमने अपना क्लासिफ़ायर प्रशिक्षित किया। छात्रों के निबंधों पर ग़लत पॉज़िटिव 16.7% से घटकर 0.5% रह गए।
AUC 0.9701% FPR पर 56.4% की पकड़
← सारा काम
AI टेक्स्ट की पहचान
हमारा शुरू से ट्रेन किया डिटेक्टर: AUC 0.970 और TOEFL निबंधों पर 0% फ़ॉल्स पॉज़िटिव।
यह बताने के लिए कि कोई पाठ इंसान ने लिखा या मशीन ने, हमने एक डिटेक्टर प्रशिक्षित किया, शोध प्रकाशित किया, और मापा कि डिटेक्टर कहाँ ग़लत होते हैं।
- डिटेक्टर ट्रेनिंग
- कैलिब्रेशन
- ग़लत पॉज़िटिव का ऑडिट
- पाठ की फ़िडेलिटी
- कंप्यूटेशनल भाषाविज्ञान
0.970AUC, अनदेखे जनरेटरों और अकादमिक पाठ पर
0%ग़लत पॉज़िटिव, TOEFL निबंधों पर
0.865AUC, 125 शब्दों के छोटे पाठों पर
+1.86प्रभाव आकार: LLM पाठ खुद को ज़्यादा दोहराता है
स्व-समानता मैट्रिक्स · लाइवऔसत -लंबाई की परिवर्तनशीलता -
0 / 60 शब्द
हमारे सर्वर पर गणना की गई · टेक्स्ट सहेजा नहीं जाता
--AI की संभावना
विवरण · वे संकेत जिन्होंने स्कोर को सबसे ज़्यादा हिलाया
वाक्यों की लय
चमकीला सेल = मिलता-जुलता वाक्य
हमारे पेपर के निष्कर्ष का एक सरल रूप: LLM पाठ इंसानी पाठ की तुलना में अधिक स्व-समान होता है, और उसके वाक्यों की लंबाई ज़्यादा एकसमान होती है। यहाँ इसकी गणना वर्ड वेक्टर से की गई है; शोध में हमने सेंटेंस एम्बेडिंग का उपयोग किया।
शोधखुला कोड + पेपर
coherence-ssm-nlpकोहेरेंस ही स्व-समानता है
हम संगीत की स्व-समानता मैट्रिक्स को पाठ तक लाए। LLM पाठ इंसानी पाठ से अधिक कोहेरेंट निकलता है और पारंपरिक मापों में सार्थक रूप से कुछ जोड़ता है।
d +0.80 से +1.86p 0.012
प्रकाशितखुला कोड
surprisal-arc-nlpसरप्राइज़ल आर्क जैसा कुछ नहीं है
क्या लेखक संगीत की धुन की तरह एक आर्क में आश्चर्य रचते हैं? सुनियोजित प्रयोग का जवाब: नहीं। असली संकेत स्तर और एकरूपता में है; पैराफ़्रेज़ हमलों के बाद भी टिकने वाला माप बर्स्टीनेस है।
HC3 · MAGE · ASAPgpt2 · pythia
R&Dअकादमिक पाठ
Mürekkep 1.3अर्थ और उद्धरण की फ़िडेलिटी
क्या दोबारा लिखे गए अकादमिक अनुच्छेद में संख्याएँ, उद्धरण और अर्थ सुरक्षित रहते हैं? हम वाक्य-दर-वाक्य मापते हैं। उद्धरण सुरक्षा परत ने मनगढ़ंत सामग्री को लगभग 30% घटा दिया।
HHEM वाक्य फ़्लैग38 अनुच्छेदों का सेट