การตรวจจับข้อความ AI

ตัวตรวจจับที่เราเทรนเองตั้งแต่ต้น: AUC 0.970 และผลบวกลวง 0% กับเรียงความ TOEFL

เพื่อบอกว่าข้อความถูกเขียนโดยมนุษย์หรือเครื่อง เราฝึกตัวตรวจจับ เผยแพร่งานวิจัย และวัดว่าตัวตรวจจับผิดพลาดตรงจุดใด

การฝึกตัวตรวจจับ
การสอบเทียบ
การตรวจสอบผลบวกลวง
ความตรงตามต้นฉบับของข้อความ
ภาษาศาสตร์เชิงคำนวณ

0.970AUC บนตัวสร้างที่ไม่เคยเห็นและข้อความเชิงวิชาการ

0%ผลบวกลวงบนเรียงความ TOEFL

0.865AUC บนข้อความสั้น 125 คำ

+1.86ขนาดผล: ข้อความจาก LLM ซ้ำตัวเองมากกว่า

เมทริกซ์ความคล้ายคลึงในตัวเอง · สดค่าเฉลี่ย -ความแปรผันของความยาว -

ช่องสว่าง = ประโยคที่คล้ายกัน

เวอร์ชันง่ายของข้อค้นพบในบทความวิจัยของเรา ข้อความจาก LLM มีความคล้ายคลึงในตัวเองมากกว่าข้อความมนุษย์ และความยาวประโยคสม่ำเสมอกว่า ที่นี่คำนวณด้วยเวกเตอร์คำ ส่วนในงานวิจัยเราใช้เอ็มเบดดิงระดับประโยค

วัดผลแล้วกรกฎาคม 2026

ตัวตรวจจับของ HumanizeMy.ai

ตัวตรวจจับที่สร้างจากศูนย์

เมื่อโมเดลเปิดสำเร็จรูปผ่านด่านไม่ได้ เราจึงฝึกตัวจำแนกของเราเอง ผลบวกลวงบนเรียงความของนักเรียนลดลงจาก 16.7% เหลือ 0.5%

AUC 0.970จับได้ 56.4% ที่ FPR 1%

วิจัยโค้ดเปิด + บทความวิจัย

coherence-ssm-nlp

ความสอดคล้องต่อเนื่องคือความคล้ายคลึงในตัวเอง

เรานำเมทริกซ์ความคล้ายคลึงในตัวเองของดนตรีมาใช้กับข้อความ ข้อความจาก LLM ออกมาสอดคล้องต่อเนื่องกว่าข้อความมนุษย์ และเพิ่มคุณค่าให้กับมาตรวัดแบบดั้งเดิมได้อย่างมีนัยสำคัญ

d +0.80 ถึง +1.86p 0.012

เผยแพร่แล้วโค้ดเปิด

surprisal-arc-nlp

ไม่มีส่วนโค้งของ surprisal

ผู้เขียนสร้างความประหลาดใจเป็นส่วนโค้งแบบดนตรีหรือไม่ คำตอบที่ผ่านการควบคุมอย่างดีคือไม่ สัญญาณจริงอยู่ที่ระดับและความสม่ำเสมอ ส่วนมาตรวัดที่ทนต่อการโจมตีด้วยการเรียบเรียงใหม่ได้คือความกระจุกตัวเป็นช่วง (burstiness)

HC3 · MAGE · ASAPgpt2 · pythia

วิจัยและพัฒนาข้อความเชิงวิชาการ

Mürekkep 1.3

ความตรงตามต้นฉบับของความหมายและการอ้างอิง

ย่อหน้าวิชาการที่เขียนใหม่ยังคงตัวเลข การอ้างอิง และความหมายไว้ครบหรือไม่ เราวัดทีละประโยค ชั้นป้องกันการอ้างอิงช่วยลดการแต่งข้อมูลเท็จได้ประมาณ 30%

ธงระดับประโยคของ HHEMชุดข้อมูล 38 ย่อหน้า

อยากได้งานแบบนี้ไหม

เขียนถึงเรา ผลงานทั้งหมด