AI 텍스트 탐지

처음부터 학습시킨 탐지기: AUC 0.970, TOEFL 에세이에서 오탐 0%.

텍스트를 사람이 썼는지 기계가 썼는지 가려내기 위해 탐지기를 학습시키고, 연구를 발표하고, 탐지기가 어디서 틀리는지를 측정했습니다.

0.970처음 보는 생성기와 학술 텍스트에서의 AUC

0%TOEFL 에세이에서의 오탐

0.865125단어의 짧은 텍스트에서의 AUC

+1.86효과 크기: LLM 텍스트가 더 많이 반복됩니다

자기 유사도 행렬 · 실시간평균 -길이 변동성 -

밝은 칸 = 비슷한 문장

논문의 발견을 단순하게 구현한 버전입니다. LLM 텍스트는 사람의 텍스트보다 자기 유사도가 높고 문장 길이가 더 균일합니다. 여기서는 단어 벡터로 계산했고, 연구에서는 문장 임베딩을 사용했습니다.

측정됨2026년 7월

HumanizeMy.ai 탐지기

기성 오픈 모델이 게이트를 통과하지 못해 직접 분류기를 학습시켰습니다. 학생 에세이에서의 오탐은 16.7%에서 0.5%로 줄었습니다.

AUC 0.970FPR 1%에서 56.4% 탐지

연구공개 코드 + 논문

coherence-ssm-nlp

음악의 자기 유사도 행렬을 텍스트에 가져왔습니다. LLM 텍스트는 사람의 텍스트보다 일관성이 높게 나타나며, 기존 지표에 의미 있는 정보를 더합니다.

d +0.80 ~ +1.86p 0.012

발표됨공개 코드

surprisal-arc-nlp

작가들은 음악의 곡선처럼 놀라움을 쌓아 갈까요? 통제를 잘한 실험의 답은 아니오입니다. 진짜 신호는 수준과 균일성에 있으며, 패러프레이즈 공격에도 살아남는 지표는 burstiness입니다.

HC3 · MAGE · ASAPgpt2 · pythia

R&D학술 텍스트

Mürekkep 1.3

재작성한 학술 단락에서 숫자, 인용, 의미가 보존되는지 문장 단위로 측정합니다. 인용 보호 계층은 날조를 약 30% 줄였습니다.

HHEM 문장 플래그38개 단락 세트

비슷한 것이 필요하신가요?