DI detektorius: signalas, o ne nuosprendis
AI aptikimas greitai pasirodys – tai mūsų planuose, paslauga dar neveikia. Kai paleisime, kiekvienas AI detektorius – taip pat ir mūsų – kartais klys. Noplag pateiks kalibruotą tikimybės balą, o ne taip/ne sprendimą, ir paskelbs klaidingai teigiamų atvejų rodiklius rašantiesiems ne gimtąja anglų kalba. Statome aprėptį ChatGPT, Claude, Gemini, GPT-5 ir Llama. Perskaitykite, ką reiškia balas, prieš imdamiesi veiksmų – ypač jei sprendžiate dėl studento ar kandidato į darbą. Aptikimas yra tik vienas iš signalų. Jis niekada neturėtų būti vienintelis.
Aptikimo parašai kiekvienam pagrindiniam LLM.
Kiekvienas modelis palieka skirtingą statistinį parašą. Stebime juos kiekvienoje laidoje ir skelbiame kalibravimą pagal modelį, kad žinotumėte, ką balas reiškia patikrintam tekstui.
ChatGPT
gpt-4o, o1, o3 šeimos. Fiksuojame išvesties pokyčius tarp versijų; kalibravimas pagal modelį atnaujinamas per 30 dienų nuo kiekvieno išleidimo. Ataskaitoje nurodoma kuri modelių šeima geriausiai atitinka signalą.
Claude
Sonnet, Opus, Haiku lygiai per 3.x ir 4.x. Aptikimo signalas priklauso nuo režimo (mąstymas ar greitas); ataskaitoje visada nurodomas kalibravimas pagal režimą.
Gemini
1.5 Pro, 2.0 Flash, 2.5 Pro. Dvikalbis signalas yra silpnesnis tekstams ne anglų kalba; ataskaitoje tai pateikiama kaip 'žemų resursų pasitikėjimas', o ne slepiama.
GPT-5
OpenAI rugpjūčio 2025 m. leidimas. Elgesio parašas skiriasi nuo gpt-4o; kalibravimą atnaujiname pagal modelio kortelės nuorodinius tekstus per 30 dienų nuo išleidimo.
Llama
3, 3.1, 3.3 šeimos. Savarankiškai diegiamos versijos – sudėtingiau, nes pritaikymas keičia parašą. Ataskaitoje nurodoma 'tikėtina LLM generacija, šeima Llama' neįvardijant konkrečios versijos.
Kiekvienas AI detektorius per dažnai žymi ne gimtakalbius rašytojus. Ką darome mes.
Liang ir kt. (Stanfordas, 2023) nustatė 61% klaidingai teigiamų TOEFL rašinių – šešis kartus dažniau nei gimtakalbiams. Kiekvienas detektorius. Taip pat ir mūsų, prieš ištaisant.
Stanfordo tyrimas
Liang ir kt. (2023) išbandė visus komercinius AI detektorius su TOEFL rašiniais, kuriuos parašė ne gimtakalbiai angliškai. Standartinis detektorius pažymėjo 61% kaip AI generuotus – šešis kartus daugiau nei gimtakalbių atveju. Tie patys tekstai, ta pati užduotis.
Ką mes pakeitėme
Iš naujo apmokėme klasifikatorių be ESL tipo požymių – vienoda sakinių trukmė, paprastesnis žodynas, mažiau idiomų nėra naudinga kaip AI signalas. Tik stiliaus-nepriklausomi bruožai. Prognozuojame iš struktūros, ne iš kalbos išbaigtumo.
Liekamoji klaidų dalis
Po pataisymo: dokumentuotas, kiekvienai kalbai atskiras pasitikėjimo intervalas, o ne vienas bendras rodiklis. Kiekvienos kalbos lentelės skelbiamos, kai funkcija pereina vertinimą — būtent to reikalautų institucinis auditas.
Kada ignoruoti
Jei vertinate ESL rašytoją ir balas yra 20–80% riboje, žiūrėkite į jį tik kaip į rekomendacinį. Ataskaitoje aiškiai nurodoma 'žemas pasitikėjimas – interpretuoti atsargiai', kad naudotojas matytų, kada nereikėtų imtis sprendimų.
Ko dar nematome
Hibridinis rašymas – LLM parašytas, redaguotas gimtakalbio – sunkesnis nei kiekvienas atvejis atskirai. Ataskaitoje žymima 'mišrus signalas, tikėtinas hibridas', o ne spėliojama; dalis liekamų klaidų kyla čia.
Kur matuojame
Vieši TOEFL rašinių rinkiniai, Pan-Hispano akademiniai darbai ir CEFR lygio daugiakalbiai tekstai. Tie patys duomenys, kuriuos naudojo Liang ir kt., plius 8 nauji korpusai, surinkti 2024–2026 m. Nuorodos bus paskelbtos kartu su metodika, kai funkcija bus įdiegta.
Tai tikimybė, ne sprendimas.
Balas – tai galimybė nuo 0% iki 100%. Virš 80%: didelė tikimybė, kad generavo AI. Žemiau 20%: didelė tikimybė, kad rašė žmogus. 20–80% – vertinkite tai tik kaip vieną iš požymių, ne kaip įrodymą. Aptikimas turėtų paskatinti pokalbį, o ne užbaigti.
Didelė tikimybė, kad tekstą parašė žmogus. Šios grupės klaidingai teigiamų atvejų dažnį kiekvienai kalbai paskelbsime, kai funkcija pereis vertinimą.
Modelis nepakankamai užtikrintas. Įvertinkite balą kaip vieną iš duomenų šaltinių – naujesni darbai, ankstesni juodraščiai, klasėje rašyti tekstai. Nesiimkite veiksmų remdamiesi tik šiuo rodikliu.
Didelis pasitikėjimas, kad tekstas sukurtas didelio kalbinio modelio. Vis tiek tai ne sprendimas. Prieš imdamiesi veiksmų, papildomai pasitikrinkite (užklausos, naršymo istorija, žodinis aptarimas).
- 5LLM šeimos, į kurias bus orientuojamasi paleidimo metu
- 61%ESL klaidingai teigiamas, Stanfordas '23
- 30dplanuojamas modelio perkvalifikavimo dažnis po kiekvieno leidimo
- v1.2AI turinio aptikimo išleidimo tikslas
- 2024aptikimo tyrimai pradedami
Mes už sąžiningumą. Mes neplatiname įrankių aptikimo apėjimui.
Humanizeris – tai įrankis AI aptikimui apeiti: perrašo LLM tekstą, kad sumažintų aptikimo balą. Galėtume tokį sukurti. Nedarysime. Šio produkto esmė – parodyti AI naudojimą, o ne jį slėpti. Kad aptikimas būtų naudingas, detektorių kūrėjai ir humanizerių kūrėjai negali būti tas pats tiekėjas. Mes pasirinkome pusę. Kai šiame produkte minime humanizerius, tai tik tam, kad informuotume: jie egzistuoja ir gali būti naudoti prieš pateikiant tekstą – ne tam, kad parduotume jums įrankį.
Skaitykite visą pozicijąKaip lyginame su GPTZero, Originality.ai ir Winston.
Skirtas švietimui, nėra plagijavimo lygmens, kalibravimas neviešas. Tik AI aptikimas; jei reikia ir plagijavimo, teks naudoti du įrankius.
Aptikimas + plagiatas + atvirojo kodo variklis. Kalibravimo duomenys pagal modelį yra vieši. Ta pati ataskaita, tas pats tiekėjas, galima audituoti visą procesą.
‘97% tikslumo’ reklama. Klaidingai teigiamas nepaskelbtas. Kalibravimas tik anglų kalbai. Uždara sistema – negalite tikrinti balo priežasčių.
Atvirai apie ESL šališkumą (Liang 2023 cituojame tiesiogiai). Kalbų kalibravimas. Atviro kodo variklis; metodika bus paskelbta kartu su funkcija.
Geras ChatGPT aptikimas. Silpnesnis signalas Claude ir Gemini. Brangu dideliam kiekiui; kainos kyla viršijus 10 tūkst. žodžių/mėn.
Aprėpia visas pagrindines modelių šeimas su tokio pat kalibravimo pastanga. Fiksuotos kainos iki Pro plano. Savarankiško diegimo parinktis griežtesniems pirkėjams.
Dvylika klausimų, tiesūs atsakymai.
Jei atsakymo nežinome, taip ir parašyta. Sąrašą atnaujiname pasikeitus kalibravimui.
- Ar AI aptikimas tikslus?
- Atviras atsakymas: joks detektorius nėra patikimas tekstams iki ~200 žodžių, o kiekvienas detektorius turi klaidingai teigiamų atvejų, kurių dažnis priklauso nuo rašymo stiliaus, kalbos ir naudoto LLM. Noplag įsipareigoja skelbti savo kalibravimo duomenis, kad žinotumėte, ką „tikslumas“ reiškia jūsų atveju; jie bus paskelbti kartu su funkcija.
- Ar Noplag gali pažymėti mano tekstą kaip AI, jei nesiūlau anglų kaip gimtosios?
- Gali — ir mes tai aiškiai nurodome. Liang ir kt. (Stanfordas 2023) parodė, kad kiekvienas komercinis AI detektorius per dažnai žymi ESL rašančiuosius. Mūsų apsaugos riboja klaidingų žymėjimų dalį žinomiems ESL modeliams, ir skelbiame liekamąją paklaidą. Jei signalas neaiškus, tai nurodoma ataskaitoje.
- Kokius AI modelius Noplag aptiks?
- Pradžioje AI aptikimas apims ChatGPT (gpt-4o, o1, o3), Claude (Sonnet / Opus / Haiku, 3.x ir 4.x), Gemini (1.5 / 2.0 / 2.5), GPT-5 ir Llama 3.x. Aptikimas jau greitai; kokybė priklauso nuo modelio, ir ataskaitoje matysite kurio modelio parašą atitinka balas.
- Kaip tai skiriasi nuo GPTZero ar Originality.ai?
- AI aptikimą deriname su plagiato tikrinimu ir pateikiame variklį kaip atvirojo kodo sprendimą. GPTZero skirtas tik aptikimui. Originality.ai yra uždarojo kodo ir neskelbia duomenų apie ESL šališkumą. Eilučių palyginimus rasite /vs-gptzero ir /vs-originality-ai.
- Ar studentai gali apeiti aptikimą su humanizeriu?
- Taip — humanizeriai egzistuoja, ir tai turime pripažinti. Daug perrašytas LLM tekstas susilpnina aptikimo signalą. Mes humanizerių nesiūlome (tai prieštarauja mūsų tikslui). Vertinkite AI aptikimą kaip vieną iš rodiklių, ne kaip galutinį sprendimą.
- Ką čia reiškia 'klaidingai teigiamas'?
- Žmogaus parašytas tekstas įvertintas kaip AI sukurtas. Šį dažnį matuosime ir skelbsime pagal kalbą ir rašymo stiliaus grupę. Nė vienas detektorius neturi nulio — laikyti aukštą rodiklį įrodymu, o ne signalu, kurį reikia tirti, yra netinkamas naudojimas, kurio šis puslapis ir siekia išvengti.
- Ar parduodate 'detekcija tikslumu 99%' garantiją?
- Ne. Kas teigia, kad nuolat pasiekia daugiau nei ~85 % tikslumą visose rašymo stilių, kalbų ir LLM kombinacijose, klaidina dėl matematikos ribų. Tikrąjį pasitikėjimo intervalą kiekvienai kalbai paskelbsime, kai funkcija pereis vertinimą. Mes neparduodame užtikrintumo.
- Ar AI aptikimas nemokamas?
- AI aptikimas greitai. Paleidus jis bus nemokamas baziniame plane – ta pati 2 500 žodžių riba kaip ir plagijavimo tikrinimui. Mokami planai ribą didina; AI aptikimas niekada nebus mokamas atskirai.
- Kaip dažnai atnaujinama modelių aprėptis?
- Po kiekvieno naujo LLM išleidimo atnaujiname aptikimą per 30 dienų. Jei modelio dar nėra kalibravime, ataskaitoje rašoma 'tikėtina LLM generacija, modelis nežinomas', o ne spėjama šeima.
- Ar aptikate AI tekstą keliomis kalbomis?
- Anglų, ispanų, prancūzų, vokiečių ir portugalų kalboms yra patvirtinti kalibravimo duomenys – stipriausias signalas anglų kalba. Kitoms kalboms rezultatas žymimas 'žemų resursų – vertinti atsargiai.' Ataskaitoje nurodomas kalibravimo lygmuo.
- Ar galima integruoti AI aptikimą per API?
- Greitai. AI aptikimas planuose; paleidus /v1/checks grąžins ir plagijavimo, ir AI balus. Daugiau – /plagiarism-checker-api ir /docs/api.
- Ką daryti, jei nesutinku su balu?
- Praneškite mums. Užfiksuojame pataisymus, modelį pertvarkome per 30 dienų po atnaujinimo ir skelbiame modelio elgsenos pokyčius. Aptikimas nėra tobulas; geriau išgirsti apie klaidas nei apsimesti, kad jų nėra.
AI aptikimas — greitai, nemokamai iki 2 500 žodžių.
Kalibravimo duomenys, klaidingai teigiamų rodikliai ir parašai pagal modelį bus skelbiami viešai. Sužinokite, kas slypi už balo prieš veikdami.
Pranešti, kai pasirodys