Parafrazavimo detektorius — raskite užmaskuotą kopijavimą
Parafrazavimo detektorius aptinka tekstą, kuris buvo perfrazuotas siekiant paslėpti šaltinį. Noplag šiuo metu aptinka tik lengvus atvejus: jei penkių žodžių seka lieka nepakeista, atitikmuo randamas, todėl sinonimų keitimai ar nedideli žodžių tvarkos pakeitimai nustatomi naudojant winnowing žymenis ir tikrinami su gyvu interneto paieška. Nuoseklus sakinių perrašymas yra kita problema, kurios dar neaptinkame — artimų dublikatų paieška (v1.1) ir semantinis atitikimas (v1.2) tai spręs, kai tik bus ištestuota ir įdiegta.
Mes aptinkame. Mes nepadedame išvengti.
Humanizeris – tai įrankis, kuris perrašo AI arba žmogaus parašytą tekstą, kad būtų sunkiau jį aptikti. Mes galėtume tokį sukurti. Bet to nedarome. Šio produkto tikslas – parodyti neatskleistą kopijavimą, o ne padėti jį slėpti. Jei aptikimas turi būti naudingas, detektorių kūrėjai ir humanizerių kūrėjai negali būti tie patys. Mes pasirinkome savo pusę.
Kai ataskaitoje minime humanizerius, tai darome tam, kad informuotume apie jų egzistavimą ir galimą naudojimą prieš tikrinamą tekstą — ne tam, kad juos siūlytume.
Keturi sluoksniai. Du jau veikia, dar du ruošiami.
Kaskada siaurėja nuo tikslių atitikmenų per beveik identiškus iki semantinio atitikimo, galiausiai tikrinama atviroje žiniatinklio erdvėje. Du iš šių sluoksnių įdiegti v1.0; du, skirti tikram parafrazavimui aptikti, dar kuriami. Tai sakome atvirai.
Winnowing pirštų atspaudai — įdiegta
Tikslūs pošešių ženklų atitikmenys. Nedideli sinonimų pakeitimai ar žodžių tvarkos pakeitimai, jei penkių žodžių seka išlieka.
Bet koks didesnis pertvarkymas ar perrašymas.
MinHash LSH — v1.1 planas
Aptiks sakinių tvarkos ir žodžių lygio pertvarkymus. Šiuo metu neaptinkama.
Tikri sinonimai ir semantinis perrašymas — tam skirtas L3.
Sakinių įterpiniai — v1.2 planas
Aptiks sinonimų pakeitimus ir semantinį parafrazavimą. Šiuo metu neaptinkama.
Perrašymai, kurie pakankamai nutolę nuo šaltinio, kad neliktų statistinio signalo.
Tikrala su gyvu žiniatinkliu — įdiegta
Šaltiniai, atsiradę po korpuso momentinės kopijos.
Turinys už mokamos sienos arba neindeksuotas.
Ką aptinkame šiandien — pagal parafrazavimo lygį.
Tai yra v1.0 elgsena, ne prognozė. Lengvas redagavimas palieka atpažįstamų teksto atkarpų; nuodugniai perrašytas tekstas — ne, ir joks „pirštų atspaudų“ metodas to neatkurs. Tiksliai apie šią ribą rašėme savo įraše apie sąžiningas pažodinio aptikimo ribas: /blog/the-honest-limits-of-verbatim-detection.
Sinonimų keitimas ir nedidelis žodžių tvarkos pakeitimas. Išlieka pakankamai originalios formuluotės, kad būtų galima atitikti pirštų atspaudus.
Katė sėdėjo ant kilimėlio.
Felines sėdėjo ant kilimėlio.
Pakeista sakinio struktūra, pakeisti veiksmažodžiai. Aptinkama tik ten, kur išlieka nepakeista atkarpa. Beveik tapačių atitikčių aptikimas (v1.1) skirtas šiam lygiui.
Katė sėdėjo ant kilimėlio.
Ant kilimėlio buvo įsitaisiusi katė.
Visiškai perrašyta prasmė, nauja struktūra ir žodynas. Šiandien balas lygus nuliui; semantinis atitikimas (v1.2) skirtas šiam lygiui.
Katė sėdėjo ant kilimėlio.
Mažas žinduolis buvo įsitaisęs ant audinio paviršiaus.
Dešimt klausimų apie perfrazuoto turinio aptikimą.
Daugiausia apie tai, kur aptikimas neveikia. Aiškiai nurodome ribas; tai svarbu tiems, kurie remsis rezultatais.
- Kuo skiriasi perfrazuoto turinio aptikimas nuo plagijavimo aptikimo?
- Plagijavimas – platesnė sąvoka: teksto kopijavimas be nuorodos į šaltinį. Perfrazuoto turinio aptikimas – konkreti užduotis nustatyti plagijavimą, kai tekstas perrašytas siekiant nuslėpti kilmę. Noplag abu atvejus pateikia vienoje ataskaitoje; perfrazuoto turinio aptikimo modulis įsijungia, kai L1 tikslaus atitikmens sluoksnis neveikia.
- Kodėl sunku aptikti stipriai perrašytą tekstą?
- Aptikimas remiasi statistiniais požymiais – bendromis žodžių sekomis, vėliau – struktūros ir prasmės panašumais. Lengvai redaguotas tekstas išlaiko šias sekas, todėl yra aptinkamas. Jei tekstas perrašomas sakinys po sakinio, bendros sekos visiškai išnyksta: kruopščiai perrašytas tekstas pagal pirštų atspaudų variklį (tai yra v1.0) duoda nulį. Tai metodo savybė, o ne klaida, todėl beveik identiškų (v1.1) ir semantinių (v1.2) atitikmenų paieška yra atskiri sluoksniai, o ne nustatymų parametras. Plačiau apie tai rašome įraše apie tikslaus atitikmens aptikimo ribas: /blog/the-honest-limits-of-verbatim-detection.
- Ar Noplag siūlo įrankį AI tekstui humanizuoti?
- Ne. Mes neteikiame humanizavimo įrankio. Humanizavimo tikslas – apeiti aptikimą, o tai prieštarauja mūsų tikslui. Mūsų užduotis – aptikti, o ne padėti slėpti. Plačiau – pozicijos paaiškinime aukščiau.
- Kaip tai lyginasi su Quillbot perfrazuotoju?
- Quillbot perrašo tekstą, kad apeitų aptikimą. Mes aptinkame tekstą, perrašytą siekiant išvengti aptikimo. Esame priešingose problemos pusėse. Jei Quillbot rezultatas patenka į jūsų tikrinimą, ataskaitoje bus pažymėta „galimas perfrazuotojo naudojimas“, jei aptiksime būdingus požymius.
- Kas yra „keturių sluoksnių kaskada“ ir kiek jos veikia?
- Keturi aptikimo etapai, kiekvienas mažiau pažodinis nei ankstesnis. L1 sluoksnis aptinka tikslius ir lengvai redaguotus atitikmenis, Layer W tikrina pagal gyvą paiešką internete – abu veikia v1.0. L2 (beveik identiškų atitikmenų paieška) numatyta v1.1, L3 (semantinis atitikimas per sakinių vektorius) – v1.2; nei vienas dar neveikia ir nėra viešame repozitoriume. Taigi sąžiningai: veikia pusė kaskados, ir tai ta dalis, kuri aptinka lengvai perrašytą tekstą.
- Kaip dėl atgalinio vertimo kaip perfrazuotojo metodo?
- Atgalinis vertimas (anglų → ispanų → anglų) – vienas sunkiausiai aptinkamų perfrazuotojo tipų: prasmė išlieka, struktūra nauja. Jei lieka originalių frazių, jas aptinkame; jei tekstas perrašytas visiškai, šiuo metu neaptinkame. Tai bus semantinio sluoksnio (v1.2) užduotis.
- Ar pažymėsite stipriai perrašytą tekstą kaip „plagijavimą“?
- Tik jei pasitikėjimo lygis pakankamas. Jei žemiau ribos, rodome įtartiną ištrauką su žyma „žemo pasitikėjimo atitikmuo“ ir sprendimą paliekame vertintojui. Niekada vienareikšmiškai nepriskiriame perrašyto teksto plagijavimui – pateikiame tik tikimybę ir argumentus.
- Ar galiu matyti, kaip Noplag įvertino ištrauką?
- Taip. Kiekvienas atitikmuo ataskaitoje turi nuorodą į šaltinio URL ir rodo, kuris aptikimo sluoksnis suveikė. Rezultatą galite atkurti neprisijungę naudodami atvirojo kodo variklį – žr. /open-source-plagiarism-checker.
- Ar Noplag aptinka perfrazuotą tekstą kitomis kalbomis nei anglų?
- Aptikimas pritaikytas anglų, ispanų, portugalų, lenkų ir ukrainiečių kalboms paleidimo metu, vėliau bus daugiau kalbų. Kitomis kalbomis rezultatai žymimi „mažai duomenų – vertinti atsargiai“.
- Ar perfrazuoto turinio aptikimas nemokamas?
- Taip, nemokamoje versijoje – iki 2 500 žodžių vienam tikrinimui, be registracijos. Pro ir Premium planuose limitas didesnis; aptikimo algoritmas visur tas pats.
Raskite perfrazuotą plagijavimą – nemokamai, iki 2 500 žodžių.
Šiuo metu aptinkame tik lengvai performuluotą tekstą ir atvirai pripažįstame, kad išsamiai perrašytų vietų aptikti negalime, kol nebus įdiegtas semantinis sluoksnis. Patikrinkite savo tekstą ir peržiūrėkite, ką tiksliai aptiko variklis.
Aptikite perfrazuotą plagiatą