Don’t do plagiarism, kids

De eerste wet van de UGent luidt: ‘De uni­ver­siteit gebruikt alti­jd meer computerprogramma’s dan je denkt.’ In het licht van deze wet ver­baast het waarschi­jn­lijk weini­gen dat de uni­ver­siteit sinds enkele jaren gebruik maakt van de externe pla­giaat­de­tec­tiesoft­ware Epho­rus. Het gebruik van Epho­rus is wijd­ver­spreid over de meeste fac­ul­teit­en, maar toch lijken de stu­den­ten niet echt op de hoogte te zijn van deze dig­i­tale speurhond.

Recen­telijk zijn enkele van Epho­rus’ gebreken echter boven water gekomen, en dat roept vra­gen op. Wat houden die gebreken pre­cies in? Toon Van Hoecke en Patrick Cool van de ICT-afdel­ing van de UGent geven graag antwo­ord op deze vraag.

“Ik weet dat ik niks weet” ~Ik

Aangezien de meesten wellicht niet vertrouwd zijn met de soft­ware, is het nut­tig om eerst eens uit te leggen wat Epho­rus pre­cies inhoudt. Epho­rus is een voor­beeld van pla­giaat­de­tec­tiesoft­ware, een com­put­er­pro­gram­ma dat spe­ci­aal ont­wor­pen is om de meeste vor­men van pla­giaat te kun­nen herken­nen. Als je een doc­u­ment naar de site zendt, zal hij dat via een algo­ritme vergelijken met een data­base van aller­lei ver­schil­lende tek­sten. Uitein­delijk stu­urt hij je een bepaalde score van je doc­u­ment terug waarop ver­wezen wordt naar bepaalde prob­lema­tis­che pas­sages en de bron­nen die wor­den geplagieerd.

“Van de exacte fouten­marge van het sys­teem hebben wij ook niet echt een goed idee” – Cool

“Wat er pre­cies gebeurt wan­neer we het doc­u­ment hebben opges­tu­urd, weten we niet goed”, vertelt Patrick Cool, ver­ant­wo­ordelijke voor de tech­nis­che aspecten van Epho­rus aan de UGent. “Het algo­ritme dat gebruikt wordt, is een pub­liek geheim. Van­daar dat we ook weleens spreken van een black box. Dat is niet onge­bruike­lijk in de ICT-wereld, want als het algo­ritme alge­meen bek­end was, zouden andere bedri­jven hen uit­er­aard zelf kun­nen plag­iëren. Coca-Cola staat ook niet te wap­peren met het geheime recept. We kun­nen dus enkel raden naar de manier waarop het sys­teem werkt. Van de exacte fouten­marge van het sys­teem hebben wij dus zelf geen goed idee, maar het is zek­er niet zo dat het pro­gram­ma twee tek­sten let­ter­lijk met elka­ar vergelijkt. Waarschi­jn­lijk heeft het meer te mak­en met de aan­wezigheid van ver­schil­lende opval­lende woor­den die dicht bij elka­ar wor­den geplaatst. Een lichte vari­atie op een­zelfde zin zal de soft­ware waarschi­jn­lijk ont­dekken.”

“Ken jezelf” ~Ikzelf

Hoewel de spec­i­fieke werk­ing van het sys­teem ver­huld is in een black box, zijn we wel in staat naar een deel van de werk­ing te raden door mid­del van de fouten die in het sys­teem ont­dekt wor­den. Zo is recen­telijk nog eens gebleken dat – in tegen­stelling tot Epho­rus van Cyme, naar wie het pro­gram­ma ver­noemd is – de soft­ware niet beschikt over een indruk­wekkende tal­enken­nis. Een stu­dent aan de Fac­ul­teit Recht en Crim­i­nolo­gie was er immers in ges­laagd een paper in te dienen die een vri­jwel let­ter­lijke ver­tal­ing bleek te zijn van een hoofd­stuk in een boek. Een duidelijk geval van pla­giaat dat ken­nelijk niet werd opgepikt door het sys­teem. Naar ver­lu­idt is dit geen alleen­staand geval.

“Het is geen magie, hè”, lacht Van Hoecke ons toe. “We hebben hier niet te mak­en met arti­fi­ciële intel­li­gen­tie die leert uit eerder gemaak­te fouten, maar met een klassiek pro­gram­ma. We verwacht­en te veel als we ervan uit­gaan dat zo’n pro­gram­ma kan omgaan met de com­plex­iteit van ver­taalop­dracht­en. Als een stu­dent de schri­jf­sti­jl van de orig­inele tekst sterk zou veran­deren of een obscure tekst zou plag­iëren die niet aan­wezig is in Epho­rus’ data­base, zou dit aan het pro­gram­ma kun­nen ontsnap­pen. De soft­ware is zichzelf wel con­tinu aan het ver­beteren. Als een les­gev­er een vorm van pla­giaat ont­dekt die onder de radar geglipt was, zal die meestal een sig­naal zen­den naar Epho­rus die dit geval dan zal opne­men in de data­base. Op die manier wordt pla­giaat steeds moeil­ijk­er. Ver­taal­fouten mogen dan wel moeil­ijk zijn voor Epho­rus, maar uit ervar­ing blijkt dat deze meestal snel opgepikt wor­den door de les­gev­ers zelf.”

“Het is geen magie, hè” – Van Hoecke

De vraag is natu­urlijk of Epho­rus plan­nen maakt om de stap te zetten naar arti­fi­ciële intel­li­gen­tie, een besliss­ing die de slagkracht van het pro­gram­ma sterk zou doen toen­e­men. Hier­mee zouden beperkin­gen met betrekking tot ver­taal­fouten en wis­se­lende schri­jf­sti­jlen kun­nen wor­den opgelost. Er zijn echter twee fac­toren die dit afrem­men, zoals Cool aangeeft. “Epho­rus heeft in het verleden waarschi­jn­lijk al vaak zijn algo­ritme aangepast, maar wij hebben geen zicht op de fouten die zij proberen weg te werken. Een soft­warebedri­jf maakt natu­urlijk geen reclame met een wasli­jst aan fouten. ‘Kijk eens: deze fout zat in ons sys­teem, maar nu is die weg, hoor!’ Dat klinkt uit­er­aard niet goed.”

“Epho­rus is voor de uni­ver­siteit eerder een noodza­ke­lijk kwaad” – Van Hoecke

Epho­rus mist vooral de economis­che aans­poring om zich te gaan ver­beteren. “Vroeger waren er drie grote spel­ers op de markt en was Epho­rus daar één van”, legt Van Hoecke uit. “Nu zijn er nog maar twee. De mark­tlei­der Tur­nitin heeft enkele jaren gele­den Epho­rus opges­lokt en nu hebben zij tot op zekere hoogte een monop­o­lie over de hele markt. Er zijn een paar kleinere uitdagers, maar uit­er­aard beschikt nie­mand over een data­base aan tek­sten die kan con­cur­reren met die van Tur­nitin en Epho­rus.”

“I’m only human after all” ~I

Na de analyse van onze speurhond wordt het toch eens tijd om onze metafoor een beet­je bij te schaven. “Epho­rus is eerder te vergelijken met een flitspaal. Een hele hoop weg­pi­rat­en wor­den gevat door de tech­nolo­gie, maar net als de agen­ten zijn ook de prof­fen ervan op de hoogte dat het groot­ste deel van de plagieerders een weg omheen het sys­teem kan vin­den. Belan­grijk is dat Epho­rus nooit als meer dan een tool gebruikt mag wor­den. Het is een hand­ig mid­delt­je om doc­u­menten snel eens na te kijken, maar op het einde van de dag vertrouwen we vooral op de exper­tise van de pro­fes­soren zelf om alle papers en essays na te kijken. Pla­giaat­de­tec­tiesoft­ware is voor een uni­ver­siteit eerder een soort noodza­ke­lijk kwaad. Het werkt hele­maal niet zo goed als we zouden willen en in feite is het nog steeds de les­gev­er die zelf het meeste werk moet ver­richt­en. En toch is het iets wat iedere uni­ver­siteit moet hebben. De UGent zou er ongetwi­jfeld op wor­den aange­spro­ken mocht er geen dergelijke soft­ware wor­den gebruikt.”

“Ik was aan­ge­naam ver­rast dat er zo weinig gevallen van pla­giaat waren” – Cool

“Die bood­schap geven we ook alti­jd mee aan de les­gev­ers”, vult Cool aan. “Het is niet omdat iemand een score van twintig behaalt op Epho­rus, dat het werk meteen moet wor­den afgedaan als pla­giaat. Bij een score van één hebben we niet zon­der twi­jfel te mak­en met een orig­inele tekst. Het kan zijn dat de eerste stu­dent meer citat­en heeft gebruikt of vak­er naar zichzelf ver­wezen heeft, ter­wi­jl de tweede miss­chien een hele pas­sage gekopieerd heeft die slechts één keer gereg­istreerd werd door het sys­teem. Elk jaar nemen de gevallen van pla­giaat af; recen­telijk heb ik de cijfers nog eens te zien gekre­gen en was ik aan­ge­naam ver­rast dat er zo weinig gevallen van pla­giaat waren.” Hoe die cijfers eruitzien? Dat wou Cool niet meegeven.

Miss­chien hebben we dan toch niet te mak­en met een dig­i­tale speurhond, maar met een erg hand­i­ge flitspaal. Eén ding is echter zek­er: het kat-en-muis­spel tussen Epho­rus en de plagieerders is nog lang niet ten einde.