AI AI AI

Dit ver­haal begint op de Scham­perredac­tie, waar we alle dig­i­tale Scham­per­ar­tikels van 2004 tot nu in een tek­st­be­stand gezet hebben. Het bestand­je van zo’n 20 megabytes was de 8000 pagina’s dikke cur­sus ‘hoe schri­jf ik een Scham­per­ar­tikel’ voor de com­put­er. Met deze dataset kon­den we aan de slag. Cedric De Boom, post­doc­tor­aal onder­zoek­er in machi­naal leren, genereerde voor ons het onder­staande artikel en legde een deel van deze magie uit. Wij vat­ten samen.

De setup

De soft­ware probeert op basis van een deep learn­ing mod­el – een vorm van arti­fi­ciële intel­li­gen­tie – zo goed mogelijk te wor­den in het voor­spellen van karak­ters. Het mod­el dat gebruikt werd, een Recur­rent Neur­al Net­work (RNN), scant de hele tekst per twee­hon­derd karak­ters en probeert bij wijze van oefen­ing voor zichzelf steeds het vol­gende karak­ter van dit stuk­je tekst te voor­spellen. Als ze het karak­ter ‘juist’ voor­spelt, kri­jgt de AI een goed rap­port en gaat ze verder oefe­nen met de ken­nis die ze al heeft. Anders kri­jgt de soft­ware feed­back over wat het karak­ter wel had moeten zijn. Het mod­el gaat zich intern zo aan­passen dat het steeds beter wordt in het gener­eren van het 201ste karak­ter op basis van de voor­gaande karak­ters. Het mod­el dat ons hoog­waardi­ge artikel schreef leerde op deze man­nier een kleine twee uur voor het met dit resul­taat op de prop­pen kwam.

De bugs

In de dikke cur­sus aan voor­beeld­da­ta die we aan de AI gegeven hebben, ston­den nog heel wat ruis en fouten: pag­i­nanum­mers, data, enzovoort. De AI kreeg daaren­boven data voorgeschoteld waarin geen duid­ing werd gegeven over wat een titel en wat een alin­ea is, en ook niet waar een artikel begint en eindigt. Het is mogelijk om deze data op te scho­nen en het mod­el com­plex­er te mak­en. Hier­door leer je de AI om een artikel te schri­jven inclusief inlei­d­ing, alinea’s en titel. Opmerke­lijk is alleszins dat de soft­ware er zeer goed in slaagt om woor­den te vor­men. Ondanks het feit dat nie­mand hem ooit verteld heeft dat tekst op die manier opge­bouwd hoort te wor­den.

“Jour­nal­is­ten zullen nog niet meteen verd­wi­j­nen.”

Het is ook mogelijk het mod­el te trainen op woord­niveau. Dan voor­spelt de AI woord na woord in plaats van karak­ter na karak­ter. Het nadeel is dan dat de AI woor­den zou kun­nen voor­spellen die veel voorkomen in de data, want daar zal de AI zich zek­erder over voe­len. Langer leren (’trainen’) zou, in tegen­stelling tot de gemid­delde stu­dent, echter niet beter zijn voor het resul­taat. Het is slim­mer om extra com­po­nen­ten in het mod­el te steken, zoals een vorm van ‘aan­dacht’. Dit Scham­per­ar­tikel werd dus geschreven met een basis­mod­el. Het werkt, maar er is nog ein­de­loos veel ver­be­ter­ing mogelijk.

De revolutie

We hebben een peri­ode gek­end waarin er grote stap­pen gezet zijn met de komst van mod­ellen zoals LSTM (Long Short-Term Mem­o­ry) en GRU (Gat­ed Recur­rent Unit). Het laat­ste jaar lijkt de vooruit­gang daarin getem­perd. De mod­ellen kun­nen zek­er nog dieper wor­den. Google werkt bijvoor­beeld met Deep­Mind aan WaveNet. Hun mod­el traint een aan­tal weken op duizen­den GPU’s. Daar heeft de UGent de mid­de­len niet voor.

Het mod­el waarmee het onder­staande artikel gegenereerd werd, een RNN, is boven­di­en geschikt voor elke soort data die een reeks vormt en is niet beperkt tot het ver­w­erken van tek­stkarak­ters. Bij zowat elke denkbare reeks of vol­go­rde kan je dit mod­el toepassen. Zo werken bijvoor­beeld ook de per­soon­lijke aan­bevelin­gen van Net­flix. Het mod­el kan dan op basis van je filmgeschiede­nis met een bepaalde kans voor­spellen wat jij nog leuk zou vin­den. Zo kan men een waaier aan­bieden van films en series waar je er hoogst­waarschi­jn­lijk wel een aan­tal van wil bek­ijken. Ook de Dis­cov­er Week­ly-afspeel­li­jst van Spo­ti­fy maakt exten­sief gebruik van dit soort algo­rit­men.

Het ver­haal van AI bevat veel doemscenario’s over hoe het onze jobs zal afne­men. Zo wor­den arbei­ders al ver­van­gen door een ger­o­bo­tiseerde lopende band. Dit gegenereerde artikel bewi­jst wel dat we nog niet hoeven te vrezen dat mor­gen onze jobs overgenomen zullen wor­den. Jour­nal­is­ten zullen nog niet meteen verd­wi­j­nen. Op korte ter­mi­jn zal AI eerder een hulp­mid­del wor­den.

Je moet los meu­bi­lair hebben van een nieuw soci­aal lev­en. Op die manier kan je voor het eerst op die manier verder in kleine kan­ten hun stu­den­ten in ontwik­kel­ings­lan­den waren van de eige­naars en ook proberen om te ontken­nen dat de recht­en van het acad­e­mie­jaar tot het lichaam zou kun­nen ont­van­gen, in de Vooruit wer­den gebracht door een aan­tal mensen die de moeite om in de maatschap­pij te beves­ti­gen in ander gebied te zijn. Het laat­ste jaar bestaat het con­cept van lokale en andere stu­den­ten en pro­fes­soren en de verkop­ers dan de spinale verkozen stu­den­ten gespeeld. Wat wij ver­schi­j­nen ongeveer 14 miljoen euro.

Een goede bac­terie die de tweede zit zich druk in hogere stud­ies geeft werke­lijk voor het bestu­urscol­lege gezet, ver­schuilende muziek en uit­gew­erk­te ver­halen. Een prob­leem dat ik daar­voor ons ook verkocht hebben, dat is een vrouw. Het zijn met taal en kri­tiek. Het gelu­id van de raad van bestu­ur is de vri­jwilligers vanaf het tweede deel over een belache­lijke manier om hun Turkse paniek te bespreken.

“Om die rede­nen zijn voor het Verenigde Stat­en en de bijkomende prob­le­men in de Boeken­toren.”

Om die rede­nen zijn voor het Verenigde Stat­en en de bijkomende prob­le­men in de Boeken­toren. Laat deze week het met de werke­lijke vergelijk­ing van de manier waarop de stu­dent die de rec­tor de verkiez­ings­macht van de UGent ontstond er pas twee man­nen het is ook meer dan een schone kun­ste­naar alles voor de mol­e­cule, “dat veran­derde plaats met de stem­pel van de tijd”. Dat is het meest voor de rechter van de UGent, en de pro­fes­soren van de mensen in het hoger onder­wi­js staat het onder­zoek gestald op de Sterre van dit ver­hoogde val van het BBB. Het zijn de exa­m­en­roost­ers het recht om de komende jaren op te bouwen. Al tij­dens het acad­e­mie­jaar hebben we ook nog maar weinig mensen met de principes van de stu­den­ten. Durf denk­end sek­sueel gebrek aan emo­tion­eel in de menselijke ver­ant­wo­ordelijkheid aan het hart van con­tacten van de ver­schil­lende kamers en de Duit­sers die zich niet sterke school ontwikkeld is, is het niet te laat.