De chatbots veroveren de wereld. Ze maken indruk door hun veelzijdigheid en goed geformuleerde zinnen, maar verbazen ook door hun rare fouten. Hoe komen ChatGPT, Google Bard en consorten eigenlijk tot hun antwoorden?

In een interessant artikel in de Volkskrant van 16 juni 2023 schrijft Laurens Verhagen over de drie populairste chatbots en legt hij een (beetje) uit hoe ze werken. Dwz. hij omschrijft een beetje wat er gebeurt als je de bots een vraag stelt en heel vaag, hoe de training precies tot stand gekomen is. Ik had eerlijk gezegd gehoopt dat hij iets dieper op de precies training in zou gaan, want nu blijft het een beetje vaag.

Toch is het wel een interessant stuk en ik heb de vrijheid genomen om, met verwijzing naar de originele content, het stuk op de site te zetten.

Arjan van Hessen

Auteur: Laurens Verhagen
Illustraties: Sophia Twigt
Tijd-Datum: 16 juni 2023, 11:30
Copyright: Volkskrant
Origineel: https://www.volkskrant.nl/kijkverder/v/2023/hoe-werkt-chatgpt-nu-eigenlijk-onder-de-motorkap~v750606/

Het lijkt achteloos te gebeuren. Slechts een paar seconden na de (best complexe) vraag geven programma’s als Bing Chat (van Microsoft), Bard (van Google) en ChatGPT (van OpenAI) hun antwoorden. De vraag: ‘Schrijf een korte (zeven vragen, zeven antwoorden) dialoog in de stijl van Plato over de vraag of AI bewustzijn kan hebben.’ De Griekse wijsgeer (427 - 347 vChr) onderscheidde zich stilistisch van zijn voorgangers door het schrijven van dialogen waarin hij een filosofisch gesprek voert met een opponent. Plato neemt hierin de rol aan van zijn leermeester Socrates.

Alle chatbots brengen hun taak inhoudelijk tot een goed einde en weten zowel het wezen van de Socratische dialoog als het hedendaagse debat over AI en bewustzijn in leesbare en prikkelende zinnen over het voetlicht te brengen.

Fragment van dialoog via Google Bard:

Schrijf een korte dialoog in de stijl van Plato over de vraag of AI bewustzijn kan hebben.

Tegelijkertijd maken ze vreemde fouten, fouten die een basisscholier niet zou maken. Zeven vragen en antwoorden, was de opdracht. Dat lukt niet altijd. Bard smokkelt er flink wat bij, terwijl Bing het na vijf keer kort gepingpong wel mooi vindt geweest. De dialoog die daarop volgt, is nog vreemder. Bing maakt excuses, probeert het nog een paar keer, maar komt er niet uit.

De excuses van Bing:

Dit zijn geen zeven vragen en geen zeven antwoorden.|

Je hebt gelijk. Het spijt me dat ik dat niet goed heb gedaan. Hier is een nieuwe dialoog die wel voldoet aan de eisen...

Het is een beeld dat ze vaker laten zien: indrukwekkende prestaties gaan samen met lastig te vatten blunders. In dit verband valt vaak de ontnuchterende term stochastische papegaai: de zogenoemde grote taalmodellen die bovengenoemde chatbots aansturen hebben geen begrip van de wereld, maar doen niets anders dan woorden voorspellen en de ontelbare teksten waarmee ze zijn getraind napapegaaien.

Anders dan zoekmachines zijn ChatGPT en consorten niet ontworpen om correcte antwoorden te geven, maar om natuurlijke taal te produceren via het herkennen van tekstpatronen. Als de inhoud toch correct is, wat gelukkig meestal het geval is, is dat een mooie bijvangst. Dit leidt tot ware huzarenstukjes: de laatste generatie chatbots verbeteren computercode, kunnen samenvattingen maken van ingewikkelde wetenschappelijke studies en over elk denkbaar onderwerp meepraten. En het gaat steeds beter. De vorige versie van ChatGPT zakte nog voor het Amerikaanse juristenexamen, de opvolger (voor de liefhebber: GPT-4) scoort al bovengemiddeld.

De snelle progressie brengt de AI-wereld in verwarring. Zijn de chatbots dan misschien toch meer dan die stochastische papegaaien die ze volgens sommige experts zijn? Jelle Zuidema, universitair hoofddocent natuurlijke taalverwerking aan de Universiteit van Amsterdam, vindt de papegaaimetafoor niet zo gelukkig: ‘Ze suggereert dat die modellen voornamelijk kopiëren en plakken, terwijl we ook in kleinere modellen zien dat ze wel degelijk nieuwe, creatieve combinaties van bestaande elementen kunnen maken.’

Volgens Zuidema zijn de aanwijzingen ‘overweldigend’ dat GPT3 (het taalmodel achter ChatGPT) en andere LLM’s (Large Language Models, grote taalmodellen) ook veel abstracte patronen over verhaal- en dialoogstructuur hebben geleerd. Met andere woorden: de papegaaimetafoor is een grove onderschatting van de capaciteiten van de moderne taalmodellen.

In één adem door waarschuwt Zuidema voor overschatting op basis van de huidige vaardigheden: ‘Je moet voorzichtig zijn met claims over menselijke cognitieve vaardigheden.’ De mens is vrij snel geneigd het etiket ‘intelligent’ op computers te plakken, maar dit soort AI-systemen werken fundamenteel anders dan ons biologische brein. ChatGPT komt tot zijn vaak indrukwekkende prestaties via statistische associaties, met als gevolg dat ook GPT-4 nog steeds prachtig verwoorde onzin kan uitkramen.

Hoe kan dat? Hoe komen de moderne chatbots aan hun zinnen? In de basis is het GPT-model (Generative Pretrained Transformer) achter ChatGPT een getraind model om patronen in taal te herkennen en zo voorspellingen te kunnen doen. Denk aan de voorspellende tekstinvoer die bijvoorbeeld op het toetsenbord van mobieltjes zit. Op basis van eerdere berichten voorspelt die software het volgende woord. Na ‘ik’ volgt ‘heb’ en daarna ‘een’ en ‘vraag’. Maar wie telkens het voorgestelde woord aanklikt, creëert uiteindelijk bijzonder vreemde zinnen.

ChatGPT zit veel slimmer in elkaar en maakt niet alleen grammaticaal correcte zinnen en paragrafen, maar ook nog eens teksten die rekening houden met de context en de gegeven tekstinvoer. Met als gevolg dat ze lezen alsof ze door een mens zijn geschreven.

Een kijkje onder de motorkap, in vijf stappen.

	Verzamelen ChatGPT is getraind op een grote hoeveelheid digitale tekst. Denk aan de artikelen van grote nieuwswebsites, elektronische boeken, wetteksten, fora of Wikipedia. Zo leert het onderliggend model de structuur en het gebruik van taal. Helaas zijn bedrijven als OpenAI niet erg open over de gebruikte trainingsdata voor de taalmodellen. Ook GPT-4 is een zwarte doos. Bedrijfsgeheim, zegt zijn maker OpenAI, tot frustratie van academici.
	Verwerken Volgende stap: al die teksten omzetten in zogeheten ‘tokens’, kleine bouwsteentjes. Dit kunnen woorden zijn, maar ook leestekens of achtervoegsels als ‘-aar’ van ‘wandelaar’. Ieder token krijgt een unieke rij van getallen mee waarmee het neurale netwerk verder kan werken. Zo’n rijtje getallen kun je zien als de coördinaten in een multidimensionale ruimte: ieder token heeft daar z’n eigen plekje, in de buurt van de tokens die wat betreft betekenis dicht bij elkaar liggen, de zogenoemde word embeddings. Groot (of eigenlijk het rijtje getallen dat hieraan is gekoppeld) zit bijvoorbeeld in de buurt van gigantisch, omvangrijk en massief. En Biden bij president, politicus en Trump. Woorden die we vaak in vergelijkbare contexten gebruiken, krijgen dus embeddings die dicht bij elkaar liggen. Dit betekent dat het model leert dat bepaalde woorden vergelijkbare betekenissen hebben, puur op basis van hoe wij ze gebruiken. Maar ook wat andersoortige relaties tussen woorden zijn. Bijvoorbeeld dat de relatie tussen ‘koning’ en ‘koningin’ vergelijkbaar is met die tussen ‘man’ en ‘vrouw.
	Trainen Nu begint het taalmodel als het ware een quiz met zichzelf, door een stuk tekst te pakken en daaruit woorden weg te halen. Dan voorspelt het welke woorden logischerwijs zouden moeten volgen, waarna deze prognose wordt vergeleken met de oorspronkelijke tekst. Afhankelijk van hoe goed of slecht de prognose was, past het algoritme de gewichtjes (hoe hoger de kans dat een woord volgt, hoe zwaarder het gewicht) in het taalmodel aan. Op deze manier leert het systeem. GPT3 heeft 175 miljard van zulke gewichtjes, en heeft daarom ook honderden miljarden woorden nodig om van te leren, en een supercomputer om honderden miljarden keren dezelfde ‘quiz’ met zichzelf uit te voeren. Die 175 miljard gewichten zijn georganiseerd volgens een structuur die het transformermodel heet (de T van GPT). Transformers blijken, als ze groot genoeg zijn en genoeg data hebben gezien, enorm goed de belangrijkste delen van een zin te kunnen identificeren om de betekenis te ‘begrijpen’. Tot slot voegt OpenAI nog een extra trainingslaag aan het hele proces toe, door ook mensen te laten meekijken. Dit is het moderne lopende bandwerk: is een antwoord correct, onduidelijk of slaat het misschien wel helemaal nergens op? Menselijke feedback verfijnt het systeem verder.
	Voorspellen Tijdens de training leert het model patronen herkennen in de taal en gebruikt het deze patronen om te voorspellen wat er waarschijnlijk volgt op een gegeven stuk tekst. Er bestaat geen grote database aan de hand waarvan het systeem elk woord leert te begrijpen. Nee, het taalmodel functioneert feitelijk als een supertelraam door woorden wiskundig te benaderen.
	Antwoorden Als een gebruiker gedachteloos een vraag stelt of een instructie geeft, gebruikt ChatGPT al zijn training om een zo goed mogelijk antwoord te genereren. Het model voorspelt welke woorden of zinnen het meest waarschijnlijk volgen op de gegeven instructie en genereert op basis daarvan een reactie. Dit is niet simpelweg een kwestie van de hoogst mogelijke waarschijnlijkheidsscore. Wie bijvoorbeeld aan zijn instructie meegeeft dat ChatGPT wat creatiever in zijn antwoord mag zijn, of moet rijmen, of in de stijl van een specifieke denker moet schrijven, dwingt het model tot een andere woordvoorspelling. Zo kan het gebeuren dat na ‘Het huiveringwekkende’ de ene keer ‘scenario’ volgt, en een andere keer ‘spiegelpaleis’. Maar een woord als ‘printers’ zal niet volgen. Dit proces gaat razendsnel, maar wel woord voor woord, door het systeem iedere keer weer het nieuwe woord te voeden en daarop te laten reageren. Het resultaat is een tekst die nog niet eerder is geschreven en waarvan ook niet precies is aan te wijzen waar hij vandaan komt. Vaak gaat het goed, soms slaat het model inhoudelijk de plank mis. Maar over één ding zijn alle experts het wel eens: de chatbots zullen steeds overtuigender worden.

Over de auteur

Laurens Verhagen schrijft voor de Volkskrant over technologie, internet en kunstmatige intelligentie. Daarvoor was hij onder andere hoofdredacteur van nu.nl.

maar zijn computer straks wel. 'Ik wil iets goeds doen voor de Friese taal'

Masterstudent Dragoș naast een pompeblêd op de trap van Campus Fryslân in Leeuwarden. Foto: Niels Westra

„ Goeiedei! ”, zegt de toekomstig onderzoeker in het Friese faculteitsgebouw van de RUG. „ Myn namme is Dragoș. En ik weet ook dat cheers tsjoch is.” Maar daar blijft het bij, want verder spreekt hij alleen Engels en zijn moedertaal Roemeens. Niet gek, want Dragoș, die geboren is in Boekarest, woont nog geen vier jaar in Nederland. Aan de TU Delft studeerde hij eerst informatica en technologie, in Friesland volgt hij nu een Engelstalige vervolgopleiding spraaktechnologie.

‘Ik weet nu dat het nauw verwant is aan Oudengels’

Die is volgens de brochure van Campus Fryslân enig in zijn soort. Op heel het Europese vasteland bestaat de master namelijk alleen in Leeuwarden, waar de Friese taalorganisaties om de hoek liggen. Vandaar dat veel studenten hier hun masterscriptie schrijven over het Fries, een taal waar Dragoș tot voor kort amper wat van wist. „Ik weet nu dat het nauw verwant is aan Oudengels.” Dat het Fries niet overal herkend wordt, is niet alleen voorbehouden aan mensen. Ook computers hebben er last van. Waar gesproken Engels of Nederlands steeds beter automatisch kan worden omgezet naar tekst, ligt dat voor de Friese taal lastiger.

Kunstmatige intelligentie

Dit moet anders, vinden ze bij Campus Fryslân. De kunstmatige intelligentie is immers al zover en daarnaast bestaan er kant-en-klare databases met duizenden uren aan gesproken Fries dankzij het zogeheten FAME!-corpus en het Mozilla Common Voice-project. Aan Dragoș nu de taak om het zelflerende model hiermee te trainen. Dat is een kwestie van draaien aan de virtuele knoppen, prompts invoeren, voorbeeldaudio door het systeem jassen en kijken of de omzetting van het model overeenkomt met de echte tekst. Belangrijk is daarbij de zogeheten word error rate (WER), oftewel het percentage verkeerd begrepen woorden. Het doel is om die ver beneden de 20 te brengen, een cijfer waar bestaande modellen nu nog rond blijven hangen. Hoe hij is terechtgekomen in de wereld van de spraakherkenning? „Op school was ik best goed in wiskunde. Maar al snel ontdekte ik dat ik vooral geïnteresseerd ben in de praktische kant ervan. Daar liggen ook veel carrièrekansen.” Dragoș ziet grote toekomst in de spraaktechnologie. „Het kan worden toegepast om kinderen op school te leren hoe ze Fries moeten schrijven en uitspreken, maar ook om robots te ontwikkelen die ouderen helpen in verzorgingstehuizen.”

‘Ik hou van de fietscultuur in Nederland’

Zijn master loopt tot het einde van dit studiejaar. Of zijn toekomst daarna in Friesland ligt, weet hij niet, maar in Nederland wil hij best nog wel even blijven. „Ik hou van de fietscultuur hier.” Voor nu wil hij vooral iets goeds doen voor de Friese taal. „In deze provincie hebben de mensen hun eigen taal hoog zitten en dat moedigt me heel erg aan. Ik hoop dat mijn werk ertoe bij kan dragen om het Fries te behouden.”

Junior professor in Synergistic Processing of Multisensory Data for Audio-Visual Understanding

De Faculteit Ingenieurswetenschappen van de KU Leuven heeft een open positie voor een junior professor (tenure track) op het gebied van audiovisueel begrip. De succesvolle kandidaat zal onderzoek doen naar synergetische verwerking van multisensorische data voor audiovisueel begrip, cursussen geven in de Master Engineering Science en studenten begeleiden in de master- en doctoraatsprogramma's. De kandidaat zal worden ingebed in de onderzoeksafdeling PSI van het departement Elektrotechniek. Meer informatie is beschikbaar op de website van de KU Leuven.

De deadline voor sollicitaties is 29 september 2023.

De KU Leuven streeft naar een diverse omgeving. Ze moedigt kandidaten uit groepen die momenteel ondervertegenwoordigd zijn aan de universiteit uitdrukkelijk aan om te solliciteren.

Rikiskau - het Center for Language Technology, is van plan om vier Taal- en Spraaktech-tools te gaan ontwikkelen voor het IJslands:

1. spraakherkenning,
2. spraaksynthese
3. automatische vertaalsysteem 
4. spelling- en grammaticacontrole

plus de taalhulpmiddelen en de ondersteunende tools die nodig zijn voor het maken van die tools.
Hiervoor wil Rikiskaup informatie opvragen bij organisaties die in staat zijn om dergelijke oplossingen (mede) te ontwikkelen.

Hier twee documenten met alle eisen en de te volgen procedure.

Projectplan

Tender Document

De officiele tekst in het Engels luidt:

40406 – RFI Language Technology for Icelandic

Rikiskaup, on behalf of Almannarómur – Center for Language Technology, intends to put up for tender four core-solutions that need to be created; speech recogniser, speech synthesiser, machine translation system and spell and grammar checker, plus the language resources and support tools that are the prerequisite to building those core solutions. To this end, Rikiskaup would like to request information from organisations that have the capability to develop such solutions.

 For further details please refer to http://tendsign.is – https://opic.com/id/afotrkpmxe

 Directions for retreiving tender documents: https://youtu.be/NqraplLEbvU