Selecteer de taal

  • English (United Kingdom)
  •  
    • Over
    • Login
    • Agenda
  • Organisatie
    • Missie
    • Bestuur
    • Deelnemers
    • Partners
    • Deelnemers van Verdienste
    • Deelnemer worden
    • Informatiepakket
    • Enquête
    • Support letters
  • Nieuws
  • DIXIT
  • Blogs
  • Activiteiten
    • Inschrijven
    • Bijeenkomsten
    • NOTaS & TST
  • Video
  • Contact
  • Downloads
  • Foto's
Lunchbijeenkomst Nijmegen (maart 2023)

Lunchbijeenkomst Nijmegen (maart 2023)

zondag 19 mrt 2023

Op donderdag 16 maart 2023 was er weer een erg boeiende NOTaS bijeenkomst over Taaltechnologie: Big Models. De hoofdredacteur van de laatste Dixit, Suzan Verberne, hield in Nijmegen een boeiende...

Geslaagde NOTaS bijeenkomst bij het LIACS

Geslaagde NOTaS bijeenkomst bij het LIACS

dinsdag 27 aug 2019

Op vrijdagochtend 13 september was er een zeer geslaagde, Engelstalige, NOTaS-deelnemers bijeenkomst bij het prestigieuze LIACS in het Sylviusgebouw in Leiden. Het Leiden Institute of Advanced...

NOTaS in Tilburg

NOTaS in Tilburg

donderdag 7 feb 2019

Ik weet niet waar u Tilburg van kent maar vanaf 15 februari 2019 zal de stad voor NOTaS de boeken ingaan als de plek waar we een zeer succesvolle themabijeenkomst rond het thema “TST en kunstmatige...

Groot Dictee der Nederlandse Taal 2018

Groot Dictee der Nederlandse Taal 2018

zondag 16 dec 2018

Het is weer half december en dat houdt al jaren in: Het Groot Dictee der Nederlandse Taal. Tot een paar jaar geleden was dat een nationale TV-gebeurtenis in de voormalige Tweede Kamer. Maar om de...

Evaluatie van de OH-portal

Evaluatie van de OH-portal

donderdag 4 okt 2018

Tijdens de succesvolle en plezierige workshop in Arezzo (2017) werd duidelijk dat, mits goed en eenvoudig uitgevoerd, het automatisch transcriberen van interviews nuttig kan zijn om sneller een goed...

Vlaanderen – Nederland

Vlaanderen – Nederland

dinsdag 8 mei 2018

Anders dan de titel wellicht doet vermoeden, ging het hier niet om een wedstrijd tussen twee Nederlandssprekende gebieden, maar juist om een samenwerking: is het mogelijk om met vereende kracht...

Gesproken en geschreven chatbots

Gesproken en geschreven chatbots

donderdag 3 mei 2018

Al sinds de eerste jaren van het internet, bestond er de behoefte om te kunnen zoeken in de content die datzelfde internet ontsloot. Ging het in eerste instantie nog met specifieke zoektechnieken...

Beleefd zijn tegen je spraak-assistent

Beleefd zijn tegen je spraak-assistent

dinsdag 19 dec 2017

Een Kerstgedachte (sort-of) Het is bijna weer Kerstmis: een periode voor bezinning, gezellig met z’n allen voor de openhaard met warme wijn en veel zoetigheid. En als het goed is, is iedereen...

Verslag NOTaS-deelnemersbijeenkomst bij DANS

Verslag NOTaS-deelnemersbijeenkomst bij DANS

maandag 18 dec 2017

NOTaS-deelnemers aan tafel bij de directeur van DANS Peter Doorn (rechts). Op 15 december 2017 was NOTaS op bezoek bij DANS. Heel NOTaS? Nee, een kleine delegatie van drie personen hield moedig...

Verslag NOTaS-bijeenkomst bij het INT

Verslag NOTaS-bijeenkomst bij het INT

maandag 16 okt 2017

Vrijdag de 13de: je zou denken dat er wellicht een andere datum gekozen had kunnen worden voor de deelnemersbijeenkomst in Leiden bij het Instituut voor de Nederlandse Taal (INT). Maar…..het bleek...

More Articles
  • NOTaS op InterSteno 2017maandag 31 jul 2017
  • Samen beter aan tafelvrijdag 30 jun 2017
  • Spraakherkenning van Nederlandse bodemzondag 11 jun 2017
  • Samenleven met Alexa: hoe is dat?zaterdag 24 dec 2016
  • DRONGO: Liplezen bij computerspraakwoensdag 5 okt 2016
  • NOTaS op het DRONGO-festivalzondag 2 okt 2016
  • NOTaS bij het Nationaal Archiefdonderdag 22 sep 2016
  • Waarom we robots overschattenmaandag 6 jun 2016
  • Uitgevers en TST, een vreemde combinatie?vrijdag 25 mrt 2016
  • NOTaS, de Taalunie & het MuZIEumdonderdag 10 dec 2015
  • Zorgverzekeraar investeert liefst in gevorderde innovatievrijdag 9 okt 2015
  • De wet van Zipfzondag 27 sep 2015
  • DeepDeepDeep: InterSpeech2015woensdag 9 sep 2015
  • Taal- en Spraaktechnologie voor visueel gehandicapten maandag 6 apr 2015

Lunchbijeenkomst Nijmegen (maart 2023)

Suzan lezingOp donderdag 16 maart 2023 was er weer een erg boeiende NOTaS bijeenkomst over Taaltechnologie: Big Models.

De hoofdredacteur van de laatste Dixit, Suzan Verberne, hield in Nijmegen een boeiende lezing over Big Models. Deze modellen zijn de laatste jaren enorm populair in de wereld van de taal en spraaktech en zorgen voor soms verbijsterend spectaculaire resultaten. Denk hierbij aan Whisper (OpenAI), de open source spraakherkenner die in sept 2022 gelanceerd werd en getrained is met ong 680.000 uur spraak (!) en aan het in december 2022 gelanceerde ChatGPT (OpenAI) dat nu al de wereld als het ware heeft vervoverd.

Doordat deze software doet wat het beloofd (en vaak nog meer) laat ze de wereld zien dat AI wel degelijk een enorm toegevoegde waarde heeft. Mits goed gebruikt, kan het de mensheid op allerlei manieren helpen het dagelijks werk makkelijker, beter en sneller te doen.
Ook biedt het nieuwe mogelijkheden die tot nu eigenlijk niet bestonden. Denk daarbij aan het genereren van een "interessante blog" over ASR door ChatGPT (zie hieronder).

In haar enthousiaste betoog maakte Suzan ons duidelijk hoe die modellen ongeveer werken, waarom ze het zo goed doen en ook hoe je er eventueel zelf nog iets aan kunt verbeteren. Veel leesplezier!

Over Suzan

Grote modellen': het succes en de valkuilen van Transformer-modellen in natuurlijke taalverwerking

Naar aanleidng van de laatste DIXIT 2022 is er een lunchlezing door gast-hoofdredacteur Suzan Verberne over "Big Models in de TST-wereld".
Hoewel de Transformermodellen al sinds een jaar of vijf hun intrede hebben gemaakt, zijn ze voor het grote publiek pas bekend geworden door de indrukwekkende tekstgeneratie van bijvoorbeeld GPT-3 en ChatGPT. Zoals je in de laatste DIXIT kunt lezen, lijken de toepassingen van deze modellen in de TST eindeloos en presteren ze vaak ver boven traditionele, ouderwetse modellen.
Ze zijn ook makkelijk te gebruiken voor leken en zijn daarom een belangrijke factor in het gebruiksvriendelijk maken van TST.

Abstract

Grote taalmodellen krijgen tegenwoordig veel aandacht in de media. We hebben allemaal ervaren dat generatieve taalmodellen van de GPT-familie zeer vloeiend zijn en op overtuigende wijze complexe vragen kunnen beantwoorden. Maar ze hebben ook hun beperkingen en valkuilen. In deze presentatie zal ik op Transformer gebaseerde taalmodellen introduceren, de relatie uitleggen tussen BERT, GPT en de 130 duizend andere modellen die beschikbaar zijn op https://huggingface.co.
Ik zal hun gebruik en toepassingen bespreken en waarom ze zo krachtig zijn. Vervolgens zal ik wijzen op de uitdagingen en valkuilen van grote taalmodellen en de gevolgen voor ons dagelijks werk en onderwijs.

Biografie

Suzan Verberne is universitair hoofddocent aan het Leiden Institute of Advanced Computer Science. Ze promoveerde in 2010 op het onderwerp Question Answering aan de Radboud Universiteit en werkt sindsdien op het snijvlak tussen Natural Language Processing (NLP) en Information Retrieval (IR). Ze heeft projecten begeleid in een groot aantal toepassingsdomeinen: van sociale media tot recht en van archeologie tot gezondheid. Haar onderzoek is erop gericht NLP "voorbij de benchmark" te brengen door uitdagende problemen in specifieke domeinen aan te pakken. Ze is zeer actief in de NLP- en IR-gemeenschappen en bekleedt voorzittersfuncties in de grote wereldwijde conferenties.

Presentatie

De Power Point van de lezing van Suzan is hier te zien.

ASR volgens ChatGPT

ASR volgens ChatGPT

Hier de reactie van ChatGPT op de vraag: "Geef een overzicht van de manier waarop moderne automatische spraakherkenning werkt"

Moderne automatische spraakherkenning (ASR) is gebaseerd op geavanceerde machine learning-technieken zoals deep learning. Het proces van ASR kan worden opgesplitst in verschillende fasen:

  1. Acquisitie van spraakgegevens: Het proces begint met het opnemen van de spraakgegevens die moeten worden herkend. Dit kan worden gedaan met behulp van een microfoon die is aangesloten op een computer of mobiel apparaat.

  2. Pre-processing: De spraakgegevens worden verwerkt om achtergrondgeluiden te verminderen, de kwaliteit van de opname te verbeteren en de gegevens om te zetten in een formaat dat kan worden gebruikt voor verdere verwerking.

  3. Fonemische transcriptie: Het ASR-systeem converteert de gesproken woorden naar fonemen, de kleinste betekenisvolle eenheden van spraak. Dit gebeurt door gebruik te maken van een akoestisch model, dat de relatie tussen de spraaksignalen en fonemen leert.

  4. Taalmodel: Het ASR-systeem gebruikt een taalmodel om de meest waarschijnlijke zinnen te genereren op basis van de fonemen die zijn herkend. Het taalmodel is getraind op grote hoeveelheden tekstgegevens en leert de waarschijnlijkheid van zinnen en woorden in de taal.

  5. Uitvoer: De uitvoer van het ASR-systeem is de herkende tekst, die vervolgens kan worden gebruikt voor verdere verwerking of als invoer voor andere toepassingen, zoals spraakgestuurde assistenten.

Moderne ASR-systemen zijn zeer nauwkeurig en kunnen worden gebruikt voor verschillende toepassingen, zoals automatische transcriptie van vergaderingen en interviews, spraakgestuurde assistenten en zelfs spraakgestuurde auto's.

Een van de dingen die hierin opvalt is dat er een correcte beschrijving gegeven wordt van de oude manier van herkenning. ChatGPT stopt met haar kennis in 2021 en bv Whisper (van de zelfde club) kwam pas een jaar later uit. Whisper is een mooi voorbeeld van end-to-end herkenning en werkt eigenlijk niet meer met de hierboven gegeven beschrijving. Wellicht dat de laatste versie van ChatGPT met model GPT 4 de volgende keer een betere omschrijving geeft.

Hoe dan ook: het is een mooi voorbeeld om te laten zien hoe makkelijk een goede beschrijving van iets als bv spraakherkenning te geven is door de computer.

NOTaS in Tilburg

Ik weet niet waar u Tilburg van kent maar vanaf 15 februari 2019 zal de stad voor NOTaS de boeken ingaan als de plek waar we een zeer succesvolle themabijeenkomst rond het thema “TST en kunstmatige intelligentie” hebben gehad. Zo’n 30 personen wisten het Dante-gebouw op de Tilburgse Universiteitscampus te vinden voor een programma dat ditmaal geheel in het Engels werd gehouden zoals onderstaande agenda al laat zien:

  NOTaS-meeting at Tilburg University (TiCC) dante
Locatie Dante-gebouw, Warandelaan2, kamer D353
Theme HLT and Artificial Intelligence
+ - Program Click to collapse
9:30 Welcome with coffee  
10.00 Brief introduction (NOTaS-board) Fabrice Nauze
10:05 Automatic text generation and its applications Emiel Krahmer (DCC)
10:35 Neural representations of form and meaning in spoken language Grzegorz Chrupala (CSAI)
11:00 Coffee Break  
11:30 An overview of Flow.ai: the conversational AI toolkit Sander Wubben (Flow.ai)
12:00 Transforming educational publishing with language technology Mark Breuker & Roland Groen (Edia)
12:30 Final discussion: HLT & Artifical Intelligence Fabrice Nauze
12:45 Lunch Esplanade
13:30 Farewell  

U ziet: een programma dat was opgesplitst in twee presentaties van academische snit en twee vanuit het bedrijfsleven.

Natural Language Generation

emielDe aanwezigen zaten twee rijen dik rond de conferentietafel van zaal D353 toen Fabrice Nauze, voorzitter van NOTaS, en tevens voorzitter van deze bijeenkomst, ons welkom heette en het woord gaf aan de Tilburgse hoogleraar Emiel Krahmer. Deze gaf een bijzonder boeiend overzicht van het werk dat in Tilburg geschiedt op het gebied van NLG (Natural Language Generation). Dat varieert van het genereren van sportberichten uit voetbaluitslagen (Automated Newsroom), tot het voorzichtig formuleren van gepersonaliseerde berichten over bijwerkingen van behandelingen van kanker.

Een interessante voorbeeld was het maken van verslagen van een voetbalwedstrijd. De flexibiliteit van de software maakt het mogelijk om van dezelfde wedstrijd drie verschillende verslagen te maken:

  • Een voor fans van de winnende partij (terechte overwinning, mooie doelpunten, etc.)
  • Een voor fans van de verliezende partij (onterechte overwinning, mazzel doelpunten, etc.)
  • Een neutraal verslag voor de overige lezers

Daarnaast liet hij zien hoe robot Nao (NOTaS-deelnemers welbekend) in het L2tor-project is ingezet om kinderen woorden te leren door middel van ondersteuning door gebaren. Zo onthielden kinderen het woord voor "aap" beter wanneer Nao gelijktijdig ook de typische bewegingen van een aap probeerde na te doen. Helaas verdween dit effect bij woorden die niet met specifieke gebaren geassocieerd werden. Interessant en voer voor meer onderzoek. 

Grounded Speech Perception

emielHet volgende praatje was van Grzegorz Chrupała over “grounded speech perception”. Deep Learning-technieken worden gebruikt om plaatjes aan spraakuitingen te koppelen, zonder vooraf ingegeven kennis van fonemen of morfemen. De uitkomsten waren interessant en lieten trends zien die ook bij kinderen worden waargenomen wanneer ze taal aan betekenis leren koppelen en vice versa.
Je moet hierbij denken aan het volgende: een jong kind ziet een plaatje (bv een vogel op een tak) terwijl een ouder zegt: "kijk een vogel op een tak". Het kind is nog te jong om echt te begrijpen wat een vogel of een tak is. Toch zal het kind een verband proberen te leggen tussen de gesproken uiting en het bekeken plaatje. De vraag van Grzegorz is: kan ik dat met AI nabootsen?

koffieDaarna was het pauze werd en werd het heel druk in het gangetje naast de zaal maar wel heel leuk om daar ook nog andere Tilburgse collega’s tegen het lijf te lopen.
En het was interessant om de koffie van de catering met die uit het fraaie apparaat op de gang aan een smaakvergelijking te onderwerpen.

Conversational AI toolkit 

emielOp vloeiende wijze leidde de voorzitter terug naar de zaal voor een presentatie over het bedrijf flow.ai van mede-oprichter Sander Wubbe. Het bedrijf is een spin-off van de Tilburgse universiteit en heeft een fraai platform in de markt gezet om chatbots op te ontwikkelen. Zoals we inmiddels wel meer zien richt de chatbot zich niet enkel op geschreven conversaties maar ook op gesproken input. Zo is het vrij eenvoudig om de met Flow.ai gemaakte dialogen te koppelen aan de praatpalen van Google en Amazon zoals talloze Nederlandse bedrijven al hebben gedaan.

Sander, die zelf in Tilburg is gepromoveerd, liet dit zien aan de hand van een voorbeeld waarbij ondersteunende technologie (NLG) wordt ingezet om meerdere varianten van eenzelfde vraag te genereren. Daarna volgde nog een breed palet van use cases bij verschillende klanten zoals Samsung voor de bediening van allerlei apparaten, de sleep challenge van Interpolis en recommender systemen voor films.

Transforming educational publishing 

emiel

Ten slotte was het de beurt aan Mark Breuker van Edia. Hij begon met de stelling dat veel educatieve uitgevers geen idee hebben van het materiaal dat ze zelf al in huis hebben. Als ze dan beginnen met een nieuw boek, dan beginnen ze volledig opnieuw terwijl dat eigenlijk niet nodig is. Het onderverdelen van het tekstmateriaal in kleinere brokken en het automatisch classificeren ervan, maakt het dan makkelijker om je eigen materiaal te vinden en opnieuw te gebruiken.

Ook maakte Mark duidelijk hoe moeilijk het voor uitgevers is om een goede inschatting te maken van het niveau van Engels teksten volgens de indeling van het Europese Referentiekader (ERK, of in het Engels CEFR) en hoe AI kan helpen om dit uniformer te doen. Interessante vragen of uniformere classificatie ook een betere classificatie oplevert gingen hij en zijn rechterhand Roland Groen bepaald niet uit de weg waardoor een heel interessante discussie volgde over het nut en de kracht van AI die de grenzen van dit specifieke onderwerp op een welhaast filosofisch plan bracht.

Lunch

lunchNOTAS TICC 10Daarover konden we nog napraten op een uitstekend verzorgde lunch in de Esplanade, waar ondergetekende zich met enkele medewerkers van ReadSpeaker onderhield over de vraag of Google en Amazon niet ook de TTS/spraaksynthese-markt gaan overnemen. Het antwoord was een overtuigend nee, maar dat is misschien een mooi onderwerp voor een volgende bijeenkomst.

 

Henk van den Heuvel

Groot Dictee der Nederlandse Taal 2018

Het is weer half december en dat houdt al jaren in: Het Groot Dictee der Nederlandse Taal. Tot een paar jaar geleden was dat een nationale TV-gebeurtenis in de voormalige Tweede Kamer. Maar om de een of andere reden (paste niet meer in deze tijd) is men er mee gestopt. Jammer, maar zo gaat dat.

Het radioprogramma “de Taalstaat” van o.a. Frits Spits besloot om het dictee weer in ere te herstellen, maar ditmaal voor de radio.

dictee 3Vlnr: Wim Daniëls (schrijver), Philip Freriks (voorlezer), Pieter van Diepen (winnaar), Frits Spits (presentator)

En zo was er zaterdagochtend 15 december weer het Groot Dictee der Nederlandse Taal, als vanouds voorgelezen door Philip Freriks. Het was alweer de 28ste editie en ditmaal geschreven door taalkundige Wim Daniëls. Mensen konden in bibliotheken door heel het land live meeschrijven met dit Dictee. En uiteraard kon je ook voor de lol gewoon thuis meedoen: Radio aan, pen en papier bij de hand en schrijven!

Een paar jaar geleden hadden we met een aantal ASR-specialisten als eens onderzocht of wij met onze spraakherkenner konden meedoen, maar dat liep steeds op een njet uit. Ze vonden het niet sexy, zagen geen toegevoegde waarde en meer van dat soort weinig houtsnijdende argumenten. Een paar saaie wetenschappers in de hoek met een laptop die laten zien dat de mens nog steeds beter is dan de computer; wie vindt dat nu niet leuk om te zien?

deicUitzending eerste uur van het dictee Ook dit jaar deden wij weer niet mee (maar we hadden het ook niet gevraagd). Ik hoorde de door Freriks op gedragen toon gedeclameerde zinnen door de radio schallen en was gewoon nieuwsgierig naar wat de KALDI-UTwente-RUNijmegen herkenner hier nu van zou bakken.

Op de website van de NPO1 was de gehele uitzending, inclusief het meermalen voorlezen van de zinnen door Philip Freriks terug te vinden, maar een download met alleen de zinnen in optimale audio-kwaliteit was er niet.
Gelukkig werd het eerste uur afgesloten met het nog eenmaal voorlezen van alle zinnen. Die konden we makkelijk opnemen en in 8 zinnen knippen. Die 8 zinnen hebben we door de herkenner gehaald en het resultaat viel zeker niet tegen.

Van spraak naar zinnen

Maar voor we de resultaten echt gaan vergelijken, iets over spraakherkenning. Wat erg lastig is voor de huidige spraakherkenners, is het opschrijven van de herkende spraak in zinnen. Mensen spreken nu eenmaal niet in zinnen en een spraakherkenner doet domweg niets anders dan de binnenkomende audio omzetten in een geschreven representatie. Voor veel doeleinde is dat uitstekend, maar om er grammaticaal correcte Nederlandse zinnen van te maken, is meer nodig. Zie voor meer info hierover de blog Spreek2Schrijf.

Een trucje dat we gebruiken, is om een nieuwe “zin” te maken wanneer de pauze tussen twee opeenvolgende woorden 400 msec of meer is. De ietwat gedragen wijze van voordragen door Philip Freriks echter, leidt er dan toe dat we meer zinnen krijgen dan er hadden moeten zijn.

Een ander probleem is het gebruik van hoofdletters. Onze spraakherkenner doet alles in kleine letters. De postprocessing (begin van een nieuwe zin altijd met een hoofdletter) zorgt al voor een kleine verbetering. Maar om het een stuk beter te krijgen, zouden we veel meer aan de postprocessing moeten doen. Een zin als “Premier Wim Kok is een goede kok” wordt door de herkenner als “Premier wim kok is een goede kok” geschreven.

Woordenlijst

Tenslotte is er de woordenlijst. De herkenner kan 256K woorden herkennen. Dat is best veel maar slechts 20% van de bestaande Nederlandse woorden. Er zijn dus heel veel, vaak minder frequent gebruikte, woorden die wij gewoon niet kunnen herkennen omdat ze nu eenmaal niet in het woordenlijstje staan. Ook samengestelde woorden zijn een probleem. Een woord als coderoodwaarschuwingen staat nu eenmaal niet in onze woordenlijst. Wel staan er de woorden code, rood en waarschuwing in. De herkenning gaat hier dan ook perfect, maar het resultaat is natuurlijk wel "fout".
Het voordeel van zo'n woordenlijst is dat er in principe alleen maar correct gespelde woorden in staan. Hierdoor zal de herkenner een spelfout die mensen typisch maken nooit maken; de herkenner zal bijvoorbeeld nooit "minuscule" als "miniscule" schrijven, of "debacle" als "debakel". Dus als het juiste woord herkend wordt, dan bevat het geen spelfouten.

En niet-Nederlandse woorden? Een staande, Friese uiting als ‘It giet oan’, is eigenlijk kansloos als ie er niet als één uiting in staat. Dat staat ie niet en dus wordt deze uiting herkend als “in teheran”.

Tenslotte zijn er de uitspraakfouten waar wij mensen geen probleem mee hebben omdat we begrijpen wat er bedoeld wordt en dus de herkende tekst in die context horen. Voorbeeld in dit dictee is de uiting van Freriks “elfstedentocht in hera willen houden". Natuurlijk wordt hier bedoeld “Elfstedentocht in ere willen houden”, maar ook na 10x afluisteren blijf je horen dat er (h)era wordt gezegd: en dat herkent de ASR-engine dan ook.

Dit klinkt allemaal als een groot excuus om te verdoezelen dat de herkenner het gewoon niet goed doet en dat we eerst moeten interpreteren, voor dat de herkenner op dit niveau kan meedraaien. Maar de herkenner heeft ook zo z’n sterke punten: hij kan eigenlijk geen schrijffouten maken. Als ie een woord als skûtsjesilen herkent, dan “schrijft” ie het ook 100% goed.

Lastiger is het bij twijfelachtige uitingen waar begrip om de hoek komt kijken. In de tweede zin zegt Freriks “Zo’n temperatuur” maar bij heel goed luisteren, lijkt de /o/ van zo’n wel erg dicht bij de /O/ van zon te liggen; en dat is ook wat er herkend wordt. Een mens zou deze fout niet maken, omdat het resultaat gewoon onzin oplevert, maar een spraakherkenner heeft (nog) geen benul van zin en onzin en dus worden die woorden herkend die qua akoestiek EN taalmodel het best passen.

Resultaten

Maar hoe goed deed de herkenner het nu? Hieronder de 8 zinnen met onder iedere correct geschreven zin, de resultaten van de spraakherkenner. We hebben iedere zin zoals beschreven op de website van het programma en voorgelezen door Philip Freriks als een apart bestand door de herkenner gehaald.

Zin 1

Een klimaatmaat

Zin 1
2018 is nog niet ten einde, maar gaat, wat er tot eind december ook gebeurt, sowieso diverse weerrecords breken.

 

Zin 2

Er was deze zomer een hittegolf die lokaal naar verluidt 29 dagen aanhield, een on-Nederlandse toestand, en in juni werd ’s nachts op de Veluwse vliegbasis Deelen, vlak bij Arnhem, een nachtrecord gemeten van 24,4 graden Celsius; zo’n temperatuur houdt je wakker, was de veelgehoorde klacht.

 

Zin 3

Uit de meteorologische trukendoos kwamen in juli tezamen circa 314 zonuren tevoorschijn, waartegenover een schamele 10 millimeter neerslag stond; de minuscule aardappels van dit jaar zijn er de wrange souvenirtjes van.

 

Zin 4

Sommigen ervaren de toegenomen warmte als een cadeautje, en gaan ervan uit dat er te zijner tijd met Kerstmis al krokussen en lente-uitjes zullen zijn en dat carnaval enigszins subtropisch wordt. 

 

Zin 5

Anderen voorzien een flinke toename van het aantal coderoodwaarschuwingen, waarvan de betekenis meestal is: hoed u voor het weer; ze vrezen voor een klimaatdebacle, een sterk vergrote kans op catastrofes, met bijvoorbeeld tekortschietende dijken als het langdurig gehoosd heeft.

 

Zin 6

Een ongeruste weerhobbyist heeft onlangs op een A4’tje voor me uitgetekend, en ik geloof niet dat het nattevingerwerk was, wat er van de polen over zal blijven als de opwarming van de aarde doorgaat; en met die polen bedoelde hij niet de Polen die velen van ons kennen van hun schilder- en stukadoorwerk.

 

Zin 7

Iets van het Middellandse Zeeklimaat mag wat mij betreft gerust hiernaartoe komen, maar ik hoop toch ook nog weleens ‘It giet oan’ vanuit Friesland te mogen horen, waar ze naast het skûtsjesilen en het fierljeppen graag ook de Elfstedentocht in ere willen houden.

 

Zin 8

We lijken nochtans alleen nog ooit en masse naar Leeuwarden te kunnen afreizen voor het alom geprezen natuurijsfestijn als we beseffen dat het klimaat, in dit specifieke geval Koning Winter, ons alleen ter wille kan zijn als wij van onze kant het klimaat tegemoetkomen door een goede maat van het klimaat te worden, een klimaatmaat.

 

Conclusie

We mogen stellen dat de herkenning best goed is. Hier en daar zien we typische spraakherkenningsartefacten zoals missende hoofdletters, samengestelde woorden die als losse woorden geschreven worden, zinnen die geen zin zijn, missende leestekens, uitspraakfouten die letterlijk herkend worden en ambiguiteit "zoon versus zo'n" waar normaalgesproken de context het juiste antwoord geeft. En toch.....

Helemaal niet verkeerd.

 

Arjan

Evaluatie van de OH-portal

Tijdens de succesvolle en plezierige workshop in Arezzo (2017) werd duidelijk dat, mits goed en eenvoudig uitgevoerd, het automatisch transcriberen van interviews nuttig kan zijn om sneller een goed beeld te krijgen van hetgeen er werd gezegd. Men was zich bewust van de onvolkomenheden van automatische spraakherkenning en dat de resultaten afnemen wanneer de audio-kwaliteit minder is en/of er in (zwaar) dialect gesproken wordt.

Wat nadrukkelijk gevraagd werd, was om een mogelijk portal eenvoudig te houden door weinig eisen aan de invoer te stellen en zo min mogelijk technische jargon te gebruiken.

Nadat in het najaar van 2017 de aanvraag voor het bouwen van de portal goedgekeurd was, begon het team van Christoph Draxler aan de bouw ervan. Een dag voor de presentatie werd de bèta-versie geüpgraded naar versie 1.0.0: waarlijk precies op tijd J.

De portal

Afbeelding1Fig. 1: Screenshot van de portal

Het idee van de portal is eenvoudig. Je gaat naar de website (https://www.phonetik.uni-muenchen.de/apps/oh-portal/# ) en selecteerde en of meerdere geluidsbestanden. Op dit moment moeten de bestanden als wav-files gecodeerd zijn, maar in de nabije toekomst is zelfs dat niet meer noodzakelijk omdat de portal zelf de ontvangen bestanden in het juiste formaat zal over zetten. Wat nu al kan is dat het niet uitmaakt met welke sample frequentie de files opgenomen zijn en of ze mono of stereo zijn. Wel is het zo dat in geval van stereo, de portal vraagt of je beide kanalen apart of samen wilt processen. Wanneer je kiest voor apart worden beide kanalen na elkaar gedaan waardoor je bij opnamen met 2 sprekers elk op een eigen kanaal, je veel beter de verschillende sprekers kunt scheiden, turn-taking kun bepalen en overal een beter herkenningsresultaat kunt krijgen.

Workflow

Wanneer je op de portal bent, selecteer je middels de knop  de wav-files van je eigen computer waarvan je de spraak wilt gaan herkennen. Vervolgens klik je op verify waarna er een keuze venster opent waarin je de verschillende opties kunt instellen.

Afbeelding2Fig. 2: verify-window. Selecteer de taal en eventueel de gewenste ASR-engine voor die taal.
Bovendien kun je kiezen wat je met de herkenningsresultaten wilt gaan doen: “manuele transcriptie/correctie gevolgd door woord alignment.

Op dit moment kun je slechts een keuze maken voor alle files in het verify-window. Je kunt dus niet twee files laden en dan de ene door de Italiaanse en de andere door de Engelse herkenner halen.

Als de keuze eenmaal gemaakt zijn, kun je via de knop  het processen beginnen. De files worden eerst geupload en vervolgens verwerkt. Zoals gezegd, als er een stereo file bijzit, wordt gevraagd hoe je de stereo file wilt verwerken.

Manual Transcription

Zoals gezegd, werkt spraakherkenning bijna nooit foutloos. Afhankelijk van de opnamen kwaliteit, de manier van spreken en het woordgebruik van de verschillende sprekers, hun accenten en de aanwezigheid van achtergrondgeluiden zal spraakherkenning meer of minder succesvol zijn. Bij goede opnamen, heldere, coherente spraak is een foutpercentage van minder dan 10% goed te doen voor de vier talen in de huidige portal (En, Nl, It, en De).

Maar ook bij heel goede herkenning, zal er altijd wel iets fout gaan. De knop Manual Transcriptie biedt de mogelijkheid om correcties in het herkenningsresultaat aan te brengen. Maar door in de herkende tekst te gaan editen, wordt het verband tussen het herkende woord en de tijd in de audiofile verbroken. Om die weer te herstellen kan, nadat de automatisch verkregen transcriptie handmatig gecorrigeerd is, gekozen worden voor “word alignment”. De herkenner gaat nogmaals aan de slag maar weet nu precies wat er gezegd werd. Het resultaat is nu een perfecte transcriptie waarbij van ieder woord precies bekend is wanneer het werd uitgesproken. Dit biedt de mogelijkheid om automatische ondertiteling te genereren of een karaoke-versie te maken waarbij het uitgesproken woord gehighlight wordt.

Webservice

Tijdens de eerste dag van workshop werd de werking van spraakherkenning, de gemaakte keuzes en de problemen bij het bouwen verteld. De huidige portal is een webservice die op een uniforma manier de audio-files “verzamelt” en die vervolgens, afhankelijk van de gemaakte keuzes, doorstuurt naar de verschillende spraakherkenners (WebASr in Sheffield, LST-NL in Nijmegen, LST-En in Enschede, EML-It in Duitsland). Elke herkenner geeft vervolgens een eigen output terug die door de portal in München weer naar een van de gekozen standaards wordt herschreven. Wanneer in de nabije toekomst extra talen toegevoegd zullen worden, zal dit steeds opnieuw moeten worden opgelost.

Commercial versus Open Source

Er zijn veel meer herkenners beschikbaar (en ook voor meer talen dan de nu getoonde 4) maar die zijn bijna allemaal (semi-)commercieel. Het is zeer eenvoudig om de uitstekende Google-herkenner aan te sluiten en in de bèta-versies van de portal was dit ook gedaan.

Het betalen met geld is meestal geen probleem omdat het om zeer lage bedragen gaat (een paar euro per uur spraak) maar bijna altijd wordt de gebruikte audio-data op de schijven van de commerciële partijen opgeslagen voor extra training, testen of iets anders. En dat is dikwijls wel een probleem omdat het vaak om gevoelige informatie gaat. Sowieso is het gebruik van onze (betrouwbare) portal soms al een probleem omdat in de voorwaarde van veel collecties nadrukkelijk staat dat de data het “gebouw” niet zonder toestemming mogen verlaten.

Voor gebruik van de portal tijdens de workshop werd daarom besloten de commerciële herkenners als keuze optie te verwijderen.

Bij de eerste evaluatie op woensdagmiddag werd echter door veel deelnemers gevraagd deze optie toch weer in te bouwen maar dan nadrukkelijk aan te geven dat de herkenners X, Y en Z “commercieel zijn en dat ze wellicht de data op hun eigen schijven zullen bewaren. Het is dan aan de gebruikers om te besluiten die herkenners wel/niet te gebruiken.

Hands-on

Op donderdagochtend was er eerst een presentatie van de manier waarop de portal gebruikt moet worden. Vervolgens kon iedereen een kort geluidsfragment (eigen geluidsfile of eentje beschikbaar via workshop-portal) uploaden en door de herkenner halen, bewerken, alignen en de uiteindelijke resultaten downloaden.

Dat ging bijna goed. De systemen van de LMU bleken niet in staat te zijn 20 gebruikers parallel te bedienen waardoor er soms vreemde foutmeldingen verschenen en sommige deelnemers enorm lang moesten wachten om een fragment van 5 minuten herkend te krijgen. Schaalbaarheid is zeker nog iets om goed naar te kijken!

Wel waren de meeste deelnemers zeer te spreken over de eenvoud van het geheel. Het enige dat af en toe lastig bleek was het extraheren van de audio uit video-interviews en/of het omzetten van een bepaald formaat (bv *.wma of *. mp3) in het verwachte *.wav formaat. Technisch is dit een fluitje van een cent, maar als je niet weet hoe je het moet doen en/of de juiste software niet op je computer hebt, is dit toch wel een issue. De mogelijkheid om het binnenkort in de portal te doen, werd daarom met enthousiasme begroet.

De meeste deelnemers waren meer dan tevreden over de herkenningsresultaten en begrepen goed dat automatische spraakherkenning van geluidsfragmenten die ze zelf nauwelijks konden verstaan, lastig zo niet onmogelijk was.

Wat wel gevraagd werd was of extra output-formaten gemaakt konden worden zodat ze de resultaten van het gehele proces direct in hun eigen systemen zouden kunnen laden (Zwangsarbeit Archiv, ELAN). Technisch is dit geen enkel probleem maar we kunnen niet alle formaten van alle OH-projecten gaan ondersteunen. De bouwers van de portal hebben aangegeven dat ze op korte termijn zullen gaan kijken naar mogelijk interessante export-formaten, en deze zullen toevoegen aan de huidige export-formaten.

Conclusie

Over het algemeen waren de deelnemers tevreden over de mogelijkheden van de OH-portal. Iedereen kon, na enige hulp bij het omzetten van de geluidsbestanden, zijn eigen geluidsfiles door de portal halen, de transcriptie handmatig corrigeren en de uiteindelijke resultaten downloaden. Het feit dat de belasting van de services door het gelijktijdig gebruik van 20+ deelnemers te hoog werd waardoor de systemen onderuitgingen was eigenlijk het enige dat bij de hands-on sessie verkeerd ging. Voor de bouwers van de portal was het een goede wake-up call.

In de komende maanden zal de verdeling over verschillende systemen beter geregeld gaan worden en zullen verschillende andere herkenners (zowel commercieel als niet-commercieel) worden toegevoegd. Wij zullen (o.a. tijdens de CLARIN-dagen in Pisa) gaan kijken welke andere CLARIN-deelnemers een herkenner beschikbaar hebben en eventueel zouden willen meedoen.

Kaldi

Op dit moment is het Kaldi het populairste platform voor op DNN-gebaseerde spraakherkenning. De Nederlandse en een Engelse herkenner werken al met Kaldi en de zowel in Duitsland als Italië zijn aan de universiteiten verbonden onderzoekers bezig een op Kaldi gebaseerde herkenner te maken. Omdat het zonde zou zijn het wiel meerdere keren uit te vinden, is afgesproken te onderzoeken in hoeverre we de krachten kunnen bundelen en gezamenlijk aan op Kaldi gebaseerde herkenners kunnen gaan werken.

Vlaanderen – Nederland

PIO logo

Anders dan de titel wellicht doet vermoeden, ging het hier niet om een wedstrijd tussen twee Nederlandssprekende gebieden, maar juist om een samenwerking: is het mogelijk om met vereende kracht een infrastructuur op te zetten waarmee de spraak van zowel de plenaire sessies als de commissie-vergaderingen van het Vlaams Parlement, in goed leesbare tekst kunnen worden omgezet.

Doel

Ergens in het najaar van 2017 kwam er een e-mail van de Vlaamse overheid:

Open marktconsultatie PIO-project
“Spraaktechnologie voor verslaggeving Vlaams Parlement (ST-VP)”

Het Vlaams Parlement, het Departement Economie, Wetenschap en Innovatie (EWI) en Addestino Innovation Management nodigen u uit om deel te nemen aan een open marktconsultatie op vrijdag 24 november 2017 van 9 tot 13 uur in de Valerius De Saedeleerzaal van het Vlaams Parlement.

Het achterliggende doel van deze oproep was:

Het Vlaams Parlement wenst na te gaan in welke mate het inzetten van automatische spraakherkenning bij de productie van verslagen van parlementaire debatten kan bijdragen tot het optimaliseren van de werkprocessen van de redacteurs/verslaggevers van het Vlaams Parlement. Het Vlaams Parlement wil verder bouwen op de beschikbare technologieën en spraakherkenning gebruiken om de audio-/video-opnames van de commissievergaderingen en van de plenaire zittingen naar tekst om te zetten.

Bijkomend beoogt het Vlaams Parlement (zo mogelijk live) ondertiteling van de beeldverslagen op de website van het Vlaams Parlement.

Dit was een best wel ambitieuze doelstelling. Voor het Nederlandse Parlement doen we bij Telecats al een aantal jaren zoiets maar daar gebruiken we de menselijke transcripten (de Handelingen) om de uitgezonden vergaderingen van ondertitels te voorzien. Maar de tekst is door mensen gemaakt. Wij doen de forced alignment en het “mooi" maken van de ondertitels.

Het Vlaams Parlement wilde een stapje verder gaan door ook de transcripties door de computer te laten maken. Uiteraard was het niet de bedoeling om de mens er tussen uit te halen maar wel om de efficiëntie te verhogen zodat meer gedaan kan worden met dezelfde hoeveelheden mensen. Op de bijeenkomst bij het Vlaams Parlement bleek dat men bovendien nog meer wilde. Niet alleen moest de spraak herkend worden, maar ook de sprekers. Het Vlaams Parlement telt 124 afgevaardigden en bovendien worden met enige regelmaat gastsprekers uitgenodigd. Tenslotte, en daar zat het venijn, wilde men niet een letterlijke transcriptie, maar een grammaticaal correcte weergave van wat er gesproken wordt waarbij de syntax/grammatica kan aangepast worden maar de inhoud dezelfde moet blijven.

Kennismaken in Brussel

Op de goed bezochte bijeenkomst waren het vooral de academische instellingen die de onmogelijkheid van dit alles benadrukten: herkennen is al een “dingetje” laat staan het "vertalen" in een goed leesbaar en de inhoud correct weergevend verslag. Begin met die herkenning en ga kijken of dat voldoende goed werkt om het werken efficiënter te maken!

Vlak voor deze bijeenkomst werd besloten het traject in te gaan met Parladium: een mix van Vlaamse en Nederlandse universiteiten (KU Leuven, UGent en de Radboud Universiteit Nijmegen) en twee bedrijven die hun sporen op het gebied van spraakherkenning al hadden verdiend: MyForce uit Vlaanderen (Merelbeke) en Telecats uit Nederland (Enschede). Het project is ambitieus en voor het ontwikkelen van nieuwe technologie heb je universiteiten nodig, maar het eindresultaat is een werkende applicatie die onderhouden moet worden en daar heb je juist weer bedrijven voor nodig.

Parladium
logo kuleuven logo ugent logo ru logo myforce logo Telecats
Fig. 1: Het consortium van 3 universiteiten en 2 bedrijven

In februari kwam het verzoek om voor 19 februari een voorstel (soort plan van aanpak) en de expertise van de verschillende partijen toe te lichten. Aan de hand van alle ingediende plannen zouden ze dan drie partijen selecteren die op de testdag op 4 mei mee zouden mogen doen aan “De Wedstrijd”. Men zou dan een USB-stick met 3 geluidsfragmenten krijgen die zo goed (en zo snel) mogelijk moesten worden omgezet in tekst waarbij moest worden aangegeven wie per fragment de spreker was. De resultaten zouden dan beoordeeld worden door medewerkers van het Vlaams Parlement die normaal gesproken ook de verslagen maken. Pas als zij vinden dat er kans op slagen is, zou het project door kunnen gaan!

Na afloop van De Wedstrijd op 4 mei, bleek dat 6 partijen een voorstel hadden ingediend (waarvan er eentje te laat was dus die deed sowieso niet mee). Gelukkig hoorden wij, Parladium, tot de gelukkigen die werden uitgenodigd.

Voorbereiding

In de weken voor 4 mei werd er, met name door de KU Leuven en de UGent, erg hard gewerkt aan het verbeteren van de herkenning door de uitgeschreven teksten van eerdere parlementaire vergaderingen te gebruiken voor het verbeteren van het taalmodel. Ook werden alle eigennamen van de Parlementariërs manueel aan het uitspraakwoordenboek toegevoegd, alsook werd de uitspraakvorm van een reeks in het Parlement frequent gebruikte termen geverifieerd. Verder werkte de UGent hard aan het verbeteren van sprekerherkenning door van elk huidig Vlaams Parlementslid een eigen audioprofiel te maken.

De Radboud Universiteit richtte zich op het verbeteren van de zogeheten Spreek-naar-Schrijf module: een tool, oorspronkelijk ontwikkeld voor de Nederlandse Tweede Kamer, die probeert de gesproken spraak in een meer op lezen gerichte vorm te gieten (zie: https://notas.nl/dixit/s2s.pdf) . Het Vlaamse MyForce coördineerde de gehele actie en verzorgde de communicatie met het Vlaams Parlement.

Tijdens de laatste bijeenkomst bij ESAT in Leuven werden de puntjes op de i gezet en de laatste afspraken qua formaten ed. gemaakt. Wat zouden we precies gaan doen, wie zou er aanwezig zijn, en vooral: wat zouden we gaan inleveren.
Dirk Van Compernolle van de KU Leuven nam het op zich om een overzichtsdocument te schrijven met daarin de toelichting op de geleverde resultaten.

De wedstrijd

lieveFig. 2: Lieve Beullens te midden van Erwin Dewallef (links) en Bart Martens (rechts) bij de aftrap van De Wedstrijd.
De gesloten enveloppen liggen klaar om uitgedeeld te worden.

 

Vrijdag 4 mei om 8:45 in Brussel geraken was een uitdaging op zich. De Antwerpse Ring, het verkeer in Brussel en vooral de permanente wijzigingen in het Brusselse stratenplan, maakte het noodzakelijk om rond 5:30 te vertrekken. Maar…. de reis verliep vlotjes en als eerste bij het Parlement aanwezig.

Bij binnenkomst bleken behalve de eerder ontmoete medewerkers van het parlement ook twee oudgedienden van het Vlaams-Nederlandse STEVIN-programma (2004-2011) aanwezig: Peter Spyns en Erwin Dewallef. Erg gezellig om beiden weer te zien en ook te horen dat ze allebei nog op enigerwijze betrokken zijn bij de (implementatie van) Taal- en Spraaktechnologie.

We werden samen met onze concurrenten (ZoomMedia met Microsoft, Cedat85/Bertin-IT) in een van de commissiezalen gezet alwaar Lieve Beullens van het Vlaams Parlement een toelichting gaf op de procedure. We kregen een enveloppe met daarin de USB-stick met de drie geluidsfragmenten en moesten die stick met daarop de eindresultaten en een geprinte, en door ons ondertekende versie van het uiteindelijke document weer inleveren.

Aan de slag

Kris Demuynck en Brecht Desplanques, beiden van de UGent, togen direct aan het werk. De data werd naar computers aan de UGent gekopieerd en de volautomatische spraak-naar-tekst pijplijn werd opgestart. Deze pijplijn omvat volgende deelstappen:

  1. Omzetten van het mp3-format in 16 kHz, 16-bit, mono wav
  2. Het bepalen van de spraak <-> geen-spraak
  3. Diarisatie: het segmenteren van de opnamen in sprekers
  4. Het identificeren van de sprekers (welk parlementslid of minister sprak er waarschijnlijk)
  5. Het herkennen van de spraak
  6. Het combineren van de verschillende informatie in een leesbaar en editeerbaar html-document.


Vlaams Parlement ScreenshotFig. 3: Screenshot van Kris Demuynck's computer tijdens het runnen van de verschillende componenten. De herkenning van de drie fragmenten werd parallel op drie verschillende computers gedaan. Hierdoor waren we na 20 minuten alweer klaar.

Daarna zou ik de resultaten door de Nijmeegse Spreek2Schrijf-module halen, om de herkende tekst nog iets fraaier te presenteren.

Kris had zowel in Gent als in Leuven (als back-up) een set snelle (waren eigenlijk oude computers; de nieuwe heb ik niet op tijd in het netwerk gekregen) computers klaar staan om deze klus te klaren en na ongeveer 20 minuten waren hij en Brecht klaar. De resultaten zagen er al zeer veelbelovend uit. De sprekers waren zo te zien goed herkend en er was ook automatisch al een fotootje van elke spreker en een link naar zijn/haar officiële website geplaatst.

herkende spraak vpFig. 4: Screenshot van een fragment van de herkende spraak. De spreekster, Elisabeth Meuleman, werd automatisch herkend.
Haar naam linkt door naar haar officiële webpagina bij het Vlaams Parlement.

De laatste stap was de S2S, maar…… Ik had het de dag ervoor nog geprobeerd en alles werkte dus dat moest een eitje worden. Vol goede moed stuurde ik de drie resultaten naar de Nijmeegse server en na een vijftal minuten kwamen de resultaten. Mooi! Maar de resultaten waren leeg. In paniek de maker Maarten van Gompel geprobeerd te bereiken, maar dat lukte niet. Later bleek dat de server wel werkte maar dat een kleine aanpassing in het formaat de oorzaak was van het leegblijven van de resultaten. Kris had in de week voor de wedstrijd nog een extra mogelijkheid gemaakt waardoor de resultaten ook direct in Microsofts word-format weggeschreven konden worden. Mooi maar ik had verzuimd om behalve te controleren of de server werkte (dat deed ie) ook te kijken of de inhoud ok was. Enorm stom.

Het resultaat

Het gevolg van dit alles was dat de resultaten zonder de mogelijke verbeteringen van S2S werden ingeleverd. Enerzijds enorm jammer maar we hadden al wel gezien dat S2S, dat getraind was op Nederlandse parlementaire data, niet altijd een verbetering gaf. Soms wel, maar soms werden goed herkende Vlaamse teksten “vernederlandst” doordat een Vlaamse afkorting werd herschreven in een gelijkend, maar net iets andere Nederlandse afkorting. Het was dus niet heel erg maar wel ontzettend stom dat de S2S-resultaten niet werden meegenomen.

De opgeleverde resultaten

{/accordion}

De drie herkende spraakopnames werden geprint, door Dirk Van Compernolle officieel ondertekend en in de enveloppe gedaan. Later dit voorjaar zullen we te horen krijgen of het Vlaams Parlement doorgaat met de inzet van spraaktech en zo ja met welke partij. Voor nu dus even geduld.

Een eenvoudige doch voedzame maaltijd

maaltijdFig. 5: Na afloop was het goed napraten op het dak van het gebouw van het Vlaams Parlement.
Van links naar rechts: Brecht Desplanques, Kris Demuynck, Peter Spyns en Erwin Dewallef.

Nadat iedereen zijn resultaten had ingeleverd konden we met z’n allen op het dak van het gebouw (strakblauwe lucht, schitterend uitzicht over Brussel) genieten van een eenvoudige doch voedzame maaltijd.
Dat een paar ongelukken met vrachtwagens de Nederlands-Belgische grensovergangen blokkeerde waardoor de terugreis bijna 4 uur in beslag nam, mocht het tevreden gevoel een mooi resultaat te hebben neergezet, niet drukken.

  1. Gesproken en geschreven chatbots
  2. Beleefd zijn tegen je spraak-assistent
  3. Verslag NOTaS-deelnemersbijeenkomst bij DANS
  4. Verslag NOTaS-bijeenkomst bij het INT

Pagina 1 van 5

  • 1
  • 2
  • 3
  • 4
  • 5
  • Login