BLISS: Behaviour based Language Interactive Speaking Systems

Spreken met de computer om je beter te voelen!

Taalwetenschappers Helmer Strik en Iris Hendrickx van de Radboud Universiteit werken aan een innovatief Nederlandstalig chatbot. Na het onderzoek moet hun chatbot in staat zijn om met mensen te praten over hun persoonlijke welzijn en geluk.

Het idee is om grote hoeveelheden persoonlijke data van cliënten (teksten, interviews, dialogen) te doorzoeken om informatie eruit te halen over hun gezondheid en welzijn en om te weten te komen wat hen gelukkig maakt. Om dit mogelijk te maken wordt technologie ontwikkeld die relevante informatie uit Nederlandse teksten en audio-opnames kan halen. Vervolgens kan deze informatie gebruikt worden om computerprogramma’s te ontwerpen die met mensen laagdrempelig, in gesproken Nederlands kunnen communiceren om hen te ondersteunen in hun dagelijks handelen en het beheren van hun gezondheid en welzijn.

Gesproken data

De informatie uit de grote hoeveelheden persoonlijke data kan hierbij gebruikt worden om het systeem te personaliseren voor individuele cliënten zodat het systeem rekening houdt met persoonlijke behoeftes en achtergrond. Onderzoek met Big Data was tot nu toe voornamelijk gebaseerd op geschreven data, terwijl in dit project ook gebruik wordt gemaakt van gesproken interviews, omdat deze nu veel meer worden verzameld dan geschreven vragenlijsten. Het voordeel is ook dat gesproken data veel meer informatie bevatten dan teksten (zoals intonatie, nadruk, aarzelingen, etc.)

Begin september 2022 spraken we met Helmer en Iris.

Fijne samenwerking

Binnen het project wordt samengewerkt met collega's van de Universiteit Twente met hun specialisme op het gebied van mens-computer interactie. Ook zijn er twee bedrijven betrokken; Readspeaker voor de ontwikkeling van de computerstem en het bedrijf Games for Health. Games for Health zet games & apps in om het gedrag van mensen en organisaties op een impactvolle manier te beïnvloeden. Dit doen zij door de ontwikkeling van serious games & gamified apps met opdrachtgevers uit verschillende domeinen, met een voorliefde voor gezondheid en geluk. Helmer: “door applicaties met game-elementen toe te voegen maken we trainingen leuker en interessanter en stimuleren we deelnemers om minder snel af te haken.” Helmer benadrukt dat de samenwerking in het project veel energie geeft “we hebben 2-wekelijks een online meeting waarbij iedereen aanwezig is. Iedereen is actief en samen zoeken we naar creatieve oplossingen voor nieuwe experimenten binnen het project. De kennis die we opdoen binnen BLISS kan vervolgens weer gebruikt worden bij andere projecten zoals ST CART en is ook bijzonder nuttig voor de deelnemende bedrijven.” Ook werkt er een groot aantal Bachelor- en Masterstudenten mee aan dit project. “Het is een onderwerp dat aanspreekt, dat wetenschappelijk interessant is én ook maatschappelijk zeer relevant. Mensen vinden het een heel leuk onderwerp.”

Experimenten aangepast

Om tot zo’n complex computerprogramma te komen, is veel data nodig: antwoorden van mensen die vertellen over hoe het met hen gaat. Covid gooide hier helaas roet in het eten. “Ook wij hebben last gehad van corona”, vertelt Helmer. “We zouden oorspronkelijk een groot onderzoek verrichten met mensen uit de (thuis)zorg. In de zorg was het echter ‘alle hens aan dek’ en meedoen aan ons onderzoek had dan ook niet de hoogste prioriteit. Het lukte ons daarom niet om voldoende participanten te vinden en we hebben ons plan moeten aanpassen. We zijn overgeschakeld naar een aantal kleinschalige experimenten, die zeker ook veel bruikbare informatie hebben opgeleverd.” Iris vult aan “oorspronkelijk was er software ontwikkeld voor op de laptop, het idee was om met de laptop naar verzorgingstehuizen te gaan en met deelnemers ter plaatse het gesprek aan te gaan. Nadat we alles voor dit experiment hadden voorbereid, moesten we overstappen naar een online interface zodat deelnemers ook op andere devices aan de slag konden. Deze omschakeling bracht weer nieuwe uitdagingen met zich mee en kostte veel extra tijd. Maar uiteindelijk is het ons gelukt.” Andere zijstappen waren een experiment rondom ‘automatisch samenvatten van dialogen’ en een onderzoek of mensen een empathische stem fijner vinden dan een neutrale stem.

Deelexperiment ‘de dood’

Ook zijn er gaandeweg het onderzoek andere keuzes gemaakt rondom de thema's. “Het thema eenzaamheid hebben we bewust niet opgepakt als deelexperiment ivm het ontbreken van de juiste expertise in het team", vertelt Iris. “Er is gekozen voor een ander sensitief onderwerp - de dood - in samenwerking met één van de collega's bij de Radboud Universiteit. Er is gekeken hoe films waarin de dood voorkomt (eudamonisch entertainment) kunnen helpen bij praten en nadenken over de dood en of een chatbot deze gesprekken zou kunnen voeren.”

Inzicht in welzijn

Het doel van BLISS is inzicht te krijgen in je eigen welzijn, we geven daarbij geen handvatten, aldus Iris. “We zijn taalwetenschappers; het geven van gezondheidsadvies valt buiten onze expertise. We richten ons op positieve gezondheid en laten mensen juist praten over de dingen die hen gelukkig maken. Positieve Gezondheid is een brede kijk op gezondheid, uitgewerkt in zes peilers. Met deze brede benadering draag je bij aan het vermogen van mensen om met de fysieke, emotionele en sociale uitdagingen in het leven om te gaan. Met ons spraakprogramma van BLISS focussen we ons op de twee peilers ‘dagelijks functioneren’ en ‘meedoen/sociale participatie’.”

Komend experiment met zorgverleners

Een grote uitdaging bij het gehele project is het vinden én betrekken van voldoende participanten en daar vervolgens meerdere gesprekken mee kunnen voeren.
Iris: “Komend experiment richten we ons juist op de zorgverleners. Wij denken dat het fijn is om ook te kunnen praten over jezelf in plaats van alleen maar over de zorg van een ander. We willen dan echt een serie van meerdere gesprekken voeren. Dit is echt nodig om stappen te kunnen zetten richting personalisatie.”

Resultaten

Dit onderzoek zal verschillende resultaten opleveren. Ten eerste belangrijke Nederlandstalige technologie om grote hoeveelheden teksten en opnames over en van cliënten te analyseren en daaruit relevante informatie over hun gezondheid en welzijn te halen. Deze technologie kan ook voor andere doeleinden worden gebruikt, zoals het verbeteren van een spraakherkenningssysteem. Verder levert dit project ook kennis op over een interactief systeem dat in het Nederlands kan spreken, hun antwoorden kan begrijpen en zelf beschikt over belangrijke informatie over de cliënten die ze kunnen gebruiken om hun welzijn te verbeteren, zodat ze zelf de regie houden. Ook dit systeem kan eventueel voor andere toepassingen in de zorg worden ingezet. Belangrijke resultaten zijn uiteraard ook de kennis en de inzichten die verkregen zullen worden over wat voor wie het beste werkt.

• In september 2023 wordt het project afgerond, meer informatie zie https://bliss.ruhosting.nl/.
• Meehelpen? Ga in gesprek met de online Blissbot: https://forms.office.com/r/tqg5f58yjC