Van interventie naar aantoonbaar effect

 

Wat zag jij in de praktijk gebeuren waarvan je dacht: hier moeten we iets voor ontwikkelen? 

In de praktijk zie ik verschillende superenthousiaste ontwerpers van cybersecurity-gedragsinterventies die mooie initiatieven hebben bedacht om de wereld te verbeteren en als doel hebben de cybersecurity te vergroten. Het is altijd superinspirerend om te horen hoe zij hun interventie tot stand hebben gebracht en wat die allemaal doet. 

Een van de vragen die ik dan altijd stel: “Hebben jullie dit ook geëvalueerd?” En uiteraard heeft iedereen dit gedaan: alle deelnemers vonden het leuk (👍) en het scoort 4 uit 5 sterren. Dit is natuurlijk een fantastisch begin, en ook zeker nodig, maar zegt eigenlijk nog niet zoveel over of het ook werkt. Of de (leer)doelen bereikt zijn. Of er daadwerkelijk gedrag veranderd is. 

Is de organisatie door de interventie veiliger geworden? Werkt het voor iedereen even goed? Is de adoptie van wachtwoordmanagers verhoogd? Worden er minder werkplekken onbeheerd achtergelaten? Blijven er minder printjes met gevoelige informatie liggen? Et cetera. 

Waarom lossen bestaande security-awarenessprogramma’s of cybersecuritytrainingen dat probleem volgens jou nog onvoldoende op? 

Dat weten we niet zo goed. Van alle initiatieven die er zijn, zullen er zijn die heel goed werken, maar zeker ook die geen effect hebben of zelfs een negatief effect hebben, waardoor medewerkers na de training onveiliger gedrag vertonen. 

Op basis van eerder onderzoek weten we dat één op de drie interventies die social engineering moeten tegengaan geen of een negatief effect heeft. Juist door dit te meten, komen we erachter of wat we doen daadwerkelijk bijdraagt. 

Daarnaast kan dit ook de gemeenschap verder helpen. Op het moment dat we gaan delen wat wel en juist niet werkt, leren we van elkaar en kunnen we weloverwogen keuzes maken. 

Met wat voor concreet cybersecurityprobleem kan een deelnemer het Lab binnenkomen? Kun je een voorbeeld geven? 

Dit kunnen veel verschillende uitdagingen zijn. Voor iedere organisatie zijn de dreigingen anders en zullen ook de uitdagingen verschillen. In het Lab gaan we aan de hand van de vier stappen van de PDCA-cyclus met deze problemen aan de slag. 

Een voorbeeld zou kunnen zijn, afhankelijk van het beleid van de organisatie, dat medewerkers onvoldoende unieke wachtwoorden gebruiken. Een oplossing hiervoor kan de implementatie van een wachtwoordmanager zijn. Dit vraagt ook iets van de medewerker en het kan zijn dat het gebruik ervan achterblijft bij de verwachting. 

De interventies die de deelnemers gaan maken, spelen in op een of meerdere facetten van gedrag, met als resultaat dat medewerkers die wachtwoordmanager gaan gebruiken. 

Kun je een voorbeeld geven van een cybersecurity-interventie die heel logisch klinkt, maar in de praktijk weinig effect heeft of zelfs averechts kan werken? 

Het is lastig om hier een goed antwoord op te geven. Wat we veelal zien, is dat alleen het ophangen van een poster weinig gedragsverandering teweegbrengt. Daarnaast weten we uit eerder onderzoek dat ‘specifieke’ interventies met een smalle focus veel effectiever zijn dan ‘algemene’ interventies met een brede focus. 

Zo werkt bijvoorbeeld uitleg over ‘hoe werkt een URL?’ beter om e-mailphishing tegen te gaan dan iets algemeens over het belang van cybersecurity. Ook hebben interventies die moeite of inspanning kosten een groter effect dan interventies die weinig inspanning vragen. 

Wat is een inzicht uit de gedragswetenschap waarvan je zou willen dat veel meer cybersecurityprofessionals het kennen? 

Ook een lastige vraag om te beantwoorden. Misschien dat er verschillende manieren zijn om te meten. Je kunt gedrag observeren door bepaalde handelingen te tellen of te turven hoeveel werkplekken er tijdens de lunch niet vergrendeld zijn. 

Maar je kunt ook online gedrag gebruiken. Hoe vaak wordt er op het trainingsplatform ingelogd? Of op welke tijdstippen is er e-mailverkeer? Daarnaast kun je kennisvragen stellen of naar een attitude, norm of voorkeur vragen. 

Wanneer kun je eigenlijk zeggen dat een cybersecurity-interventie werkt? Wat moet je daarvoor meten of weten? 

Dat hangt ook een beetje van het doel af. Wanneer je doel is om de adoptie van wachtwoordmanagers in de organisatie te verhogen, dan zul je dat meetbaar moeten maken. Je kunt dan met een onderzoeksontwerp toetsen of er na de interventie verandering is. 

Dit kun je op verschillende manieren meetbaar maken. Je zou mensen kunnen vragen of ze de wachtwoordmanager gebruiken of hoe ze het gebruik ervaren. Er is misschien een centraal punt of systeem waar je kunt zien hoeveel wachtwoordmanagers er geactiveerd zijn. Hier kun je misschien ook zien wanneer ze voor het laatst gebruikt zijn of wat de omvang van de kluis is. 

Je zou ook kunnen observeren hoe medewerkers een account aanmaken voor een nieuwe dienst of een nieuw portaal en wat ze dan met hun wachtwoord doen. Deze verschillende meetmethoden verschillen bijvoorbeeld in schaalbaarheid en ecologische validiteit. 

Wat hoop of verwacht je dat er gebeurt wanneer organisaties de resultaten van hun experimenten met elkaar gaan delen? 

Dat niet iedereen het wiel opnieuw gaat uitvinden. Wanneer we weten dat bijvoorbeeld posters niet werken, kunnen we met die inzichten verder. Misschien was het ontwerp niet goed of werkte de combinatie met de uitkomstmaat (bijvoorbeeld gedrag) niet. Wanneer de poster geen gedrag veranderde, kan die mensen wel inzichten hebben gegeven of hun attitude hebben veranderd. 

Een organisatie heeft de poster misschien als ondersteunend materiaal gebruikt, waardoor juist de combinatie erg goed werkt. Door deze informatie te delen, kun je een beter afgewogen besluit nemen om een bepaalde interventie te testen of te gebruiken. 

Met het Cybersecurity Interventie Lab gaan we een stap zetten in het meten van het effect van interventies en het delen van de inzichten. 

Als iemand het Cybersecurity Interventie Lab heeft afgerond, wat hoop je dan dat diegene de volgende dag anders doet binnen zijn of haar organisatie? 

Je hoopt allereerst dat je hebt geholpen om een organisatie veiliger en weerbaarder te maken. Daarnaast hoop je dat de deelnemers en organisaties enthousiast zijn geworden over de aanpak en die ook voor andere dreigingen gaan gebruiken, om op die manier datagedreven keuzes te maken. 

Waar zouden we nu allemaal al mee kunnen beginnen om cyberinterventies te laten slagen? 

Begin met in kaart te brengen welke dreigingen er allemaal zijn en welk ‘probleem’ je aan het oplossen bent. Als je weet wat je gaat aanpakken, kun je gerichter zoeken naar wat je qua gedrag wilt veranderen. 

Meer informatie over de master vind je op deze site.

 Dr. Jan-Willem Bullée is universitair docent cybersecurity aan de Universiteit Twente en ambassadeur van het CVD. Zijn onderzoek richt zich op cybercrime, cybersecurity en menselijk gedrag.

Initiatiefnemers: