Phishing simulatie:
het totaal kan misleiden.
Van 18,1% naar 3,9% klikken lijkt vooruitgang. De groepscijfers in dit fictieve voorbeeld vertellen iets anders.
Het klikpercentage van een phishing simulatie daalt in dit rekenvoorbeeld van 18,1% naar 3,9%. Toch stijgt het percentage in beide groepen. De verklaring zit in wie de tweede ronde ontvangt.
De cijfers zijn bewust fictief. Ze laten een rekenprobleem zien dat je met je eigen geaggregeerde campagnecijfers kunt controleren: een andere groepsverhouding kan een totaalscore compleet omdraaien.
hogere percentages per groep
In ronde twee schuift de grootste groep
In de eerste ronde ontvangt groep 2 negen keer zoveel mails als groep 1. In de tweede ronde is dat precies andersom. Gebruik unieke menselijke klikkers per ontvanger; automatische linkscans en herhaalde kliks horen niet als extra personen in deze tabel.
| Groep | Ronde 1 | Klikpercentage | Ronde 2 | Klikpercentage |
|---|---|---|---|---|
| Groep 1 | 1 van 100 | 1,0% | 18 van 900 | 2,0% |
| Groep 2 | 180 van 900 | 20,0% | 21 van 100 | 21,0% |
| Totaal | 181 van 1.000 | 18,1% | 39 van 1.000 | 3,9% |
Met dezelfde groepsmix stijgt de uitkomst naar 19,1%
De eerste groep gaat van 1% naar 2%; de tweede van 20% naar 21%. De lage totaalscore ontstaat doordat de groep met het laagste klikpercentage in ronde twee veel groter is.
Houd je de oorspronkelijke verdeling vast, dan weegt groep 1 in beide rondes voor 10% mee en groep 2 voor 90%. Voor ronde twee wordt de som: 10% × 2% + 90% × 21% = 19,1%.
Een omkering tussen delen en totaal heet Simpson’s paradox. De statistiekles van UC Berkeley laat zien hoe een ongelijke groepsverdeling zulke schijnbare tegenstellingen kan veroorzaken.
Dit is een herweging, geen nieuwe campagne of voorspelling van klikgedrag.
Verandert de conclusie bij dezelfde groepsmix?
Begin met het fictieve voorbeeld of vul twee eigen rondes in. Je invoer blijft in deze browser.
Gebruik twee groepen die elkaar binnen een ronde niet overlappen. Houd in beide rondes dezelfde indelingscriteria aan, zodat groep 1 en groep 2 vergelijkbaar blijven.
De werkelijk ingevoerde groepsverhoudingen
Beide groepen klikken vaker, terwijl het totaalcijfer daalt.
Ronde 2 met vaste weging: 19,1%. De vaste gewichten zijn de groepsaandelen uit ronde 1.
| Groep | Ronde 1 | Ronde 2 | Vast gewicht |
|---|---|---|---|
| Groep 1 | 1,0% | 2,0% | 10% |
| Groep 2 | 20,0% | 21,0% | 90% |
Vul alleen aantallen in, geen namen of individuele uitslagen. Deze herweging corrigeert de groepsmix; hij corrigeert geen andere scenario’s, moeilijkheid, selectie of meetfouten. De uitkomst bewijst geen effect van training.
Een phishing simulatie vraagt meer context dan een percentage
Controleer eerst de teller en noemer: unieke menselijke klikkers gedeeld door de mensen die de simulatie ontvingen. Noteer vervolgens welke groepen, aantallen en scenario’s je vergelijkt.
NIST ontwikkelde de Phish Scale om de herkenningsmoeilijkheid van een phishingmail in de context van de doelgroep te beoordelen. Dat is iets anders dan onze herweging: een vaste groepsmix maakt een andere mail niet even moeilijk.
Bij Phishwise worden phishing simulaties gekoppeld aan training, meldgedrag en rapportage. Vraag bij een rapportage om dezelfde uitsplitsing per groep en scenario, zodat een lager totaalcijfer niet op zichzelf de conclusie bepaalt.
Leg naast iedere ronde vast
- Ontvangers
- Wie zit in de ronde, en hoe groot is iedere groep?
- Scenario
- Welk bericht is gebruikt en hoe past het bij het werk?
- Gedrag
- Wie klikt, wie meldt en hoe snel komt de melding aan?
- Vergelijking
- Verandert de conclusie als de groepsverhouding gelijk blijft?
Bij 100 ontvangers is één klik al één procentpunt
De rekenhulp kan een verschuivende groepsmix zichtbaar maken. Hij bewijst niet dat training beter of slechter werkt. Kleine aantallen, andere ontvangers, een ander scenario of een andere meetmethode kunnen de uitkomst veranderen.
Een groep met een hoger waargenomen klikpercentage is evenmin automatisch minder zorgvuldig. NIST benadrukt juist de context en moeilijkheid van een bericht. Trek uit ons fictieve voorbeeld geen conclusie over echte medewerkers.
Vergelijk twee rondes per groep
Pak twee bestaande rapportages, neem alleen geaggregeerde aantallen over en controleer eerst wat daarin als ontvanger en klikker telt. Download de vergelijking en bespreek zowel de groepsmix als het scenario.
Reken twee rondes naDe volgende ronde heeft een vaste meetlat nodig
Leg vóór die ronde vast welke groepen en scenario’s je opnieuw wilt bekijken. Dan kun je de uitkomst uitsplitsen en zien of dezelfde maatstaf is gebruikt.
De rekenregels en privacy van de campagnevergelijker beschrijven de vaste weging en de lokale verwerking van de ingevoerde aantallen.