Mäta security awareness: nyckeltal som faktiskt säger något

Förr eller senare vill ledningen se belägg för att phishing-simuleringarna och utbildningarna faktiskt gör nytta, ofta senast när nästa budget ska beslutas. Security awareness går att mäta, men en enskild siffra säger nästan ingenting. I den här artikeln går vi igenom vilka nyckeltal som håller och under vilka förutsättningar du bör samla in dem.

Därför vilseleder ett enskilt nyckeltal

Klickfrekvensen i en enskild phishing-simulering är den oftast citerade siffran i awareness-rapportering, och den oftast feltolkade. Den beror i hög grad på hur svår mallen var, när simuleringen genomfördes och vilka avdelningar som fick mejlet. En låg klickfrekvens på en lätt genomskådad mall säger mindre än en högre på ett välgjort, riktat scenario.

Den som inte klickar har dessutom inte nödvändigtvis lärt sig något. Mejlet kan helt enkelt ha förbisetts eller raderats oläst. Och den som gör ett enskilt nyckeltal till det enda målet bjuder in till att optimera siffran i stället för beteendet, till exempel genom att simuleringar ”förvarnas” internt så att resultatet ser bra ut.

Verklig insikt uppstår först när flera nyckeltal läses tillsammans över en längre period.

Fyra nyckeltal som säger något

• Klickfrekvens över tid: Det är inte resultatet av en enskild simulering som räknas, utan trenden över flera simuleringar med jämförbar svårighetsgrad. Sjunker klickfrekvensen kvartal för kvartal vid oförändrad svårighetsgrad är det en signal att lita på.
• Rapporteringsgrad: Andelen mottagare som aktivt rapporterar ett misstänkt mejl. Det är kanske det mest underskattade nyckeltalet: det mäter önskat beteende, inte bara frånvaron av misstag. En stigande rapporteringsgrad betyder att organisationen upptäcker verkliga angrepp tidigare.
• Tid till första rapport: Hur snabbt når den första rapporten ditt säkerhetsteam? Vid ett verkligt angrepp avgör det tidsfönstret hur mycket skada som kan förhindras.
• Genomförandegrad i utbildningarna: Den visar om programmet överhuvudtaget når medarbetarna. I sig säger den inget om beteende, men som kontextmått är den oumbärlig: utan räckvidd ingen effekt.

Läs nyckeltalen tillsammans

Det blir intressant först när du kombinerar värdena. Sjunkande klickfrekvens i kombination med stigande rapporteringsgrad är mönstret du vill se: medarbetarna känner igen angreppen och agerar dessutom rätt. Hög genomförandegrad men oförändrad rapporteringsgrad tyder däremot på att innehållet konsumeras men inte landar i vardagen. Då är det läge att se över utbildningarnas format eller frekvens.

Jämför dessutom simuleringar utifrån svårighetsgrad i stället för att lägga alla resultat i samma hög. Väl utformade phishing-simuleringar varierar scenarierna medvetet. Rapporteringen måste spegla den variationen, annars jämförs äpplen med päron.

Det finns också ett regulatoriskt perspektiv: NIS2 gäller, och organisationer som omfattas måste både införa effektiva riskhanteringsåtgärder, utbildning inräknad, och kunna visa att åtgärderna fungerar. En trovärdig awareness-rapportering är grunden för det.

Därför hör anonymiserad rapportering till

Frågan vem som klickade ligger nära till hands men pekar åt fel håll. Utvärdering på individnivå väcker dataskyddsfrågor och kräver i regel samverkan med fackliga representanter. Framför allt motverkar den själva målet: den som är rädd för sanktioner slutar rapportera incidenter, och rapporteringsgraden är ditt mest värdefulla nyckeltal.

Anonymiserade, aggregerade utvärderingar räcker gott för samtliga nyckeltal ovan, till exempel på avdelnings- eller kontorsnivå och med minsta gruppstorlekar som utesluter slutsatser om enskilda personer. Det är programmet som mäts, inte personen. Involvera fackliga representanter och dataskyddsombud tidigt. Det bygger förtroende, ökar acceptansen och höjer i slutändan kvaliteten på dina data.

Från mätning till styrning

Ärligt mätt visar awareness var programmet fungerar, var det behöver justeras och hur organisationens säkerhetsnivå utvecklas över tid. Protectly ger dig precis det underlaget: klickfrekvens, rapporteringsgrad och genomförandegrad över tid, anonymiserat och förankrat i samråd. Hur det ser ut i praktiken visar vår sida Analys & rapportering. Eller boka en personlig demo och se det direkt.