Betydelsen av provstorlek
Det är intuitivt uppenbart att ett test som detta kommer att få mer exakta resultat med en större uppsättning prover, men den här gången har AV-Comparatives tydligt förklarat konsekvenserna av en för liten provuppsättning. En enkel separat rapport innehåller statistiken och de är lite överraskande.
Anta att en viss produkt upptäckte 80 procent av en uppsättning av 10 000 skadliga prover. Anta nu att du väljer bara tio prover slumpmässigt från samma samling. Med hjälp av ett diagram över alla möjliga resultat visar rapporten att det är nästan lika troligt att uppnå samma detekteringsgrad, en högre detektionsgrad eller en lägre detektionsgrad. Ja, att skära ner till tio prover är ett extremt fall, men det är säkert poängen.
Testmetoder
Med hjälp av automatiserade och manuella sökmetoder samlar forskarteamet skadliga webbadresser i verkligheten varje dag. De väljer specifikt en blandning av direkta länkar till skadliga programfiler och nedladdningswebbplatser som drivs av. Genom att gå igenom dagens prover en efter en exponerar de alla produkterna för en viss URL samtidigt och ser hur varje produkt reagerar. Om någon del av sviten avhjälper skadlig programvara är det en framgång. Om skadlig programvara glider förbi och ställer in hushållning, är det ett fel.
Ibland dyker sviten upp med ett meddelande om att den har hittat något och frågar användaren om han ska blockera eller tillåta det. För teständamål väljer AV-Comparatives-analytiker alltid att tillåta åtgärden. En produkt som framgångsrikt försvarar systemet trots denna åtgärd får full kredit; en produkt som låter systemet komprometteras på grund av ett felaktigt val av användaren får halvkredit.
När ett visst testfall har slutförts, återbildas alla testsystem till ett pre-malware-läge, redo för nästa testfall.
Falska positiva
Ett falskt positivt resultat uppstår när säkerhetsprogramvaran felaktigt blockerar åtkomsten till en legitim fil eller webbplats. Det är uppenbart att du inte vill att din säkerhetssvit ska radera giltiga filer eller hålla dig borta från ofarliga webbplatser. AV-Comparatives testade varje produkt med cirka tusen slumpmässigt utvalda domäner och cirka hundra nya och populära program. För teständamål laddade de ner varje program från utvecklarens webbplats, inte från en nedladdningsportal.
Rapporten konstaterar att statistisk och rykte-baserad säkerhetsanalys ofta kommer att blockera eller varna för helt nya program och webbplatser. Den säger, "Även om sådana skyddstekniker… hjälper till att producera höga poäng… kan det också leda till upptäckt / blockering av oskyldiga / rena filer och webbadresser bara för att de är… för nya." Norton, en stark förespråkare för denna typ av upptäckt, deltar inte i AV-Comparatives-tester.
Mycket förbättring
Mer än hälften av de produkter som ingår i den aktuella rapporten gjorde bättre resultat än i den tidigare utgåvan av denna rapport. Vipre, McAfee och Fortinet misslyckades alla förra gången, inte ens tjäna STANDARD, den lägsta godkända betyg. Den här gången rankade Fortinet och McAfee ADVANCED och Vipre tog sig till STANDARD. Alla tre fick sitt betyg på grund av falska positiver; baserat bara på upptäckt skulle McAfee och Fortinet ha rankat ADVANCED +, den högsta graderingen.
eScan hoppade från STANDARD till ADVANCED +, medan avast!, ESET och Trend Micro flyttade från ADVANCED till ADVANCED +. Flera andra som tidigare betygsat STANDARD lyckades en AVANCERAD betyg den här gången.
Bitdefender tjänar regelbundet toppresultat över hela linjen i oberoende labbtester. Bara baserat på upptäckt av skadlig kod skulle det ha betygsatt ADVANCED +, som det gjorde förra gången, men falska positiver slog ner till ADVANCED. Detsamma hände med F-Secure och BullGuard.
AV-Comparatives hela produktdynamiska testet är bland de mest arbetsintensiva testerna jag har stött på. Därför är det inte förvånande att laboratoriet förlitar sig på stöd från universitetet i Innsbruck och från den österrikiska regeringen. Det är mycket arbete, men slutresultatet är ett test som väldigt nära uppskattar hur bra en produkt kommer att skydda användare i världen.
