Hur vi tolkar antiviruslaboratorietester

Fungerar ditt antivirusprogram? Du vill förmodligen inte släppa ett levande virus bara för att kontrollera. Lyckligtvis gör oberoende antivirus-testlabor runt om i världen sitt bästa för att besvara den frågan utan att sätta dig i fara.

Labs

För att få en uppfattning om hur bra antivirusprodukter fungerar följer jag sex specifika testlaboratorier. Alla dessa laboratorier utför regelbundna tester fortlöpande, och resultaten som jag litar på är fritt tillgängliga för allmänheten.

Säkerhetsleverantören betalar för att få ICSA Labs och West Coast Labs testa och certifiera sina produkter. Som en del av tjänsten fungerar labbet med leverantören för att korrigera eventuella fel. Jag tittar specifikt på certifieringar för upptäckt av skadlig programvara och sanering av skadlig kod.

Den värdefulla Virus Bulletin utför månatliga detekteringstester och tilldelar VB100-certifiering till produkter som upptäcker alla sina "vildlista" -prover. Observera dock att till och med ett falskt positivt (ett giltigt program som upptäckts som skadlig programvara) är tillräckligt för att få en produkt att misslyckas. Det är fallet, jag tittar på framgångsprocenten under de senaste tolv månaderna.

Baserat i Magdeburg, Tyskland, betygsätter AV-Test regelbundet antivirusprodukter inom tre områden: skydd, prestanda och användbarhet. Skydd avser avskärmning av attacker mot skadlig programvara, prestanda avser minimering av användningen av systemresurser och användbarhet kräver ett antal faktorer inklusive falska positiver. Med sex poäng möjligt i varje kategori är den högsta möjliga poängen 18.

AV-Comparatives utför ett brett utbud av tester, vissa med hjälp och stöd från den österrikiska regeringen. Fildetekteringstestet mäter både statisk upptäckt och upptäckt efter lansering. Ett liknande test med föråldrade definitioner av skadlig program försöker mäta effektiviteten mot nolldagarsattacker. Och ett månader långt dynamiskt test utmanar varje produkt att motstå infektion med det allra senaste skadliga programmet. Produkter som passerar är rankade STANDARD; bättre produkter kan tjäna betyg AVANCERAD eller ADVANCED +.

Forskare på Dennis-baserade Dennis Technology Labs arbetar mycket hårt för att simulera en användares verkliga erfarenhet. De identifierar skadlig programvara på webben, fångar hela den skadliga webbplatsen och replikerar den i en kontrollerad miljö, så varje produkt upplever exakt samma attack. Räknar både skydd och brist på falska positiva resultat kan produkter få certifiering på fem nivåer: AAA, AA, A, B och C.

Vad betyder allt?

Tidigare har jag sammanfattat de faktiska laboratorieresultaten, men resultatet var inte så lätt att tolka. I en kolumn 3.0 var toppresultatet, medan det i ett annat 3.0 skulle vara fruktansvärt. Andra kolumner kan innehålla "100%" eller "Y." Jag har reviderat mitt diagram för att istället sammanfatta resultat i fem kategorier: Upptäckt, rengöring, skydd, falska positiva effekter och prestanda, tillsammans med en total sammanfattningsscore. Klicka här för att se ett exempel.

Den svåra delen här är att alla laboratorier testar olika produktsamlingar och olika antal. AV-test en AV-jämförelse innehåller vanligtvis 20 till 25 produkter i en testkörning, till exempel medan Dennis Labs tenderar att göra mer som åtta eller tio. Jag måste bara nöja mig med vilka data som finns tillgängliga, och jag väger de olika testerna enligt mitt eget subjektiva intryck av deras värde.

Min detekteringsgradering bygger på VB100-testet och de två fildetekteringstesterna från AV-Comparatives. Att få certifiering för upptäckt från ICSA Labs och West Coast Labs kan lyfta en produkts betyg, men att inte ha dem drar inte ner det.

AV-Comparatives kör ett rengöringstest för skadlig programvara som mycket specifikt kontrollerar hur bra produkter tar bort skadlig programvara som de upptäcker. Jag inkluderar det i min rengöringsgradering, med en möjlig ökning om West Coast och ICSA Labs certifierar leverantörens teknik för rengöring av skadlig programvara. AV-Test har diskuterat ett liknande rengöringsspecifikt test; Jag lägger till den när den är tillgänglig.

Det verkliga testet av Dennis Labs handlar om att skydda mot skadlig programattack, liksom det dynamiska testet av AV-Comparatives. Jag tittar på båda dessa för min skyddsgradering, liksom skyddskomponenten från AV-Test.

AV-Comparatives testar påverkan som olika säkerhetsprodukter har på systemprestanda; AV-Tests tredelade analys inkluderar en prestandakomponent. Båda av dessa går in på min prestanda.

Falska positiva effekter kan vara ett verkligt problem; Om ditt antivirus fortsätter att karantänera de senaste spelen kommer du sannolikt att stänga av det. Dennis Labs ropar ut en separat falsk positiv poäng som jag använder i mitt falska positiva betyg. Jag noterar också om en produkt förlorade en klassificeringsnivå på grund av falska positiva resultat i någon av testerna av AV-Comparatives. Slutligen blandar jag in användbarhetskomponenten från AV-Test.

Perfekt? Nej

Vissa leverantörer godkänner inte vissa tester. Webrots försvarsstil mot helt nya hot är inte kompatibel med vissa tester. Symantec har uppgett att statiska tester har litet värde och att endast dynamiska tester av hela produkten ger användbar information. Vissa väljer inte att delta alls, eller deltar i så få test att ingen total bedömning är möjlig.

Trots det finns det mycket att lära sig här. En produkt som får fem stjärnor över hela linjen gör något rätt. En som aces-upptäckt men misslyckas med rengöring är förmodligen inte det rätta valet att utrota en befintlig skadlig infektion. Jag har verkligen finjusterat min egen tolkning i processen för att arbeta upp detta system.