Microsoft startar om antivirus-testfel

Att arbeta i Microsoft Malware Protection Center måste vara tufft. Här är ditt företag bland de största i världen, men ett litet (men väl ansett) antivirus-testlaboratorium i Tyskland säger att ditt antivirusprogram inte skära senap. Inte bara en gång utan två gånger under de senaste månaderna misslyckades Microsoft med att få certifiering från AV-Test.

Joe Blackbird, programchef på Center, förklarade i ett blogginlägg att om detta test inte betyder att Microsofts användare inte är skyddad.

Öppenhet i testning

I enlighet med AMTSO: s principer gör AV-Test ingen hemlighet för den metod som används för att genomföra sina pågående certifieringstester. Det betyder att Blackbird kan kontrollera och verifiera exakt varför Microsoft Security Essentials inte passerade.

Testet ger samma vikt som tre säkerhetselement: skydd (att hålla ny skadlig programvara från att angripa ett rent system), reparera (rensa bort malware som redan finns) och användbarhet (göra jobbet utan att bromsa systemet eller felaktigt anklaga giltiga program). Microsoft gjorde OK inom reparations- och användbarhetsområdena men fick bara 1, 5 av 6 möjliga skyddspunkter.

Inte verklig värld?

Blackbirds huvudsakliga påstående är att detta test inte speglar Microsofts kunders verkliga upplevelse. Enligt AV-test missade Microsoft 28 av 100 nolldagars hot. Microsofts telemetri visar emellertid att "99, 997 procent av våra kunder träffade med någon 0-dagars möte inte skadliga prover som testades i detta test." Observera att han inte talar om 99, 997 procent av alla kunder. Han säger att av dem som stött på ett nolldagars hot av något slag, bara 0, 003 procent stötte på ett som AV-testet faktiskt använde.

Men är detta nödvändigtvis en åtal mot testmetoden? Låt oss titta på det tvärtom. Nolldagar attacker inträffar ständigt, i stort antal. Om 0, 003 procent bara representerar en kund, har 300 000 kunder stött på en sådan attack. Naturligtvis kan antalet vara större. AV-testet valde ett slumpmässigt prov på 100 och hittade just 28 som Microsoft inte kan upptäcka. Det låter lite dåligt, eller hur?

Microsoft missade också 9 procent av de 216 000 filerna i samlingen "nyligen skadlig programvara", men, säger Blackbird, de missade proverna "representerar inte vad våra kunder möter. När vi uttryckligen letade efter dessa filer kunde vi inte hitta dem på vår kundernas maskiner."

Kundfokuserad prioritering

"I december 2012, " fortsatte Blackbird, "bearbetade vi 20 miljoner nya potentiellt skadliga filer, och med hjälp av telemetri och kundpåverkan för att prioritera dessa filer, lägger vi till skydd som blockerade 4 miljoner olika skadliga filer på nästan 3 miljoner datorer. Dessa 4 miljoner filer kunde ha påverkat kunden om vi inte hade prioriterat dem på lämpligt sätt. " Med andra ord, Microsoft presterade dåligt i detta test på grund av deras betoning på att prioritera filer som aktivt skulle påverka deras kunder.

Det är en intressant punkt, men andra leverantörer lyckas skydda sina användare och också tjäna toppresultat från AV-Test. Bitdefender, F-Secure och Trend Micro fick alla 6 av 6 möjliga poäng i skyddstestet.

Jag tillåter att AV-Test inte använde all skadlig programvara som faktiskt stött på Microsofts användare för deras test. Det skulle vara omöjligt. Antivirus-testare måste göra sitt bästa för att använda representativa prover. Men min egen praktiska testning med Microsoft Security Essentials, med hjälp av prover som är långt ifrån nolldagar, tyder på att det bara inte är lika effektivt som de bästa antivirusprodukterna.

För mer från Neil, följ honom på Twitter @neiljrubenking.