Aktualitet är en anledning. Jag gör mitt bästa för att granska varje ny säkerhetsprodukt så snart den släpps. Laboratorierna utför sina tester enligt ett schema som sällan matchar mina behov. Omfattande är en annan. Inte varje säkerhetsföretag deltar i varje labb; vissa deltar inte alls. För de som inte deltar är mina egna resultat allt jag måste gå på. Slutligen ger praktiska tester mig en känsla för hur produkten och företaget hanterar tuffa situationer, som skadlig programvara som förhindrar installation av skyddsprogramvaran.
För att få en rimlig jämförelse måste jag köra varje antivirusprodukt mot samma uppsättning prover. Ja, det betyder att jag testar aldrig med nolldagars skadlig programvara som aldrig har sett förut. Jag litar på laboratorierna, med deras större resurser, för att utföra den typen av tester. Att skapa en ny uppsättning infekterade testsystem tar lång tid, så jag har bara råd att göra det en gång om året. Med tanke på att mina prover inte är fjärranslutna skulle du tro att alla säkerhetsprodukter skulle hantera dem bra, men det är inte vad jag ser.
Samla in prover
De stora oberoende laboratorierna håller en klocka på Internet och fångar ständigt nya skadliga prover. Naturligtvis måste de utvärdera hundratals misstänkta för att identifiera de som verkligen är skadliga och bestämma vilken typ av skadligt beteende de uppvisar.
För min egen testning litar jag på hjälp från experter från många olika säkerhetsföretag. Jag ber varje grupp att tillhandahålla riktiga webbadresser för tio eller så "intressanta" hot. Naturligtvis vill inte alla företag delta, men jag får ett representativt prov. Att ta filerna från deras verkliga plats har två fördelar. Först behöver jag inte ta itu med e-post eller säkerhetsutbyte för att utplåna prover i transit. För det andra eliminerar det möjligheten att ett företag kan spela systemet genom att tillhandahålla ett engångshot som bara deras produkt kan upptäcka.
Malware-författare flyttar och förändrar ständigt sina programvarevapen, så jag laddar ner föreslagna prover omedelbart efter att jag fått URL: erna. Trots det har några av dem redan försvunnit när jag försöker ta tag i dem.
Släpp viruset!
Nästa steg, ett svårt, involverar att lansera varje föreslaget prov i en virtuell maskin under granskning av övervakningsprogramvara. Utan att ge bort för mycket detaljer använder jag ett verktyg som registrerar alla fil- och registerändringar, ett annat som upptäcker förändringar med hjälp av före och efter systemfoton och tredje som rapporterar om alla processer som körs. Jag kör också ett par rootkit-skannrar efter varje installation, eftersom i teorin en rootkit kan undvika upptäckt av andra bildskärmar.
Resultaten är ofta nedslående. Vissa prover upptäcker när de körs i en virtuell maskin och vägrar att installera. Andra vill ha ett specifikt operativsystem, eller en specifik landskod, innan de vidtar åtgärder. Ytterligare andra kan vänta på instruktion från ett kommando-och-kontrollcenter. Och några få skadar testsystemet så att det inte fungerar längre.
Av min senaste uppsättning förslag var 10 procent redan borta när jag försökte ladda ner dem, och ungefär hälften av resten var oacceptabla av en eller annan anledning. Från de som återstod valde jag tre dussin, och ville hitta en mängd olika typer av skadlig programvara som föreslogs av en blandning av olika företag.
Är det där?
Att välja skadliga prover är bara halva arbetet. Jag måste också gå igenom rader och rader av loggfiler som genererats under övervakningsprocessen. Övervakningsverktygen registrerar allt, inklusive ändringar som inte är relaterade till skadeprogrammet. Jag skrev ett par filtrerings- och analysprogram för att hjälpa mig att ta bort de specifika filerna och registerspåren som lagts till av malware-installationsprogrammet.
Efter att ha installerat tre sampel i tolv på annat sätt identiska virtuella maskiner, kör jag ett annat litet program som läser mina slutliga loggar och kontrollerar att de löpande program, filer och register spår som är associerade med proverna faktiskt finns. Ganska ofta måste jag justera mina loggar eftersom en polymorf trojan installeras med andra filnamn än den använd när jag körde min analys. I själva verket behövde över en tredjedel av min nuvarande samling justering för polymorfism.
Är det gått?
Med allt detta preparat slutfört är det enkelt att analysera en viss antivirusprodukts saneringsframgång. Jag installerar produkten på alla tolv system, kör en fullständig skanning och kör mitt kontrollverktyg för att bestämma vilka (om några) spår som finns kvar. En produkt som tar bort alla körbara spår och minst 80 procent av det icke-körbara skräpet får tio poäng. Om det tar bort minst 20 procent av skräpet är det värt nio poäng; mindre än 20 procent får åtta poäng. Om körbara filer förblir kvar får produkten fem poäng; som går ner till tre punkter om någon av filerna fortfarande körs. Och naturligtvis får en total miss sakna poäng alls.
Genomsnittet av poäng för var och en av tre dussin prov ger mig en ganska bra bild av hur väl produkten hanterar rengöring av skadade testsystem. Dessutom får jag praktisk erfarenhet av processen. Anta att två produkter får identiska poäng, men en installerad och skannad utan problem och den andra krävde arbetstimmar av teknisk support; den första är helt klart bättre.
Nu vet du vad som går in i diagrammet för borttagning av skadlig programvara som jag inkluderar i varje antivirusgranskning. Det är massor av arbete en gång om året, men det arbetet lönar sig i spader.
