Hur vi samlar in skadlig programvara för hands-on antivirus testning

Här på PCMag, när vi granskar produkter, lägger vi dem genom wringer, utövar alla funktioner för att bekräfta att de fungerar och fungerar smidigt. För säkerhetskopieringsprodukter, till exempel, kontrollerar vi att de säkerhetskopierar filer korrekt och gör det enkelt att återställa från säkerhetskopiering. För videoredigeringsprodukter mäter vi faktorer som renderingstid. För virtuella privata nätverk, eller VPN: er, kör vi kontinuerligt spänningstest. Det är helt säkert och enkelt. Saker blir lite annorlunda när det gäller antivirusverktyg, för att verifiera att de fungerar betyder att vi måste utsätta dem för verklig skadlig programvara.

Anti-Malware Testing Standards Organization (AMTSO) erbjuder en samling av funktionskontrollsidor, så att du kan se till att ditt antivirusprogram fungerar för att eliminera skadlig programvara, blockera nedladdningar av drivrutiner, förhindra nätfiskeattacker och så vidare. Det finns dock ingen faktisk skadlig programvara inblandad. Deltagande antivirusföretag accepterar helt enkelt att konfigurera sina antivirus- och säkerhetssvitprodukter för att upptäcka AMTSOs simulerade attacker. Och inte alla säkerhetsföretag väljer att delta.

Antivirus-testlabor runt om i världen sätter säkerhetsverktyg genom utmattande tester och rapporterar regelbundet resultat. När laboratorieresultat finns tillgängligt för en produkt, ger vi dessa poäng allvarlig vikt i den produktens granskning. Om alla fyra laboratorier som vi följer ger högsta betyg på en produkt är det säkert ett utmärkt val.

Tyvärr deltar knappt en fjärdedel av företagen vi testar med alla fyra laboratorierna. Ytterligare ett kvartal arbetar med bara ett laboratorium, och helt 30 procent deltar inte med någon av de fyra. Det är uppenbart att praktiska tester är ett måste.

Även om laboratorierna rapporterade om alla produkter som vi täcker, skulle vi fortfarande göra praktiska tester. Skulle du lita på en bilrecension från en författare som aldrig ens tog en provkörning? Nej.

Se hur vi testar antivirus- och säkerhetsprogramvara

Gjutning av ett brett nät

Bara för att produkten rapporterar "Hej, jag har tagit ett skadligt prov!" betyder inte att det var framgångsrikt. I själva verket avslöjar våra tester ofta fall där antiviruset fångade en skadlig komponent men tillät en annan att köra. Vi måste analysera våra prover noggrant och notera de ändringar de gör i systemet så att vi kan bekräfta att antiviruset gjorde vad det hävdade.

De oberoende laboratorierna har forskargrupper dedikerade till att samla in och analysera de senaste proverna. PCMag har bara ett fåtal säkerhetsanalytiker som ansvarar för mycket mer än bara att samla in och analysera skadlig programvara. Vi kan bara spara tid på att analysera en ny uppsättning prover en gång om året. Eftersom proverna kommer att vara i bruk i månader, kan produkter som testas senare ha fördelen med mer tid att upptäcka samma prov i wile. För att undvika någon orättvis fördel börjar vi med prover som dykt upp flera månader tidigare. Vi använder bland annat de dagliga flödena från MRG-Effitas för att starta processen.

I en virtuell maskin, ansluten till internet men isolerad från det lokala nätverket, kör vi ett enkelt verktyg som tar listan över URL: er och försöker ladda ner motsvarande sampel. I många fall är naturligtvis webbadressen inte längre giltig. I den här fasen vill vi ha 400 till 500 prover, eftersom det finns en allvarlig utmattningshastighet när vi vinner ner provuppsättningen.

Det första vinnande passet eliminerar filer som är omöjligt små. Allt mindre än 100 byte är helt klart ett fragment från en nedladdning som inte slutfördes.

Därefter isolerar vi testsystemet från internet och startar helt enkelt varje prov. Vissa av proverna startas inte på grund av inkompatibilitet med Windows-versionen eller frånvaro av nödvändiga filer; bom, de är borta. Andra visar felmeddelanden som indikerar installationsfel eller något annat problem. Vi har lärt oss att hålla dem i mixen; ofta fortsätter en skadlig bakgrundsprocess att fungera efter den påstådda kraschen.

Dupes och upptäckter

Bara för att två filer har olika namn betyder det inte att de är olika. Vårt insamlingsschema visar vanligtvis många dubbletter. Lyckligtvis finns det ingen anledning att jämföra varje filpar för att se om de är desamma. Istället använder vi en hash-funktion, som är en slags enkelriktad kryptering. Hashfunktionen ger alltid samma resultat för samma ingång, men till och med en något annorlunda ingång ger väldigt olika resultat. Dessutom finns det inget sätt att gå från hash tillbaka till originalet. Två filer som har samma hash är samma.

Vi använder det värdefulla HashMyFiles-verktyget från NirSoft för detta ändamål. Den identifierar automatiskt filer med samma hash, vilket gör det enkelt att bli av med dubbletter.

En annan användning för Hashes

VirusTotal har sitt ursprung som en webbplats för forskare för att dela anteckningar om skadlig programvara. För närvarande ett dotterbolag till Alphabet (Googles moderbolag) fortsätter det att fungera som ett clearingcenter.

Vem som helst kan skicka en fil till VirusTotal för analys. Webbplatsen kör exemplet förbi antivirusmotorer från mer än 60 säkerhetsföretag och rapporterar hur många som flaggade provet som skadlig programvara. Det sparar också filens hash, så den behöver inte upprepa analysen om samma fil dyker upp igen. Bekvämt har HashMyFiles ett alternativ med ett klick för att skicka en fils hash till VirusTotal. Vi kör igenom proverna som har nått det hittills och noterar vad VirusTotal säger om var och en.

De mest intressanta är naturligtvis de som VirusTotal aldrig har sett. Omvänt, om 60 av 60 motorer ger en fil en ren hälsokostnad, är chansen god att det inte är skadlig programvara. Att använda detektionssiffrorna hjälper oss att placera proverna i ordning från mest troligt till minst troligt.

Observera att VirusTotal själv säger tydligt att ingen ska använda den istället för en verklig antivirusmotor. Trots det är det en stor hjälp att identifiera de bästa utsikterna för vår insamling av skadlig programvara.

Kör och titta

Vid denna punkt börjar den praktiska analysen. Vi använder ett internt program (smart namnet RunAndWatch) för att köra och titta på varje prov. Ett PCMag-verktyg som heter InCtrl (förkortning för installationsstyrning) visar stillbildsregistret och filsystemet före och efter skadlig programstart och rapporterar vad som förändrats. Att veta att något förändrats bevisar naturligtvis inte att skadeprogrammet har ändrat det.

Microsofts ProcMon Process Monitor övervakar all aktivitet i realtid, loggar register- och filsystemåtgärder (bland annat) genom varje process. Även med våra filter är loggarna enorma. Men de hjälper oss att binda de ändringar som rapporteras av InCtrl5 till de processer som gjorde dessa förändringar.

Skölj och upprepa

Att koka ner de enorma stockarna från föregående steg till något användbart tar tid. Med hjälp av ett annat internt program eliminerar vi dubbletter, samlar in poster som verkar vara intressanta och raderar data som helt klart inte har samband med skadlig kodprov. Detta är en konst såväl som en vetenskap; det tar mycket erfarenhet för att snabbt känna igen icke-viktiga artiklar och fånga inlägg av betydelse.

Ibland efter denna filtreringsprocess finns det bara ingenting kvar, vilket innebär att vad som helst provet gjorde, vårt enkla analyssystem missade det. Om ett prov passerar detta steg går det igen ett nytt filter. Den här tittar närmare på dubbletter och börjar sätta loggdata i ett format som används av det slutliga verktyget, det som kontrollerar om spår av skadlig programvara under testning.

Sista minuten-justeringar

Kulminationen med den här processen är vårt NuSpyCheck-verktyg (kallade föråldrar sedan när spionprogram var mer utbredd). Med alla prover behandlade kör vi NuSpyCheck på ett rent testsystem. Ganska ofta kommer vi att upptäcka att något av det vi trodde var spår av skadlig programvara visar sig redan finns i systemet. I så fall vänder vi NuSpyCheck till redigeringsläge och tar bort dem.

Det finns ytterligare en slog, och det är en viktig. Återställer den virtuella maskinen till en ren ögonblicksbild mellan testen, vi startar varje prov, låter det köras till slut och kontrollerar systemet med NuSpyCheck. Här återigen finns det alltid några spår som tycktes dyka upp under datafångst, men dyker inte upp vid testtid, kanske för att de var tillfälliga. Dessutom använder många malwareprover slumpmässigt genererade namn för filer och mappar, olika varje gång. För dessa polymorfa spår lägger vi till en anteckning som beskriver mönstret, till exempel "körbart namn med åtta siffror."

Ytterligare några prover lämnar fältet i den här sista fasen, för med all rakning av datapunkter fanns inget kvar att mäta. De som återstår blir nästa uppsättning malware-prover. Från de ursprungliga 400 till 500 URL: erna är vi vanligtvis cirka 30.

Undantaget från Ransomware

Ransomware för systemfack som den ökända Petya krypterar din hårddisk, vilket gör datorn oanvändbar tills du betalar lösen. De vanligaste filkrypteringens ransomware-typer krypterar dina filer i bakgrunden. När de har gjort den smutsiga gärningen, dyker de upp en stor efterfrågan på lösen. Vi behöver inte ett verktyg för att upptäcka att antiviruset missade ett av dessa; malware skadar sig själv.

Många säkerhetsprodukter lägger till extra lager av ransomware-skydd, utöver de grundläggande antivirusmotorerna. Det känns logiskt. Om ditt antivirus missar en trojansk attack kommer den förmodligen att rensas upp om några dagar efter att den har fått nya signaturer. Men om det saknar ransomware, har du turen. När det är möjligt avaktiverar vi de grundläggande antiviruskomponenterna och testar om ransomware-skyddssystemet bara kan skydda dina filer och datorer.

Vad dessa prover inte är

De stora antivirus-testlaboratorierna kan använda många tusentals filer för statisk filigenkänningstest och många hundratals för dynamisk testning (vilket innebär att de startar proverna och ser vad antiviruset gör). Vi försöker inte för det. Våra 30 udda prover låter oss få en känsla för hur antivirushandtagen attackerar, och när vi inte har några resultat från laboratorierna, har vi något att falla tillbaka på.

Vi försöker säkerställa en blandning av många typer av skadlig programvara, inklusive ransomware, trojaner, virus och mer. Vi inkluderar också några potentiellt oönskade applikationer (PUAs), och se till att aktivera PUA-detektering i produkten som testas, om det behövs.

En del skadliga program upptäcker när de kör i en virtuell maskin och avstår från otäck aktivitet. Det är okej; vi använder bara inte dessa. Vissa väntar timmar eller dagar innan de aktiveras. Återigen använder vi bara inte dessa.

Vi hoppas att denna titt bakom kulisserna vid vår praktiska testning av skadlig programvara har gett dig lite inblick i hur långt vi kommer att uppleva antivirusskydd i handling. Som nämnts har vi inte ett hängivet team av antivirusforskare som de stora laboratorierna gör, men vi tar dig in-the-skytten rapporterar att du inte hittar någon annanstans.