Hur vi testar antivirus- och säkerhetsprogramvara

Varje antivirus- eller säkerhetssvitprodukt lovar att skydda dig mot en mängd säkerhetsrisker och irritationer. Men uppfyller de faktiskt sina löften? När vi utvärderar dessa produkter för granskning sätter vi deras påstående på många olika sätt. Varje granskning rapporterar resultaten från våra tester såväl som praktisk erfarenhet av produkten. Den här artikeln kommer att gräva djupare och förklara hur dessa test fungerar.

Naturligtvis är inte varje test lämplig för varje produkt. Många antivirusverktyg inkluderar skydd mot nätfiske, men vissa gör det inte. De flesta sviter inkluderar skräppostfiltrering, men vissa utelämnar den här funktionen, och vissa antivirusprodukter lägger till den som en bonus. Oavsett vilka funktioner en viss produkt erbjuder, sätter vi dem på provet.

Testa antivirus i realtid

Varje full-powered antivirusverktyg innehåller en on-demand skanner för att söka och förstöra befintliga skadliga infektioner och en realtidsmonitor för att avvärja nya attacker. Tidigare har vi faktiskt underhållit en samling malware-infekterade virtuella maskiner för att testa varje produkts förmåga att ta bort befintlig skadlig programvara. Framsteg i kodning av skadlig programvara gör testning med live malware för farlig, men vi kan fortfarande utöva varje produkts realtidsskydd.

Varje år tidigt på våren, när de flesta säkerhetsleverantörer har slutfört sin årliga uppdateringscykel, samlar vi in ​​en ny samling av skadliga prover för detta test. Vi börjar med ett flöde av de senaste webbadresserna med skadlig programvara, laddar ner hundratals prover och tar dem ner till ett hanterbart antal.

Vi analyserar varje prov med olika handkodade verktyg. Vissa av proverna upptäcker när de körs i en virtuell maskin och avstår från skadlig aktivitet. vi använder helt enkelt inte dessa. Vi letar efter en mängd olika typer och efter prover som gör ändringar i filsystemet och registret. Med lite ansträngning delar vi upp samlingen till ett hanterbart antal och registrerar exakt vilka systemförändringar varje prov gör.

För att testa en produkts förmåga att blockera skadlig programvara laddar vi ner en mapp med prover från molnlagring. Realtidsskydd för vissa produkter startar omedelbart och utplånar känd skadlig programvara. Om det är nödvändigt för att utlösa realtidsskydd, klickar vi på varje prov eller kopierar samlingen till en ny mapp. Vi noterar hur många prover antiviruset eliminerar i sikte.

Därefter lanserar vi varje återstående prov och noterar om antiviruset upptäckte det. Vi registrerar den totala procentuella upptäckten, oavsett när upptäckten inträffade.

Detektering av en skadlig attack är inte tillräcklig. antiviruset måste faktiskt förhindra attacken. Ett litet internt program kontrollerar systemet för att avgöra om skadlig programvara lyckades göra några registerändringar eller installera någon av dess filer. När det gäller körbara filer kontrollerar den också om någon av dessa processer faktiskt körs. Och så snart mätningen är klar stänger vi av den virtuella maskinen.

Om en produkt förhindrar installation av alla körbara spår med ett skadligt program, tjänar den 8, 9 eller 10 poäng, beroende på hur väl den förhindrade röran i systemet med icke-körbara spår. Att upptäcka skadlig programvara men inte förhindra installation av körbara komponenter får halvpoäng, 5 poäng. Slutligen, om antiviruss försök att skydda en eller flera skadliga skadeprocesser faktiskt körs, är det värt bara tre poäng. Genomsnittet för alla dessa poäng blir produktens slutliga poäng för skadlig programvara.

Testa skadlig URL-blockering

Den bästa tiden att förstöra skadlig programvara är innan den någonsin når din dator. Många antivirusprodukter integreras med dina webbläsare och styr dem bort från kända webbhotell-webbadresser. Om skyddet inte sparkar in på den nivån finns det alltid en möjlighet att utplåna skadlig nyttolast under eller omedelbart efter nedladdningen.

Medan oue basic malware-blocking test använder samma uppsättning prover under en säsong, är de webbhotell-webbadresser som vi använder för att testa webbaserat skydd olika varje gång. Vi får ett flöde av de allra senaste skadliga webbadresserna från Londonbaserade MRG-Effitas och använder vanligtvis webbadresser som inte är mer än en dag gamla.

Med hjälp av ett litet specialbyggt verktyg går vi ner i listan och startar varje URL i tur och ordning. Vi tar bort alla som faktiskt inte pekar på en nedladdning av skadlig programvara och alla som returnerar felmeddelanden. För övrigt noterar vi om antiviruset förhindrar åtkomst till URL: en, torkar nedladdningen eller gör ingenting. Efter inspelning av resultatet hoppar verktyget till nästa URL i listan som inte är på samma domän. Vi hoppar över alla filer som är större än 5 MB och hoppar också över filer som redan har dykt upp i samma test. Vi håller på det tills vi har samlat data för minst 100 verifierade webbhotell-webbhotell.

Poängen i detta test är helt enkelt procentandelen av webbadresser som antiviruset förhindrade nedladdning av skadlig programvara, antingen genom att avbryta åtkomst till URL: en helt eller genom att utplåna den laddade filen. Poäng varierar mycket, men de allra bästa säkerhetsverktygen klarar 90 procent eller mer.

Testa phishing-upptäckt

Varför ta till försöken datastjällande trojaner, när du bara kan lura människor att ge upp sina lösenord? Det är tankesättet på malefaktorer som skapar och hanterar nätfiskewebbplatser. Dessa bedrägliga webbplatser efterliknar banker och andra känsliga webbplatser. Om du anger dina inloggningsuppgifter har du precis gett bort nycklarna till kungariket. Och phishing är plattformsoberoende; det fungerar på alla operativsystem som stöder surfning på webben.

Dessa falska webbplatser blir vanligtvis svartlistade inte länge efter skapandet, så för testning använder vi bara de allra senaste phishing-webbadresserna. Vi samlar dessa från phishing-inriktade webbplatser och gynnar de som har rapporterats som bedrägerier men ännu inte verifierats. Detta tvingar säkerhetsprogram att använda realtidsanalys snarare än att förlita sig på enkla sinnade svartlistor.

Vi använder fyra virtuella maskiner för det här testet, en av de produkter som testas, och en var och en använder phishing-skyddet inbyggt i Chrome, Firefox och Microsoft Edge. Ett litet verktygsprogram startar varje URL i de fyra webbläsarna. Om någon av dem returnerar ett felmeddelande tar vi bort den webbadressen. Om den resulterande sidan inte aktivt försöker att imitera en annan webbplats eller inte försöker fånga in användarnamn och lösenordsdata kasserar vi den. För resten registrerar vi om varje produkt upptäckte bedrägeriet eller inte.

I många fall kan produkten som testas inte ens göra det lika bra som det inbyggda skyddet i en eller flera webbläsare.

Testa skräppostfiltrering

Idag har e-postkonton för de flesta konsumenter skräppost från skräppost från e-postleverantören eller av ett verktyg som körs på e-postservern. Faktum är att behovet av skräppostfiltrering minskar stadigt. Österrikiska testlaboratoriet AV-Comparatives testade antispamfunktionalitet för några år sedan och fann att ens Microsoft Outlook ensam blockerade nästan 90 procent av skräppost, och de flesta sviter gjorde bättre, några av dem mycket bättre. Laboratoriet lovar inte ens att fortsätta testa konsumentläget skräppostfilter och noterar att "flera leverantörer funderar på att ta bort antispamfunktionen från sina konsumentersäkerhetsprodukter."

Tidigare körde vi våra egna antispam-test med ett verkligt konto som får både skräppost och giltig post. Processen att ladda ner tusentals meddelanden och manuellt analysera innehållet i Inkorgen och skräppostmappen tog mer tid och ansträngning än något av de andra praktiska testerna. Att spendera maximal ansträngning på en funktion av minimal betydelse är inte längre vettigt.

Det finns fortfarande viktiga punkter att rapportera om svitens skräppostfilter. Vilka e-postklienter stöder den? Kan du använda den med en klient som inte stöds? Är det begränsat till POP3-e-postkonton, eller hanterar den också IMAP, Exchange eller till och med webbaserad e-post? Framöver kommer vi noga att överväga varje svits antispamfunktioner, men vi kommer inte längre att ladda ner och analysera tusentals e-postmeddelanden.

Testa Security Suite-prestanda

När din säkerhetssvit upptäcker upptäckta av attacker mot skadlig programvara, försvarar dig mot nätintrång, förhindrar din webbläsare från att besöka farliga webbplatser, och så vidare, använder du helt klart några av systemets CPU och andra resurser för att göra sitt jobb. För några år sedan fick säkerhetssviter rykte för att suga upp så mycket av dina systemresurser att din egen datoranvändning påverkades. Det är mycket bättre idag, men vi kör fortfarande några enkla tester för att få en inblick i varje svitts effekt på systemprestanda.

Säkerhetsprogramvara måste laddas så tidigt i startprocessen som möjligt, så att den inte hittar skadlig programvara som redan har kontroll. Men användare vill inte vänta längre än nödvändigt för att börja använda Windows efter en omstart. Vårt testskript körs omedelbart efter start och börjar be Windows att rapportera CPU-användningsnivån en gång per sekund. Efter 10 sekunder i rad med CPU-användning högst 5 procent förklarar det att systemet är klart för användning. Att subtrahera starten av startprocessen (som rapporterats av Windows) vet vi hur lång tid startprocessen tog. Vi kör många upprepningar av detta test och jämför medelvärdet med det för många upprepningar när ingen svit var närvarande.

Sanningen är att du antagligen startar om inte mer än en gång per dag. En säkerhetssvit som bromsade vardagliga filoperationer kan ha en mer betydande inverkan på dina aktiviteter. För att kontrollera för den typen av avmattning, tid vi ett skript som flyttar och kopierar en stor samling av stora till stora filer mellan enheter. Genom att genomsätta flera körningar utan svit och flera körningar med säkerhetssviten aktiv, kan vi bestämma hur mycket sviten bromsade dessa filaktiviteter. Ett liknande skript mäter svitens effekt på ett skript som dragkedja och packar upp samma filsamling.

Den genomsnittliga avmattningen i dessa tre tester av sviterna med den lättaste beröringen kan vara mindre än 1 procent. I den andra änden av spektrumet är mycket få sviter i genomsnitt 25 procent, eller till och med mer. Du kanske faktiskt märker effekterna av de mer tunghandiga sviterna.

Testa brandväggsskydd

Det är inte så lätt att kvantifiera en brandväggs framgång, eftersom olika leverantörer har olika idéer om vad en brandvägg ska göra. Trots det finns det ett antal tester vi kan tillämpa på de flesta av dem.

Vanligtvis har en brandvägg två jobb som skyddar datorn från attacker utanför och säkerställer att program inte missbrukar nätverksanslutningen. För att testa skydd mot attack använder vi en fysisk dator som ansluter via routerns DMZ-port. Detta ger effekten av en dator som är direkt ansluten till Internet. Det är viktigt för testning, eftersom en dator som är ansluten via en router är effektivt osynlig för hela Internet. Vi träffade testsystemet med portskanningar och andra webbaserade tester. I de flesta fall finner vi att brandväggen döljer testsystemet helt från dessa attacker och sätter alla portar i stealth-läge.

Den inbyggda Windows-brandväggen hanterar stealthing alla portar, så detta test är bara en baslinje. Men även här finns det olika åsikter. Kasperskys designers ser inget värde i stealthing-portar så länge portarna är stängda och brandväggen aktivt förhindrar attack.

Programstyrning i de tidigaste personliga brandväggarna var extremt praktisk. Varje gång ett okänt program försökte få åtkomst till nätverket visade brandväggen en fråga som frågade användaren om han vill tillåta åtkomst eller inte. Detta tillvägagångssätt är inte särskilt effektivt eftersom användaren i allmänhet inte har någon aning om vilken åtgärd som är korrekt. De flesta kommer bara att tillåta allt. Andra klickar på Block varje gång tills de bryter något viktigt program; efter det tillåter de allt. Vi utför en praktisk kontroll av denna funktionalitet med hjälp av ett litet webbläsarverktyg kodat i timme, ett som alltid kommer att betecknas som ett okänt program.

Vissa skadliga program försöker komma runt den här typen av enkel programkontroll genom att manipulera eller maskera som pålitliga program. När vi stöter på en old-school brandvägg testar vi dess färdigheter med hjälp av verktyg som kallas läcktest. Dessa program använder samma teknik för att undvika programkontroll, men utan skadlig nyttolast. Vi hittar färre och färre läcktest som fortfarande fungerar under moderna Windows-versioner.

I den andra änden av spektrumet konfigurerar de bästa brandväggarna automatiskt nätverksbehörigheter för kända bra program, eliminerar kända dåliga program och ökar övervakningen av okända. Om ett okänt program försöker en misstänkt anslutning, startar brandväggen vid den punkten för att stoppa den.

Programvara är inte och kan inte vara perfekt, så skurkarna arbetar hårt för att hitta säkerhetshål i populära operativsystem, webbläsare och applikationer. De planerar exploater för att kompromissa systemsäkerhet med alla sårbarheter de hittar. Naturligtvis utfärdar tillverkaren av den utnyttjade produkten en säkerhetsuppdatering så snart som möjligt, men tills du faktiskt använder den korrigeringen är du sårbar.

De smartaste brandväggarna avlyssnar dessa utnyttjande attacker på nätverksnivå, så att de inte ens når din dator. Även för dem som inte skannar på nätverksnivå, torkar antiviruskomponenten i många fall ut exploaterarens skadliga nyttolast. Vi använder CORE Impact penetrationsverktyget för att träffa varje testsystem med cirka 30 senaste exploater och registrerar hur väl säkerhetsprodukten avskräckte dem.

Slutligen genomför vi en sanitetskontroll för att se om en kodare för skadlig programvara lätt kan inaktivera säkerhetsskyddet. Vi letar efter en av / på-brytare i registret och testar om den kan användas för att stänga av skyddet (även om det har gått år sedan vi hittade en produkt sårbar för denna attack). Vi försöker avsluta säkerhetsprocesser med Task Manager. Och vi kontrollerar om det är möjligt att stoppa eller inaktivera produktens viktiga Windows-tjänster.

Testa föräldrakontroll

Föräldrakontroll och övervakning täcker en mängd olika program och funktioner. Det typiska föräldrakontrollverktyget håller barnen borta från olämpliga webbplatser, övervakar deras internetanvändning och låter föräldrar bestämma när och för hur länge barnen får använda Internet varje dag. Andra funktioner sträcker sig från begränsning av chattkontakter till patrullering av Facebook-inlägg för riskabla ämnen.

Vi utför alltid en sanitetskontroll för att se till att innehållsfiltret verkligen fungerar. Som det visar sig är det snabbt att hitta porrsidor för testning. Nästan vilken URL som helst som består av en storlek adjektiv och namnet på en normalt täckt kroppsdel ​​är redan en porrsida. Mycket få produkter misslyckas med detta test.

Vi använder ett litet internt webbläsarverktyg för att verifiera att innehållsfiltrering är oberoende av webbläsare. Vi utfärdar ett nätverkskommando med tre ord (nej, vi publicerar det inte här) som inaktiverar några enkla innehållsfilter. Och vi kontrollerar om vi kan undvika filtret genom att använda en säker anonymiserande proxywebbplats.

Att införa tidsbegränsningar för barnens dator- eller internetanvändning är bara effektivt om barnen inte kan störa tidtagningen. Vi verifierar att tidsplaneringsfunktionen fungerar och försök sedan undvika den genom att återställa systemdatum och tid. De bästa produkterna litar inte på systemklockan för deras datum och tid.

Efter det handlar det helt enkelt om att testa de funktioner som programmet påstår sig ha. Om det lovar möjligheten att blockera användning av specifika program, engagerar vi den funktionen och försöker bryta den genom att flytta, kopiera eller byta namn på programmet. Om det står att det raderar dåliga ord från e-post eller snabbmeddelanden lägger vi till ett slumpmässigt ord i blocklistan och verifierar att det inte skickas. Om den hävdar att det kan begränsa kontakter för snabbmeddelanden, skapar vi en konversation mellan två av våra konton och förbjuder sedan en av dem. Oavsett kontroll- eller övervakningskraft som programmet lovar, gör vi vårt bästa för att testa det.

Tolkning av antiviruslaboratorietester

Vi har inte resurser för att utföra den typen av uttömmande antivirusprov som utförs av oberoende laboratorier runt om i världen, så vi ägnar stor uppmärksamhet åt deras resultat. Vi följer två labb som utfärdar certifieringar och fyra laboratorier som släpper poängresultat regelbundet och använder sina resultat för att informera våra recensioner.

ICSA Labs och West Coast Labs erbjuder ett brett utbud av säkerhetscertifieringstester. Vi följer specifikt deras certifieringar för upptäckt av skadlig kod och för borttagning av skadlig programvara. Säkerhetsleverantörer betalar för att få testat sina produkter, och processen inkluderar hjälp från laboratorierna för att åtgärda eventuella problem som förhindrar certifiering. Vad vi tittar på här är det faktum att labbet hittade produkten tillräckligt betydande för att testa, och leverantören var villig att betala för testning.

Baserat i Magdeburg, Tyskland, sätter AV-Test Institute kontinuerligt antivirusprogram genom en mängd olika tester. Den vi fokuserar på är ett tredelat test som tilldelar upp till 6 poäng i var och en av tre kategorier: Skydd, prestanda och användbarhet. För att nå certifiering måste en produkt tjäna totalt 10 poäng utan nollor. De allra bästa produkterna tar hem perfekta 18 poäng i detta test.

För att testa skyddet utsätter forskarna varje produkt för AV-tests referensuppsättning på över 100 000 prover och för flera tusen extremt utbredda prover. Produkter får kredit för att förhindra angrepp i något skede, vare sig det blockerar åtkomst till webbhotell-webbhotell-URL, upptäcker skadlig programvara med hjälp av signaturer eller förhindrar skadlig programvara från att köras. De bästa produkterna når ofta 100 procent framgång i detta test.

Prestanda är viktigt - om antiviruset märkbart sätter på systemets prestanda kommer vissa användare att stänga av det. AV-Tests forskare mäter skillnaden i tid som krävs för att utföra 13 vanliga systemåtgärder med och utan säkerhetsprodukten närvarande. Bland dessa åtgärder är nedladdning av filer från Internet, kopiering av filer både lokalt och över hela nätverket och körning av vanliga program. Genom att använda flera körningar kan de identifiera hur mycket påverkan varje produkt har.

Användbarhetstestet är inte nödvändigtvis vad du skulle tro. Det har inget att göra med användarvänlighet eller design av användargränssnitt. Snarare mäter den användbarhetsproblemen som uppstår när ett antivirusprogram felaktigt flaggar ett legitimt program eller webbplats som skadlig eller misstänkt. Forskare installerar och driver aktivt en ständigt föränderlig samling av populära program, och noterar anteckningarnas konstiga beteende. Ett separat test som bara skannar kontrollerar att antiviruset inte identifierar någon av över 600 000 legitima filer som skadlig programvara.

Vi samlar in resultat från fyra (tidigare fem) av de många tester som regelbundet släppts av AV-Comparatives, som är baserat i Österrike och arbetar nära med University of Innsbruck. Säkerhetsverktyg som klarar ett test får standardcertifiering; de som misslyckas betecknas som endast testade. Om ett program går utöver det nödvändiga minimum, kan det få Advanced eller Advanced + -certifiering.

AV-Comparatives fildetekteringstest är ett enkelt, statiskt test som kontrollerar varje antivirus mot cirka 100 000 skadliga prover med ett falskt positivt test för att säkerställa noggrannhet. Och prestandatestet, precis som AV-Test, mäter alla effekter på systemets prestanda. Tidigare inkluderade vi det heuristiska / beteendestestet; detta test har tappats.

Vi anser att AV-Comparatives dynamiska helproduktstest är det viktigaste. Detta test syftar till att simulera så nära som möjligt en faktisk användares upplevelse, så att alla komponenter i säkerhetsprodukten kan vidta åtgärder mot skadlig programvara. Slutligen börjar avhjälpningstestet med en samling skadlig programvara som alla testade produkter är kända för att upptäcka och utmanar säkerhetsprodukterna att återställa ett infekterat system, helt ta bort skadlig programvara.

Där AV-test och AV-jämförelser vanligtvis inkluderar 20 till 24 produkter i tester, rapporterar SE Labs vanligtvis inte mer än 10. Det är till stor del på grund av arten av detta labbtest. Forskare fångar verkliga webbhotell med skadlig programvara och använder en återuppspelningsteknik så att varje produkt möter exakt samma drive-by-nedladdning eller annan webbaserad attack. Det är extremt realistiskt, men svårt.

Ett program som helt blockerar en av dessa attacker tjänar tre poäng. Om det vidtog åtgärder efter att attacken inleddes men lyckades ta bort alla körbara spår, är det värt två poäng. Och om den bara avslutade attacken, utan full sanering, får den fortfarande en poäng. I den olyckliga händelsen att skadlig programvara körs gratis på testsystemet förlorar produkten under testning fem poäng. På grund av detta har vissa produkter faktiskt fått under noll.

I ett separat test utvärderar forskarna hur väl varje produkt avstår från att felaktigt identifiera giltig programvara som skadlig, viktar resultaten baserat på varje giltigt programs utbredning och på hur stor påverkan den falska positiva identifieringen skulle ha. De kombinerar resultaten från dessa två tester och certifierar produkter på en av fem nivåer: AAA, AA, A, B och C.

• De bästa säkerhetssviterna för 2019 De bästa säkerhetssviterna för 2019
• Det bästa antivirusskyddet för 2019 Det bästa antivirusskyddet för 2019
• Det bästa gratis antivirusskyddet för 2019 Det bästa gratis antivirusskyddet för 2019

Under en tid har vi använt ett flöde av prover som levererats av MRG-Effitas i vårt praktiska skadliga URL-blockeringstest. Detta laboratorium släpper också kvartalsresultat för två specifika test som vi följer. 360-utvärderings- och certifieringstestet simulerar verklig skydd mot nuvarande skadlig programvara, liknande det dynamiska verkliga testet som används av AV-Comparatives. En produkt som fullständigt förhindrar angrepp av provuppsättningen får nivå 1-certifiering. Nivå 2-certifiering innebär att åtminstone några av de skadliga proverna planterade filer och andra spår i testsystemet, men dessa spår eliminerades vid nästa omstart. Onlinebankcertifieringen testar mycket specifikt för skydd mot finansiell skadlig programvara och botnät.

Det är inte lätt att komma med en övergripande sammanfattning av labbresultaten, eftersom laboratorierna inte alla testar samma samling program. Vi har utformat ett system som normaliserar varje labbs poäng till ett värde från 0 till 10. Vårt sammanlagda labbresultatdiagram rapporterar genomsnittet av dessa poäng, antalet laboratorietester och antalet mottagna certifieringar. Om bara ett laboratorium inkluderar en produkt i testning anser vi att det är otillräcklig information för en sammanlagd poäng.

Du kanske har noterat att denna lista med testmetoder inte täcker virtuella privata nätverk eller VPN. Testa ett VPN skiljer sig mycket från att testa någon annan del av en säkerhetssvit, så vi har levererat en separat förklaring för hur vi testar VPN-tjänster.