Video: Imperva WAF & RASP (September 2024)
Säkerhetsföretaget Imperva släppte en dyster studie förra månaden som tyder på att dyra säkerhetssviter kanske inte är värda prislappen och att alla antivirusprogram lider av stora blinda fläckar. Doom-and-gloom-forskning som denna kräver alltid ett starkt saltkorn, men efter att ha pratat med många branschexperter kan en hel skakare vara nödvändig.
Imperva tittade på en mängd olika säkerhetslösningar från sådana leverantörer som Kaspersky, Avast, AVG, Microsoft och McAfee, för att nämna några. De fogade dessa vaktposter mot 82 slumpmässigt samlade prover med skadlig kod och undersökte hur framgångsrik säkerhetsprogramvaran var med att upptäcka den falska programvaran.
Från deras arbete hävdar Imperva att programvara mot skadlig programvara inte är snabbt eller lyhört nog för att bekämpa moderna hot. Säkerhetsprogramvara, skriver Imperva, är "mycket bättre på att upptäcka skadlig programvara som sprids snabbt i enorma mängder av identiska prover, medan varianter som är av begränsad distribution (som regeringen sponsrade attacker) oftast lämnar ett stort fönster av möjligheter."
De fann också inget samband mellan pengarna som användarna spenderar på virusskydd och säkerheten från programvara och föreslår att både enskilda kunder och företagskunder tittar på freeware-alternativ.
Oberoende laboratorier skjuter tillbaka
Studien har fått mycket uppmärksamhet, men när man pratar med säkerhetspersonal och några av de företag som nämnts i studien, fann Security Watch många som anser att studien är djupt bristfällig.
Nästan varje laboratorium eller säkerhetsföretag ansåg att Impervas provstorlek av skadlig kod var för liten för att stödja slutsatserna från studien. AV-Tests Andreas Marx berättade att hans företag får ungefär en miljon prover av ny, unik skadlig programvara per vecka. På liknande sätt berättade Peter Stelzhammer från AV-Comparatives att de får 142 000 nya skadliga filer varje dag.
För sin del skrev Imperva i studien att de avsiktligt använde en liten provtagning, men insisterar på att det visar på befintliga hot. "Vårt val av skadlig programvara var inte partisk utan togs slumpmässigt från webben, vilket speglade en potentiell metod för att konstruera en attack, " skriver Imperva.
NSS Labs forskningsdirektör Randy Abrams hade dock en tydligt annorlunda tolkning av Impervas metod. "Sökning efter filnamn kommer garanterat att missa sofistikerade attacker och de flesta andra skadliga program också", sa Abrams till Security Watch, och kommenterade de medel Imperva använde för att hitta skadlig programvara för studien. "Att fokusera på ryska forum fördröjer provsamlingen avsevärt. Det är uppenbart att ingen tanke gick för att få en verklig representativ provuppsättning."
Metodproblem
För att genomföra sin studie använde Imperva onlineverktyget VirusTotal för att utföra sina tester som nämnts som en kritisk svaghet i testet. "Problemet med det här testet är att det rippade hot, i form av körbara filer och sedan skannade dem med VirusTotal, " sa Simon Edwards från Dennis Labs. "VT är inte ett lämpligt system att använda vid utvärdering av produkter mot skadlig programvara till stor del för att skannrarna som används i VT inte stöds av ytterligare teknik, till exempel webbanspråkssystem."
Kaspersky Labs, vars produkt användes i studien, ifrågasatte också testmetodiken som Imperva använde i experimentet. "När du söker efter potentiellt farliga filer använder VirusTotal-tjänsten som används av Impervas specialister inte de fullständiga versionerna av antivirusprodukter, utan förlitar sig bara på en fristående skanner, " skrev Kaspersky Labs i ett uttalande som utfärdades till Security Watch.
"Detta tillvägagångssätt innebär att de flesta skyddsteknologier som finns tillgängliga i modern antivirusprogramvara helt enkelt ignoreras. Detta påverkar också proaktiv teknik som är utformad för att upptäcka nya okända hot."
Det är särskilt viktigt att en del av VirusTotals webbplats hindrar någon från att använda sin tjänst i antivirusanalys. Företagets "About" -avsnitt läser "vi är trötta på att upprepa att tjänsten inte var utformad som ett verktyg för att utföra jämförande analyser av antivirus De som använder VirusTotal för att utföra jämförande analyser av antivirus bör veta att de gör många implicita fel i sin metod."
Abrams tog också en djupt syn på att använda VirusTotal för att utföra studien och sa att verktyget kan användas för att sneda resultat mot de som testarna önskar. "Kompetenta, erfarna testare vet bättre än att använda VirusTotal för att bedöma skyddsförmågan för allt annat än en ren kommandoradsskanner, " sade han.
Imperva försvarade användningen av VirusTotal i sin studie. "Kärnan i rapporten är inte en jämförelse av antivirusprodukter, " skriver Imperva. "Snarare är syftet att mäta effektiviteten av en enda antiviruslösning såväl som kombinerade antiviruslösningar med en slumpmässig uppsättning malwareprover."
Medan experterna vi talade med var överens om att nolldagars sårbarheter och nyligen skapad skadlig programvara är ett problem, stöder ingen Impervas påståenden om timing eller låga upptäcktsnivåer. "De lägsta skyddsnivåerna under ett" verkligt "nolldagstest är 64-69 procent, " sa Marx till Security Watch. "I genomsnitt såg vi en skyddsgrad på 88-90 procent för alla testade produkter. Det betyder att 9 av 10 attacker kommer att blockeras framgångsrikt, endast 1 kommer faktiskt att orsaka en infektion."
En annan viktig slutsats av Imperva-rapporten var att programvara mot skadlig programvara är väl förstått av skapare av skadlig programvara, som justerar sina skapelser för att undergräva skyddssystemen. "Angripare förstår antivirusprodukter på djupet, blir bekanta med sina svaga punkter, identifierar antivirusproduktens starka poäng och förstår deras metoder för att hantera den höga förekomsten av ny virusutbredning på Internet", skriver Imperva i studien.
Studien fortsätter, "varianter som är av begränsad distribution (såsom statliga sponsrade attacker) lämnar vanligtvis ett stort fönster av möjligheter."
Stuxnet är inte efter dig
"De malware som är skadliga är riktigt tuffa, de är starka och intelligenta, " sade Stelzhammer. "En riktad attack är alltid farlig." Men han och andra betonade att riktade attacker där skadlig programvara är specifikt skräddarsydd mot anti-malware är lika sällsynt som det är farligt.
Den ansträngning och information som krävs för att skapa en bit malware för att besegra varje skyddsskikt är stor. "Ett sådant test kräver mycket tid och färdigheter, så de är inte billiga, " skrev Marx. "Men det är anledningen till att de kallas" riktade."
På denna punkt sade Abrams, "Ärligt talat, jag är verkligen inte bekymrad över att Stuxnet kommer in i min dator och attackerar en uranberikande centrifug vid mitt hem eller arbetsgivarkontor."
Nästan alla vi pratat med var överens om, åtminstone i princip, att gratis lösningar mot skadlig programvara skulle kunna ge användarna ett värdefullt skydd. De flesta var dock inte överens om att det var ett genomförbart alternativ för företagskunder. Stelzhammer påpekar att även om företagsanvändare ville använda gratis programvara, förhindrar licensavtalen ibland dem från att göra det.
"Det handlar inte allt om upptäckt, " sade Stelzhammer i en intervju med Security Watch. "Det handlar om administration, det handlar om att rulla ut till kunderna, det handlar om översikt. Du får inte detta med en gratis produkt."
En informerad användare hemma, fortsatte Stelzhammer, kunde använda lager av gratis programvara för att ge skydd som kan jämföras med betalad programvara men på bekostnad av enkelhet. "Han kan ordna ett välskyddat system med fri programvara, men den största fördelen med betalad programvara är bekvämligheten."
Edwards från Dennis Labs höll dock inte med om den gynnsamma jämförelsen med fri programvara. "Detta är i strid med alla våra resultat under många års testning, " sade Edwards. "Nästan utan undantag betalas de bästa produkterna." Dessa resultat liknar PC Magazines testning av programvara mot skadlig programvara.
Sedan studien publicerades förra månaden har Imperva skrivit ett blogginlägg som försvarar deras ståndpunkt. Imperva-direktören för säkerhetsstrategin Rob Rachwald sade till Security Watch och sa: "All kritik som fokuserar på vår metod saknar den verklighet vi ser idag." Han fortsatte med att säga att de flesta dataöverträdelser är ett resultat av intrång i skadlig kod, vilket företaget ser som ett bevis på att den nuvarande modellen för skadlig programvara helt enkelt inte fungerar.
Det kan finnas en viss inneboende sanning till Impervas slutsatser, men ingen av experterna vi pratade med tittade på studien positivt. "Jag varnar vanligtvis mot leverantörsponserade tester, men om detta test hade utförts av en oberoende organisation skulle jag varna mot organisationen själv, " skrev Abrams från NSS Labs. "Det är sällsynt att jag stöter på en så otroligt osofistikerad metod, felaktiga provkollektionskriterier och icke stöds slutsatser som är inslagna i en enda PDF."
För mer från Max, följ honom på Twitter @wmaxeddy.
