Video: Blåljus visar film på krypande tjuvar (September 2024)
Säg att du är en online-leverantör av begagnad elektronik. Ditt företag beror på att den killen som vill ha en begagnad iPad hittar dina fantastiska priser. Men du skulle inte vara så glad om en konkurrent fångar hela din prislista för att slå dina priser med tillräckligt. Hur kan du tillåta full åtkomst för användare samtidigt som du förhindrar skrotning av ditt innehåll i grossistledet? Tja, du kan använda ScrapeDefender, en molnbaserad antiskrapningslösning som släpptes idag. Jag pratade med Robert Kane, ScrapeDefenders vd, om hur produkten fungerar.
Vem behöver det?
"Vi arbetar redan med flygbolag, konsumentelektronik, finansmarknader och mer som betakunder", säger Kane. "Varje webbplats som publicerar mycket viktigt innehåll, prislistor, fastigheter… allt det innehållet kan massuppskördas." Kane påpekade att medan vissa skrapare använder enkla manus, andra försöker maskera sig som människor genom att fånga platsen långsammare eller använda flera bots. "Utmaningen för ägarna är hur jag släpper in världen och håller ut obehöriga bots", avslutade Kane.
Det är där ScrapeDefender kommer in. "Vår monitor är ett passivt verktyg, som Google Analytics, " sade Kane. "Du sätter in en rad med kod på din webbplats som låter oss övervaka den 24/7. Bara en rad med kod i webbsidhuvudet. Eftersom det är passivt har det ingen effekt på ditt produktionsnätverk."
Online-instrumentpanelen
En ScrapeDefender-kund kan se en översikt över all blockerad skrapningsaktivitet, men kan också gräva djupt för fullständig information. Kane demonstrerade systemet och visade mig vilken typ av aktiviteter som lyfter en röd flagga. Många är ganska enkla. En skrapas IP-adress tenderar att göra mycket fler webbplatsbesök och sidträffar än en människas, och tenderar att stanna på vilken sida som helst under en mycket kort tid. Även när de försöker gå långsamt och undvika upptäckt, är ett mönster synligt. Besök av människor kommer vanligtvis med ett referensfält; besök med skrapa bots gör aldrig. Alla dessa kriterier bidrar till en total riskpoäng; en tillräckligt hög poäng identifierar nästan alltid skrapningsaktivitet.
"Sofistikerade skrapare använder flera IP-adresser", konstaterade Kane. "Men vi använder ett digitalt fingeravtryck för att matcha relaterade sessioner även om IP: n är annorlunda. Det kan vara ett skript som körs på olika maskiner eller olika virtuella maskiner, men fingeravtrycket är detsamma.
Skrapa, ingen skrapning!
Jag frågade vad som händer när en skrapa har identifierats. "Vi gör det på två sätt, " sade Kane. "Vi erbjuder en säkerhetsmodul som kan göra blockeringen för dem, men vi får reda på att organisationerna vi arbetar med har en egen brandvägg på plats. Så vi har ett API som kan skicka misstänkta IP-adresser till deras brandvägg."
Så vad kostar det? Prissättningen börjar på $ 79 per månad och skalar upp till valfri webbplats. "Någon kontaktade oss förra veckan, " sa Kane, "om en webbplats med 25 miljoner sidvisningar… per dag ! Vi stöder det."
Företaget kommer att köra en skanning på cirka 150 skrotrelaterade sårbarheter för en ny kund, men vem som helst kan köra en gratis skanning som kontrollerar en delmängd av dessa. Besök bara webbplatsen ScrapeDefender och ange domännamnet. Om några minuter har du ditt svar.
Framtiden
"Enligt min åsikt, " sade Kane, "antiskrapning nu liknar den tidiga antivirusbranschen. Det är en enorm möjlighet. Alla måste ha det." Han påpekade att Snapchat kunde ha använt den här tekniken för att förhindra skörden av 4, 6 miljoner användares data och därmed avlägsna den senaste tidens ökning i Snapchat-skräppost.
"CAPTCHA är inte en lösning, " sade Kane. "Även om det fungerade, har de inte hört talas om CAPTCHA-gårdar? Den verkliga lösningen är att titta på beteende och blockera skrapningsbeteenden."
Det återstår att se om tillräckligt många webbplatsägare kommer att välja att betala för en anti-skrapning lösning. Jag ska titta på hur den här spelar ut.
