Tekniken bakom nsa's xkeyscore

Om du fokuserar ett ögonblick på tekniken bakom XKeyscore - det påstådda regeringsprogrammet som används av NSA för att motverka terrorister - snarare än politiken, är det faktiskt ganska förbluffande. Vissa rapporter uppskattar att XKeyscore-programmet kan hantera så många som 41 miljarder poster.

I hjärtat av XKeyscore finns två stora teknologitrender: Big Data och Data Analytics. Och det är inte bara regeringen som ivrigt omfamnar denna typ av teknik. Information är den hetaste varan som finns. Här är en titt på vad som kan finnas under huven så långt som tekniska specifikationer med ett program som XKeyscore, baserat på vilka företag som samlar in och analyserar samma stora datauppsättningar och kommentarer från leverantörer som hjälper dessa företag att flytta dessa data.

Fantastisk teknologi

Big Data hänvisar till att samla in datauppsättningar så stora att dedicerad teknik behövs för att sikta igenom, analysera och rapportera mot den informationen. Data Analytics är i korthet processen att dela upp informationen i fina fack så att den kan granskas ytterligare.

Var används den stora datainsamlingen och analysen till stor del? Inom den privata industrin. Melissa Kolodziej, chef för marknadskommunikation på Attunity, ett lösningsföretag som hjälper företag att få tillgång till och flytta stora mängder data, sa att inom detaljhandeln kommer företag att ta och "sätta ihop enorma mängder data" för att analysera kundens vanor för detaljer så specifika som att se "om den här personen just köpte schampo så att de sedan kan erbjuda kunden en relaterad kupong på sin mobiltelefon medan han fortfarande är i butiken." Kolodziej sade att företag vill ha och kan ha "nära realtidsfunktioner" när det gäller att analysera dessa stora datauppsättningar och önskar att hämta information så snabbt som möjligt.

Övervägande tekniska specifikationer

Det finns inga riktiga detaljer tillgängliga om den specifika tekniken som kan användas med XKeyscore, förutom att det involverar 700 Linux-servrar som ligger globalt. Men det är möjligt att anta vilken typ av hårdvara som krävs för att samla och hantera dessa stora datamängder. Det finns bara ett fåtal leverantörer som tillverkar de typer av maskiner som kan hantera en så häpnadsväckande processorkraft: Oracle, HP, IBM och EMC är de som kommer mest i minnet.

Naturligtvis är det inte bara märket datacenterjärn som gör det möjligt att samla in och analysera stora mängder data.

"Teknologiska innovationer inom hårdvara (minneskapacitet & hastighet, multicore, multiCPUs) och programvara (kolumnerade databaser, grupperade filsystem och så vidare) har gjort det möjligt att" lagra "nästan obegränsade datamängder, " säger Byron Banks, vice ordförande VD för databas & teknik på SAP.

Parallell bearbetning, framsteg i rå datorkraft och enorm lagringskapacitet till relativt låga kostnader har alla gjort denna typ av data mining lättare för myndigheter, företag och till och med medelstora företag. Lawrence Schwartz, vice vd för marknadsföring, Attunity, sade att dagens lager, "i allmänhet är byggda för att stödja terabyte av data."

Det faktum att det finns så många datakällor, allt så sammanflätade, har också bidragit till att analysera och samla in stora datamängder så lockande för industrin. "Jag tror att människor alltid ville ta reda på vad de skulle göra med data. Under det senaste decenniet finns det så många informationskällor, det finns så mycket mer nu som är sammankopplade. Vi hade inte år sedan… så mycket datorkraft, att det nu finns möjligheter, "sa Schwartz.

Långvariga utmaningar och uppenbar kontrovers

Medan teknologin fortsätter att utvecklas snabbt med att stödja Big Data och analysera sådana data kvarstår utmaningar.

Ofta samlar enheter mer information än de kan hantera, enligt Schwartz. Det finns också "en enorm brist på datavetare" för att ge mening om denna insamlade information.

"Utmaningen med många befintliga lösningar och tekniker är att de inte kan förstå och identifiera vilken användbar information som finns i dessa massiva pooler av 0 och 1, och sedan analysera och utnyttja den på ett snabbt och kostnadseffektivt sätt. Hos SAP, vi är fokuserade på innovationer som tar ut komplexiteten ur IT-landskapet och förbättrar hastigheten och flexibiliteten genom vilken "data" kan förvandlas till användbar "information" och levereras till slutanvändaren eller applikationen ", säger SAP: s banker.

Sedan finns det säkerhetsproblemen. "På grund av överflödet av dataföretag och konsumenter fortsätter att driva och lagra i molnen, bör allmänheten vara bekymrad över informationssäkerhetspraxis för de företag vars moln har vår personliga information, " säger Paige Leidig, senior vice president på CipherCloud. Medan PRISM sitter och övervakar information som flödar över specifika moln, följer XKeyscore aktivt varje given person på Internet från webbplatser som besöks för att få e-postmeddelanden som utbyts till sociala medier. I båda fallen tittar och sammanställer personligen personuppgifter utan dataägarens samtycke - och det är integritetsfrågan även om motivationen är nationell säkerhet för allmänhetens välfärd."

Fortfarande, enligt Leidig, om något, dessa Internetövervakningsprogram, "belyser vårt beroende av moln på företag och konsumentnivåer." När det gäller att skydda data eller förhindra datastöld från hackare, eller inom IT-personer, rekommenderar Leidig att "en bättre metod är att möjliggöra molnet (och de mördande appar som företag behöver och konsumenterna älskar) genom att använda obrytbar kryptering för att klippa data till gibberish. På detta sätt kan obehöriga användare - vare sig en underrättelsebyrå eller en cybertyv - inte använda sig av uppgifterna. Som ett extra mått på kontrollen kan företag - inte molnleverantörer - inneha krypterings- / dekrypteringsnycklarna.

I händelse av en informationsbegäran (de NSA-brev som vi har hört så mycket om) kommer företaget att meddelas och kan arbeta med regeringen direkt istället för att förbikopplas och i mörkret att kunddata nås utan samtycke. Det är den modell där molnleverantören håller nycklarna, överlämnar informationen och förhindras enligt lag från att avslöja informationen för företaget.

Uppenbarligen är den stora diskussionen nu i allmänheten bara för att tekniken finns för att samla in och analysera enorma data, ger detta tillstånd till regeringen och företagen att använda sådan teknik på medborgare och kunder? Det är en debatt som säkert kommer att fortsätta under ganska lång tid.

För mer, kolla in Xkeyscore Ser inte på dig, det är NSA: s Google för avlyssnade data.