De spännande konsekvenserna av vårt år med big data

2013 var tänkt att bli Big Data-året, och det råder ingen tvekan om att nya sätt att lagra det, nya scheman för att hantera det och nya verktyg för att analysera det förblir ett centralt fokus för många, om inte de flesta företag. Men det som förvånade mig i år var hur mycket uppmärksamhet som nu går till att säkra data och integritetskonsekvenserna av att samla all den informationen i första hand.

Det är ingen hemlighet att mycket av tekniken bakom så kallade "big data" -projekt ursprungligen kom från de största webbföretagen som Google, Yahoo, Amazon och Facebook. De tror - och har en hel del bevis för att säkerhetskopiera detta - att genom att veta mer om dig kan de göra bättre produktrekommendationer och därmed få dig att köpa fler saker från dem. När allt kommer omkring är det underförstådda förhandlingen på nätet, nästan från utseendet till den moderna webbläsaren, att du får information gratis i utbyte mot riktad annonsering. Faktum är att i dag några av de största framstegen inom datateknologi kommer från dessa stora webbplatser och de reklam- och marknadsföringsföretag som stöder dem.

Under det senaste året har vi hört mycket mer om hur stor data påverkar fler industrier. Vissa företag, till exempel GE, har varit mycket stämma när det gäller att distribuera sensorer på enheter som samlar in data för att göra saker som att förutsäga misslyckanden. Andra företag som IBM talar om att använda data för att hjälpa individer att göra förutsägelser, till exempel att diagnostisera potentiella sjukdomar. Jag förblir väldigt optimistisk när det gäller potentialen för sådan teknik, även om jag tror att många, om inte de flesta, big data-projekt inte kommer att ge den avkastning som deras tillverkare hoppas på.

Men det är inte där fokuset på big data gick i år. Snarare var det avslöjanden om omfattningen av datainsamling av myndigheter - särskilt NSA - som genererade de största rubrikerna, inklusive infogningar av skadlig kod och andra attacker på kritiska datakällor, från berättelser om kinesisk hacking till den senaste hackningen av kreditkort på Target. Historierna om skadlig kod har lett till ökad användning av system för förebyggande av intrång och nästa generations brandväggar, även om vi alla vet att inget system är idiotsäkert. NSA-läckorna har gjort människor i andra länder mycket mer skeptiska att lagra data hos amerikanska företag, och trycket leder nu till att de stora molnleverantörerna lägger till mer kryptering, även mellan deras interna servrar. Alla inför nu fler säkerhetssystem, även om vi alla vet att inget system är perfekt och att "social engineering" nästan är omöjligt att förhindra.

Vi ser nu mer fokus på integritet, oavsett från regeringsnopar eller företag som samlar in data. Hittills har det inte förvandlats till mer reglering, men nya regler och policyer kommer säkert att vara ett fokus under 2014. En oro för de stora amerikanska företagen är att detta kan leda till lagar som tvingar internetleverantörer att hålla användarnas data i landet av användaren, eller åtminstone det politiska intresset, som att bevara all brasiliansk data i Brasilien, eller alla tyska uppgifter inom Europa. Detta kan leda till fler nationella tjänster (som de många kinesiska tjänsterna som blomstrat, delvis för att amerikanska företag inte verkar där) eller åtminstone ett krav på mer lokala datacentra. Rädslan är att detta kan leda till en ökad balkanisering av Internet.

Under tiden har vi dock sett en ökning av applikationer som är utformade så att användare lagrar och förvarar mindre data, inte mer, till exempel Snapchat. För första gången verkar det som att användare tänker på vilka data som fångas in, var och hur länge de lagras. Vilket kan visa sig ha en ännu större inverkan på data.