Hur företag kan känna till big data-marknaden

Företag får inga poäng för hur effektiv deras infrastruktur går eller hur hög de kan stapla alla Big Data de samlar in. Det som räknar är kvaliteten på analysen och intelligensen som data producerar.

Under de senaste åren är Hadoop det ord som har blivit mest synonymt med intag, bearbetning och omvandling av data. Detta öppna källkodsram för distribuerad datalagring och behandling har skapat sitt eget företagsutrymme och integrerat sin väg i alla de stora molnplattformarna. Hadoop är långt ifrån den enda Big Data-tekniken som är värd att prata om, men det har blivit den som många andra bygger på.

Problemet för företag är att Hadoop-utrymmet är fullt av distributioner och verktygsalternativ, och som Gartner-forskningsdirektör Nick Heudecker förklarade ser många av dem lika ut. Heudecker, vars forskning täcker informationshantering inklusive Big Data och NoSQL-utrymmen, sa att om du tittar på de allmänna databehandlingsalternativen erbjuder många leverantörer mycket liknande funktioner.

Bryta ner marknaden

Det finns tre huvudsakliga renodlade Hadoop-nystartningar - Cloudera, Hortonworks och MapR - och de har alla vuxit stadigt under 2015. Enligt Gartner har var och en cirka 700 kunder, ger eller tar 10 procent, vilket sätter den globala marknaden mellan 2 100-2 400 Hadoop-kunder över hela världen. Alla tre erbjuder både en gratis nivå och en företagsnivå för deras Hadoop-distribution, och var och en ger betydande open source-bidrag till projekt under Apache Software Foundation (ASF) -banret.

"Våra data indikerar att 44 procent av användningen av Hadoop för närvarande är obetald", säger Heudecker. "Finns det en tydlig ledare? Jag tror inte det. De tar alla marknadsandelar eftersom det är ett mycket nytt utrymme."

Under de senaste månaderna har mycket av konkurrensen mellan de tre kommit till konkurrens om dataanalysfunktioner och kreativa sätt att integrera Apache Spark, en öppen källkod för Big Data-bearbetning med användningsfall från realtidsdataströmmar till maskininlärning. MapR meddelade nyligen MapR Streams som en del av en "konvergerad dataplattform" som integrerar Hadoop, gnistbaserad strömbearbetning och analys. Hortonworks lanserade en uppdatering av Hortonworks Data Platform (HDP) med Spark-analys i minnet, och Cloudera erbjuder en mängd öppen källkodsintegrationer genom sitt One Platform Initiative, tillsammans med att erbjuda Spark-träningskurser.

"Det händer mycket i informationshantering och informationsinfrastrukturutrymmen, och det är inte allt Hadoop, " förklarade Heudecker. "Det finns en enorm fart bakom Sparks hastighets- och minnescentriska databehandlingsmodell, även om Sparks utveckling fortfarande är i sina tidiga stadier. Spark kommer att vara en annan lingua franca i databehandling, precis som SQL idag, och visar definitivt tecken på att den har några ben eftersom fler och fler företag investerar i det."

Heudecker framhöll också molnspelarens betydelse i Big Data; de tekniska jättarna som har integrerat Hadoop och annan Big Data-teknik i sina befintliga infrastruktur-som-en-tjänst (IaaS) -erbjudanden.

Amazon Web Services (AWS) använder sin Amazon Elastic MapReduce (EMR) -tjänst för molnbaserad Hadoop-orkestrering. Microsoft erbjuder en hel mängd Big Data-tjänster inom sin Azure-molnplattform, tillsammans med Hortonworks på sin HDInsight-tjänst för hantering av Apache Hadoop, Spark, HBase och Storm, tillsammans med sin SQL-baserade Azure Data Lake och Azure Data Analytics. IBM har både sitt IBM Open Platform-erbjudande för Hadoop och IBM BigInsights, ett analyspaket som ska köras ovanpå, tillsammans med hanterade Hadoop och Apache Spark-as-a-service i sitt Bluemix-moln. Listan fortsätter, och företag hittar de mer tillämpliga användningsfallen i molnet.

"Vi uppskattar att AWS enbart har cirka 5 000 kunder, så det är mer än två gånger kundbasen för de rena spelarna tillsammans", säger Heudecker. "En av fördelarna med att flytta in i molnet är att du får ett ekosystem. Du kan få pure-play Hadoop-distributioner på något av IaaS-erbjudandena. MapR finns i alla molnen du kan tänka på, annat än IBM; samma för Cloudera och Hortonworks. Vi har inte sett att molntillgänglighet blir för mycket av en faktor när vi väljer mellan en leverantör och en annan."

Att välja en Enterprise Data Strategi

För både små till medelstora företag (små och medelstora företag) och växande företag, när de investerar i databehandlings- och analyslösningar, sa Heudecker att den avgörande faktorn är vilken plattform som kan erbjuda den högsta servicenivån. Den största utmaningen för företag, enligt Gartner, är kompetensgapet - ta reda på vem som ska hantera plattformen när den har installerats och distribuerats.

"Om företag letar efter en dataplattformspartner, vem kommer att hjälpa dem med upptag av data? Vem kommer att hjälpa dem att bygga den analytiska applikationen? När det gäller de tre pure-spelande Hadoop-ers tenderar utvärderingskriterierna att ligga runt löptid för hanteringsverktygen och konsolerna, verktygen för styrning av data och prestanda."

Den andra intressanta aspekten av att välja en Hadoop-plattform är bristen på lojalitet. Företag utvärderar sin Hadoop-plattform så ofta som var 6-12 månad för att se om databehandlingskomponenterna fortfarande är rätt passform, på grund av hur snabbt utrymmet förändras och hur lite de stora aktörerna har differentierat sig. Heudecker sade att 20 procent av företagen han pratat med har flera Hadoop-distributioner som körs i deras datacenter eller moln, antingen låter olika team välja sin plattform eller välja avsiktligt för att undvika att fastna med bara en Hadoop-distribution.

Denna typ av diversifierad plattformsportfölj matas in i det som Frank Buytendijk, en Gartner Research Vice President och Distinguished Analyst med fokus på digital strategi, kallar "information som en tillgång." Som om du inte kan driva ett företag utan kapital, arbetskraft, material och fysiska eller virtuella anläggningar, sa Buytendijk att du inte kan driva ett företag utan information.

"Vi brukade titta på affärer med avseende på de tre flödena: det primära flödet var varor, det sekundära flödet var pengar och det högre flödet var information för att se till att varorna och pengarna var i linje. Nu i de flesta företag är det tvärtom.. Det primära flödet är information, från identifiering och konfiguration till innehållsmarknadsföring etc. Huruvida du kallar Big Data eller inte spelar ingen roll."

"Big Data" är föråldrad

Buytendjik sa att han inte ser Big Data som en separat teknik för företag, utan som ett tema eller tankesätt inom din övergripande digitala strategi.

"Jag tror inte på att ha en Big Data-strategi", sa Buytendjik. "Det finns knappast en affärsstrategi längre utan digitala komponenter, så jag tror på att ha en digital strategi där alla typer av teknik levererar kritiska funktioner. Detta inkluderar mobil, social, moln, IoT, smarta maskiner och Big Data."

Heudecker tror att vi börjar prata om "Big Data" mindre och mindre, för nu är det bara data. Det är hur affärer görs. Massiva volymer och hög hastighet på data är inte längre lika skrämmande.

"Big Data återupptas av information och analys", säger Heudecker. "Big Data-kategorin skiljer sig uppriktigtvis inte. Vi får alltid fråga storleken på Big Data-marknaden, men vad betyder det ens? Big Data är egentligen inte en marknad, det är ett koncept. För ett företag som tänker på Big Data som något unikt och speciellt som är radikalt annorlunda än vad du har gjort tidigare är ett misstag. Vid denna tidpunkt är data bara normalt."