Video: BigData: хранение и анализ больших данных (September 2024)
En sak som imponerade mig vid gårdagens toppmöte i Bloomberg Enterprise Technology var fokuset på att hantera data på nya sätt - med andra ord att hantera det som ofta kallas "big data".
Vissa av konversationerna handlade om värdet av big data, och huruvida det verkligen var en "biljard-dollar-möjlighet", medan andra behandlade de specifika utmaningarna som enskilda organisationer och branschen som helhet står inför när det gäller att sprida dessa nya tekniker.
Gerard Francis, global chef för Bloomberg Enterprise Solutions, Bloomberg LP började dagen med att föreslå att det viktigaste företagen kan göra är att "utnyttja värdet på data genom att använda det" och fokusera på tillgången, kvaliteten och flödet av data inom en organisation. I efterföljande paneler var det mycket att prata om nya verktyg som hanterar data, liksom specifika problem med att lagra, hantera och hitta människorna att hantera data.
I en allmän panel om företagstrender sa Dwight Merriman, ordförande och grundare av MongoDB, att datalagret i applikationsspåret har "den största störningen och förändringen som vi har sett på 25 år." Han sa att företag har använt relationsdatabaser i 25 år eller mer, vilket gör den äldsta tekniken i stacken. Men nu händer det saker med filbaserad lagring som Hadoop och ny databasteknik, ofta grupperade som "NoSQL." Han påpekade att Big Data inte handlar om "big" utan snarare om dataformen, datatyperna och övergången till att hantera data i realtid.
Googles Chief Information Officer Benjamin Fried enades om att de flesta företag inte har problem med "big data". Många av datamängden - med saker som HR-data och ekonomiska data - är inte så stora, sade han. Vad som är viktigt är flexibiliteten du behöver för att hantera data korrekt.
Vad är Big Data ändå?
Det konceptet - att flexibiliteten är lika viktig som storleken på uppgifterna - ekades i en annan panel senare på dagen. Där enades deltagarna om att företag har hanterat datatunga applikationer länge, men skalan har förändrats nyligen. Till exempel noterade Mark F. Bregman, Senior Vice President och Chief Technology Officer i Neustar att vissa företag nu "lagrar allt" i hopp om att det kommer att visa sig värdefullt.
"Big definieras bättre som komplexitet", enligt Gary Bloom, VD och koncernchef för MarkLogic. Han noterade att många så kallade "big data" -applikationer involverar många olika typer av data, men inte den typ av volym som du normalt hör till i "big data" -applikationer.
Han citerade ett exempel på flygtrafik som kombinerar väderdata, flygplatsdata, geospatial data, flygdata, flygbolagsbokningsdata och sociala data. Han noterade att hanteringen av heterogena data verkligen var svårt att göra med traditionella relationsdatabaser, och ekade tidigare kommentarer från MongoDB: s Merriman om att detta var den "första generationens förändring i databasen på 25 år" sedan vi flyttade från mainframe till eran med relationella databaser.
Han konstaterade att många pratar om sociala mediedata, men det måste verkligen kombineras med andra data för att verkligen ha något som du kan dra nytta av. Att kombinera dessa data är "det verkliga värdet."
Naturligtvis involverar vissa applikationer mycket information, med Bregman som säger heterogenitet är bara en faktor. Han citerade DNS-data, som enkelt kan generera 8 TB information om dagen, och behovet av att lagra sådana saker i Hadoop. Bregman och de andra påpekade att när det gäller "datakapitalisering" är det verkliga värdet inte i rådata, utan är istället i analysen när det blir något du kan använda. De andra i panelen var överens.
Streambase VD Mark Palmer sa att det var viktigt att kombinera stora mängder data med strömningsanalyser i många applikationer; och talade om det extra värde som kunde skapas genom att kombinera traditionell och realtidsanalys.
Men han enades om att komplexiteten i data är en fråga. Han citerade hur Vivek Ranadivé, som driver Tibco (som nu äger Streambase), köpte ett basketlag delvis för att ta reda på hur teknik kan förbättra upplevelsen av fansen. Han pratade igen om att "mosa upp olika typer av data", utifrån en Twitter-ström men också utnyttja andra typer av data.
Bloom konstaterade att allt beror på applikationen och säger att "latens är i betraktarens öga." Vissa applikationer måste analysera data på kabeln innan den till och med träffar databasen, medan andra inte gör det.
Bregman tog upp frågan att istället för att det är svårt att flytta datorresurser, nu blir det mycket svårare att flytta uppgifterna. Han noterade att för många applikationer är "lock-in" platsen för informationen. När du lagrar dina data i ett offentligt moln är det mycket svårt att flytta den. Som ett resultat, sa han, vill många organisationer lagra enorma mängder data på sina egna platser och sedan kunna flytta till olika leverantörer för beräkningsfunktionen. Genom att låna en term från MarkLogic's Bloom talade han om hur organisationer kan behöva ett "datacentrerat datacenter" som en plats där du håller enorma mängder data.
Är Big Data en "Trillion-dollar-möjlighet?"
En annan panel diskuterade möjligheterna och utmaningarna med big data, vilket reflekterade över en kommentar från Porter Bibb, Managing Partner på MediaTech Capital Partners. Bibb sade att det faktiskt finns mer än en biljon dollar förmåner för företag som använder de nya teknikerna. Hittills, sade han, har vi "inte ens börjat utnyttja den potential som denna teknik erbjuder."
Bibb talade om hur det var viktigt för organisationer att anpassa sin datastrategi med affärsstrategi och var orolig för att de flesta företags- och regeringssystem är feljusterade.
I den första sessionen sa Scott Weiss från Andreessen Horowitz att "Hadoop är som kryogen lagring", så frågade moderator Jason Kelly från Bloomberg Link Cloudera Chief Architect Doug Cutting, som var en av skaparna av Hadoop i första hand, hur han såg den där.
Kapning sade Hadoop tillåter människor att arbeta med mer data. Han sa att organisationer drar data från bandet, istället gör det online och användbart. Kunderna flyttar från att arbeta med 90 dagars data till fem eller 10 års data i ett "aktivt arkiv."
Ett antal av de specifika frågorna om att hantera alla dessa uppgifter kom upp igen i denna panel. Snaplogic VD Gaurav Dhillon talade om "datatyngdkraft" och sa att det inte är vettigt att ta data som finns på plats i Hadoop och flytta det till molnet. Men samtidigt, om det finns data i molnet, till exempel klickströmanalys, är det meningslöst att flytta den lokala. Som ett resultat, sa han, såg han mycket få "gränsöverskridande möjligheter" när det gäller att flytta uppgifterna.
Cutting sa att han inte trodde att det verkligen var brist på datavetare. Istället sa han att det finns många människor som förstår matematik och affärer, men de har bara inte verktygen. Du kan lära dig grunderna i verktygen och vad de gör på ett par veckor, sa han, men att förstå ditt företag tar år. Ändå finns det många som förstår det.
Dhillon återspeglade också oro över lagstiftning som handlar om vilken information som kan lagras där. Han sa att vissa vertikala marknader kräver att information lagras lokalt, men var orolig för saker som krav för att inte flytta data från sitt ursprungsland. Mycket av detta är en överreaktion på saker som Snowden-avslöjanden och dataöverträdelser, sade han och noterade att "en hast att lagstifta är aldrig bra."
På frågan om han var orolig för att Snowden- och Target-överträdelserna gjorde kunder rädda för data, sa Cutting att han var orolig för att så många människor är oroliga. Många människor är rädda för teknik, sade han, och det var branschens misslyckande att göra kunderna bekväma i tanken att deras data inte användes. "Du behöver inte vara läskig", sa han.
I slutet diskuterades mycket om värderingar, med Bibb som föreslog att den senaste Intel-investeringen i Cloudera var en "big deal", eftersom det validerar vad företaget gör. Han sa att andra stora företag som Oracle, IBM, Microsoft och Amazon svävade runt prediktiva analysföretag. "Guldruschen börjar precis."
Dhillon sade att värderingarna återspeglar vad VVS-företagen ger till stordatamarknaden. Han sa att han var glad att se sådana "pick and shovel" killar få bra värderingar, men sa att han hade lite rädsla för att värderingarna kommer framför marknaden.
Bibb sa att han trodde att stora data kan vara överexponerade i media, men det är underexponerat i "c-sviten" (vilket innebär att VD, CFO och andra toppchefer.) Han sa att det har en "enorm ekonomisk potential som ännu inte har upptäckts."
