Gå på mars med microsoft hololens

Förra veckan såg det ut som om jag gick på Mars. Jag använde Microsofts nya HoloLens (bild), som den tillkännagav som en del av Windows 10-introduktionen, och Mars-demon var en av få som företaget tillät pressen att försöka använda en testversion av headsetet och de holografiska förlängningarna till operativsystemet.

Jag har använt ett antal virtual reality och förstärkt reality-headset under de senaste åren och tillbringat mycket tid med Google Glass. På vissa sätt känns HoloLens som en förlängning av vad vissa av dessa produkter försöker göra; i andra känns det mycket annorlunda.

"Välkommen till Windows Holographic, " sa projektledaren Alex Kipman (ovan) när produkten presenterades. Konceptet kommer att leda till mer uppslukande sätt att spela, nya sätt att lära sig, samarbeta och skapa, sa han.

Microsoft gjorde mycket för att inte kalla projektet virtuell verklighet eller förstärkt verklighet, och använde istället konceptet med att detta var hologram. Det är lite annorlunda från hologram som du kan se i filmerna - i fiktion behöver du vanligtvis inte ett speciellt headset - men bilderna som visas är tredimensionella, så jag antar att namnet är vettigt.

Kipman talade om de många möjliga användningarna för hologram i den verkliga världen, till exempel att en ingenjör såg instruktioner i en överlägg ovanpå ett föremål som han eller hon försökte bygga eller reparera, en arkitekt som gick igenom en design, en kirurg som lärde en procedur, eller bara förvandla vardagsrummet till en surrealistisk spelmiljö.

Microsoft tillkännagav faktiskt två produkter - den ena är en serie API: er fokuserade på mänsklig och holografisk förståelse kallad Windows Holographic som kommer att vara en del av Windows 10, och den andra är en hårdvara som heter HoloLens. Microsoft vill tydligt att utvecklare och potentiellt andra tillverkare av hårdvara ska skapa applikationer och enheter som kommer att göra detta till en verklig marknad, och specifikt uppmanas utvecklare som arbetar med Facebooks Oculus Rift, Magic Leap och Google Glass för att "skapa hologram med oss." En fråga är naturligtvis att det finns massor av plattformar, och syftet med tillkännagivandet är att försöka starta processen för att få en kritisk massa utvecklare bakom Windows Holographic. För VR åtminstone verkar Oculus ha mest surr just nu.

HoloLens är en uppsättning genomskinliga holografiska linser med ljud och sensorer. Det har de normala CPU- och GPU-komponenterna, såväl som det företaget beskrev som en tredje holografisk processenhet (HPU) som förstår gester och rumsligt kartlägger världen omkring oss. Enheten går utan kablar medan han bearbetar terabyte med information, sade Kipman, men företaget har ännu inte gett verkliga hårdvarudetaljer.

Företaget gjorde ett antal intressanta demonstrationer på scenen, men jag var mer intresserad av att testa det själv, och Microsoft skapade fyra demo-upplevelser för pressen i laboratoriet där HoloLens skapades, beläget i källaren i företagets besöks center.

En av dessa var egentligen mer en demonstration av Microsoft av HoloStudio, en miljö för att skapa hologram och valfritt 3D-utskrift av dem (vilket vanligtvis görs via en 3D-tjänst, eftersom hologramen vanligtvis involverar flera färger och är mer detaljerade än de flesta personliga 3D-skrivare kan hantera). Demonstrationen på scenen innebar att skapa en anpassad quad-copter, och senare en mindre gruppdemo visade oss hur man gör en personlig USB-nyckel med bilden av en "space koala."

Miljön såg ut som en intressant designstudio, en där du kan komma igång ganska enkelt men som faktiskt har en hel del djup. Det skulle förmodligen ta mig lite tid att få tag på att använda det, men jag antar att människor som använder produkter som Autodesk's 3D Studio Max eller liknande programvara skulle hitta det ganska enkelt.

För de tre andra demonstrationerna har vi tagit på prototypversioner av HoloLens headset. I stället för de relativt kompakta röda enheterna som visades på scenen, kände dessa verkligen som tekniska prototyper - hårdvaran som körde headsetet var i en separat låda du bar, och båda var kopplade till en dator. (Den färdiga hårdvaran ser ut att vara betydligt större än Google Glass men lite mindre än Oculus Rift-headsetet, och det fungerar trådlöst. Det är inte så snyggt som du kanske vill, men det ser ut som en konsumentprodukt.) Headsetet verkar ha ett antal kameror och sensorer på framsidan och sidorna. Du placerar den ovanpå ditt huvud (över dina glasögon, om du bär dem), dra åt den på plats, och sedan verkar enheten projicera en bild framför linserna i enheten, medan du fortfarande låter dig se omvärlden.

Den första av dessa var av HoloBuilder, ett program som låter dig skapa, flytta och förstöra vad som verkar vara objekt i rummet runt dig. Det kändes som Minecraft på det sättet du manipulerar små föremål men med några viktiga skillnader. Du kan lägga virtuella föremål på ett bord i den fysiska världen, eller hänga dem på en vägg, och det såg verkligen ut som om de holografiska bilderna verkligen var riktiga föremål som satt framför dig. I delar av demonstrationen såg det ut som om du kunde se saker ovanför verkliga föremål; i andra fall såg det ut som om du skar genom bordet och såg saker under. Det verkade ganska coolt. Jag kan lätt föreställa mig en framtida version som tilltalar Minecraft fans.

En annan demo visade hur du kan använda den med en version av Skype för HoloLens. I den här demonstrationen var uppgiften att installera en ljusströmbrytare, samtidigt som man pratades igenom processen av någon i den andra änden av konversationen som använde den normala versionen av Skype på en bärbar dator. Inom HoloLens kunde jag se personen prata i ett fönster, som kunde flyta framför mig när jag såg mig omkring eller fästs på en specifik plats. I sin tur kunde han se vad jag såg genom HoloLens. Så han såg verktygen, brytaren och öppningen för ljusströmbrytaren. Visiret har mikrofoner och högtalare i sig, så konversationen verkade ganska standard. Personen på andra sidan samtalet kunde dra pekare till det verktyg som han ville att jag skulle använda och diagram som visade mig hur jag skulle orientera omkopplaren och vilka ledningar som går dit. När jag var klar slog de på strömmen och ljusströmbrytaren fungerade.

Nu är jag inte säker på att vi behöver detta för så enkla åtgärder, men du kan lätt föreställa dig att det används i en mängd olika industriella applikationer, från montering till reparation, där du vill ha handsfree-instruktioner. Idén är inte ny: Jag har sett liknande idéer i ett antal "smarta glasögon" designade för industriella användare, till exempel Epsons Moverio-glasögon och Vuzix M-100-glasögon. Men den förstärkta verkligheten i industriella applikationer är mycket meningsfull och förmågan att få ritningar visas direkt över det du ser verkar vara ett bra steg framåt.

Men den mest intressanta demonstrationen var från Marsytan, med en applikation som utvecklats med NASA: s Jet Propulsion Laboratory (JPL) via data och bilder som samlats in av Curiosity Rover på planetens yta. Målet är att använda HoloLens för att hjälpa forskarna att kontrollera rover och bättre förstå Martian-landskapet. (JPL visade tidigare utforska världen i en demo med Oculus Rift, även om jag inte har provat det.)

Som ett första steg efter att jag satt på glasögonen kunde jag uppleva att gå runt Dingo Gap-området i Mars, och det som imponerade mig var att när jag gick runt i rummet såg det verkligen ut som om jag gick på planetens yta. Det var här den tredimensionella aspekten av hologram verkligen kom till liv.

I det andra scenariot kan du utforska området känt som John Klein där du kan se dig omkring och till och med under objekt för att få en känsla av dimensionens område. Vid en tidpunkt kunde du titta igenom visiret på en skärm som visade de ursprungliga svartvita bilderna, men de såg väldigt statiska ut. att se vad som verkade vara det faktiska landskapet i färg och i 3D var en helt annan upplevelse. Det var som om den verkliga världen hade gått igenom till den konstgjorda där jag gick.

Den sista delen av Mars-demonstrationen innebar att utforska en vägpunkt känd som "The Kimberley" nära Mt. Sharp, där jag kunde samarbeta med någon från JPL, som också använde HoloLens teknik. Han framträdde på skärmen som en guld-anpassad avatar, såg ut som en science-fiction främmande från 1950-talet och kunde prata med mig om landskapet och vad vi såg. Jag kunde placera flaggor på en del av landskapet för rover att använda sin MastCam, som kan ta mer detaljerade bilder, och välja några stenar för roverens ChemCam, som skickar en laser för att bränna en del av stenar för att bestämma dess kemiska sammansättning.

Detta var bara en demo, men du kan lätt föreställa dig hur ett team av forskare från NASA kunde använda tekniken för att bättre förstå Marsytan och för att kontrollera rover för att utnyttja den på bästa sätt. Och naturligtvis kan du föreställa dig några mycket uppslukande upplevelser.

Sammantaget var HoloLens en av de mest imponerande demonstrationerna jag sett. Andra headset med augmented reality har varit ganska intressanta, och jag ser verkligen deras potential i industriella applikationer, och jag har sett ett par mycket uppslukande spel i Oculus Rift. Men den holografiska effekten - idén att allt visas i 3D och att du faktiskt kan röra dig i världen - inbäddad i HoloLens kändes som något mycket nytt. Vi måste vänta med att prova det slutliga visiret och verkliga applikationer för att se om detta koncept verkligen är redo för en mainstream-marknad, men det är verkligen imponerande.