Hem Appscout Snabbspolning framåt: Thad starner pratar Google-glas, hjälper hundar att prata

Snabbspolning framåt: Thad starner pratar Google-glas, hjälper hundar att prata

Video: Ultimate Dog Tease (September 2024)

Video: Ultimate Dog Tease (September 2024)
Anonim

Jag var i Austin, Texas, förra månaden för SXSW Interactive, där jag hade chansen att sitta ner med ett antal tekniska industriföretag för min videoserie Fast Forward, inklusive Chris Becherer, VD för produkt på Pandora.

I den här utgåvan av Fast Forward pratar vi med Thad Starner, professor i dator vid Georgia Tech. Thad var den tekniska ledaren för ett projekt som så småningom ledde världen till Google Glass, som han hade på sig under vår chatt. Men han har varit i det bärbara utrymmet mycket längre än så, och hans arbete fokuserar på själva gränssnittet mellan mänsklig och maskin. Hans senaste arbete innebär att bygga mind-reading wearables för hundar. Kolla in vår chatt i videon och utskriften nedan.

Dan Costa: Det är en upptagen SXSW. Det talas mycket om förstärkt verklighet. Det talas mycket om virtuell verklighet. Wearables är fortfarande ett mycket hett ämne. När de flesta tänker på bärbara tänker de på antingen Google Glass eller en Fitbit som du bär på handleden för att spåra dina steg. Vad tycker du om du tänker på wearables?

Thad Starner: Tja, för mig är det alla datorer, alla kroppsslitna enheter som hjälper dig medan du gör någon annan, primär uppgift. Det är alla kroppsslitna datorer som är utformade för att vara sekundära. Det hjälper dig för någon annan primär uppgift, som att svara på frågor under en intervju.

Mina anteckningar finns på min iPad mini. Jag måste fortsätta titta ner för att få de senaste anteckningarna och för att få din titel korrekt. Du har rätt i sig.

Ja. Allt jag behöver göra är att titta upp, ta ett par ord och gå tillbaka till konversationen. Mina gamla system, jag vet inte om du tittade på några av mina äldre bilder, men mina äldre system hade skärmen här. I själva verket fanns det en från 1997 där den till och med var i linsen. Det gjordes av ett företag som hette Micro Optical vid den tiden. Det gör att du faktiskt kan vara ganska lätt att ha en intelligent assistent som kan hjälpa dig från sekund till sekund. Det förändrar verkligen ditt förtroende och förändrar din förmåga att göra saker som du normalt kan snubla över.

Du var en av de ursprungliga besättningarna. Det verkar som att ni nästan var i tävling för att se vem som kunde bygga det coolaste, mest sofistikerade, mest funktionella bärbara systemet.

Jag började skapa mitt system 1990, men jag misslyckades om och om igen. Det var förrän '93 som jag äntligen hade ett system jag kunde bära i mitt dagliga liv. Då arbetade jag för ett företag som heter BBN. De hjälpte till att skapa de första routrarna för internet. Efter att jag satt på enheten insåg jag efter en månad att det inte bara var bra forskning. Det var en bra livsstil.

Det är vad dessa enheter handlar om. Det skapar en mördande livsstil för dig. Naturligtvis, då hade jag en mobiltelefonanslutning för internet som mättes i fötter, inte i bithastighet. Med andra ord, hur många fötter kunde jag gå innan det analoga telefonsamtalet sjönk och jag var tvungen att ringa om anslutningen igen?

Så småningom gick jag tillbaka till MIT Media Lab och började rekrytera fler och fler studenter som var intresserade av detta. Vi hade en liten konvoj av människor som skapade apparaterna för deras speciella behov och vi räknade ut hur vi kan leva som ett samhälle av cyborgs. Det förändrade vad vi tyckte om tekniken. Jag ska ge dig ett exempel: Anta att du kommer in som en VIP för att besöka labbet. Vi får en person att prata med dig om dina intressen. Medan det händer kommer det att finnas meddelanden som går fram och tillbaka mellan ögongloberna hos de andra medlemmarna i gruppen som försöker planera din dag. "Åh, han är väldigt intresserad av förstärkta sinnen. Så du tar honom till lunch. Jag måste gå till läkarmötet klockan tre, så jag får honom vid två." Så har du dessa människor att skriva på sina tangentbord skickar meddelanden till varandra medan konversationen pågår för att försöka schemalägga en dag baserat på vad dina intressen är. Den får typ till telepatin.

Många gånger låter det mycket som Slack, där vi har kommunikation i realtid och olika segment tar form. Men istället för att göra det terminalbaserat och göra det anslutet till en dator, där du måste vara framför din bärbara dator eller telefon, är det var du än är. Du kan göra två saker på en gång. Du kan ha den konversationen och schemalägga lunch.

Tja, nej, du vill inte göra det. Din IQ sjunker med 40 poäng när du försöker göra det. Det du vill göra är att datorn stöder konversationen. Vi har till exempel ett system som heter en Remembrance Agent som har en liten brusreducerande mikrofon, lyssnar på min sida av konversationen och allt jag säger blir transkriven och läggs in i en textbuffert. Och sedan letar datorn kontinuerligt upp tidigare e-postmeddelanden, tidigare papper, tidigare konversationer som kan relatera till det vi pratar om. Det drar upp små påminnelser i min visning av de detaljer som jag kanske vill inkludera i den här konversationen. Så det stöder konversationen, ger mig information.

Jag hade en student som pratade med mig om taligenkänning - hur du vill använda taligenkänning med bärbara. Och jag sa, om du verkligen vill göra det, borde du - och jag drog upp mina anteckningar medan vi håller samtalet - jag säger till honom, du borde verkligen titta på Steve Whittakers tal om Filochat från 1995. Jag tror han hade några bra detaljer om hur upp till 93 procent av människors dag tillbringas i opportunistisk kommunikation. Jag gav honom alla dessa detaljer. Min student såg precis på mig som "hur vet du allt detta?" Det är okej här. Jag visste nog att leta efter Steve Whittaker och sedan gav datorn mig alla detaljer. Att ha den typen av stöd i realtid är verkligen grymt.

Vi har också gjort det förut där jag gav ett vittnesbörd vid National Academy of Sciences i Washington, DC om att förstärka människor. Jag visade dem vad jag gjorde. Jag hade mina studenter, mina studenter, tillbaka på Georgia Tech - så jag var i DC, mina studenter på Georgia Tech lyssnade på och också visade jag alla att jag hade en direkt feedback till Georgia Tech. Jag satte upp både mina presentationsanteckningar och mina elevers anteckningar som de föreslog i realtid.

Så när jag vittnade sa de, "Åh, du borde prata om det här", och de kastade mig en URL, "eller så borde du prata om detta" och kasta upp saker och ge annan information. Panelen som intervjuade mig, de började ställa frågor till eleverna, inte av mig.

Jag var bara en slags ansiktsman för all denna kunskap om detta konsortium av människor tillbaka på labbet som snabbt kunde svara på frågor eftersom de var experter på området. Men de kunde leta upp information mycket snabbare än jag kunde. De använde mig helt enkelt för att prata igenom. Dessa intellektuella kollektiver, denna förmåga att gå till experter, att kunna hjälpa dig med ett ögonblick, är en ganska kraftfull sak. Å andra sidan, om du försöker säga "Läs e-post" medan du har en konversation, låter du som en idiot. Människor kan inte flera uppgifter särskilt bra.

Det är inte flera uppgifter. Det är verkligen förstärkning.

Höger.

Det verkar som om att vara smart, kunskapens natur, intelligensens natur har förändrats. Du brukade behöva memorera alla dessa saker för att ha en konversation med det utan att hänvisa till dina anteckningar, och det är inte paradigmet längre. Du behöver bara veta vilka frågor du ska ställa och vara ansluten till ett system som kan ge dessa svar till dig.

Det finns en viss mängd information du behöver för att internalisera så att du snabbt kan leta upp den och kunna tänka i dessa områden, men för många andra saker vill du bara ha världens kunskap till hands och få den levererad när du behöver det. Denna idé om informationshämtning just i tid är mycket kraftfull. Det är vad jag tror kommer att hända inom de kommande fem eller tio åren. Vi kommer att ha dessa intelligenta assistenter som kan hjälpa oss på en sekund för sekund.

Det är en av de fantastiska sakerna med bärbara datorer. Det jag tror definierar bärbara datorer är att det är något där datorn blir en del av oss. Du har antagligen använt kikare innan? Det är något du plockar upp. Du tittar på något på avstånd. Du justerar fokus. De är typ av fin, eller hur? Du måste hålla dem precis rätt och justera fokus varje gång du byter från ett ämne till ett annat. Du lägger ner dem, upp och ner. Du tänker inte på din kikare som en del av dig. Men dina glasögon, du tar på dem och du använder dem hela dagen. Du ser igenom dem. Du tänker inte på dem. Du använder dem bara. Så vad vi har just nu med de flesta av dessa enheter, de flesta av dessa datorer, våra smartphones, våra surfplattor; de är inte en del av oss. De är andra.

Så snart du får enheterna nära kroppen kommer tekniken plötsligt ur vägen. Det är paradoksen för bärbara datorer. Genom att föra tekniken nära kroppen får den den ur vägen. Jag tror att det är dit vi ska åka i framtiden. Vi kommer att se fler och fler sätt för teknik att hjälpa oss, göra oss mer kraftfulla, mer oberoende, mer självsäkra och mer informerade på en split-sekund för split-sekund basis. Jag vill se dessa intelligenta assistenter gå från något du pratar med; till något som är en del av dig. Något som hjälper dig från en stund till nästa mycket proaktivt.

Jag tror att begreppet att uppleva världen genom tekniken i motsats till att bara använda tekniken är en avgörande skillnad.

Det är den erfarenhet jag har jobbat mot. Mycket av det är helt enkelt hastigheten på åtkomst. Larry Page sa till mig: "Det handlar om att minska tiden mellan avsikt och handling." Jag var bedövad. Jag har försökt formulera vikten av hastigheten på en enhets åtkomst. Här gjorde han det i en fras. Tiden mellan avsikt och handling är avgörande.

En av demoerna jag gör är att alla ska ha två uppgifter. Jag får dem att räcka upp handen efter att de har slutfört varje uppgift. Så jag säger något som "Okej, vad är klockan?" Jag räcker upp min hand eftersom min tid är på framsidan av min skärm just nu, och min publik slutför också uppgiften mycket snabbt. Sedan är den andra uppgiften jag har dem att svara på en fråga som "var är Mount Pinatubo?" Jag kan höja min hand eftersom att ställa frågan fick svaret på min skärm just nu. Det är på Filippinerna, och jag har faktiskt en liten karta över var den är just nu på min skärm.

Det är så svårt för min publik att komma till den informationen snabbt att de inte ens bryr sig om att göra det. Jag pratar om tekniska publik som Xerox Park eller Georgia Tech eller Stanford. Så här är jag, i en publik full av nördar, gör ett experiment med dem och de flesta bryr sig inte ens att försöka komma till den informationen eftersom de vet att det kommer att ta för lång tid.

Tänk om vi kan ändra det från något som tar för lång tid till något som är lika enkelt som att kontrollera tiden. Plötsligt gör du människor mycket kraftfullare. Om du kan minska tiden för avsikt att agera till inom två sekunder eller mindre, kommer plötsligt människor att göra det utan att tänka på det. Det är en del av dem. När det har gått över två sekunder, använda sig av går exponentiellt ner och människor tänker på som en "annan".

Innan vi började spela in pratade vi om skyddshelgon. Och vi försökte ta reda på vad Saint Stanislaus var beskyddare för. Jag har en internetansluten surfplatta i handen. Jag ville ha informationen. Men jag brydde mig inte om att öppna Google, skriva in det och leta efter det eftersom jag inte brydde mig så mycket. Men bara genom att ha den konversationen dyker det upp på skärmen.

Jag menar att jag har det här. Jag frågade just. Detta är mer uttryckligt. Jag sa helt enkelt frågade, "Saint Stanislaus var beskyddare för?" - Svaret är Polen - och dyker sedan upp några sekunder senare. Det är ganska kraftfullt. Det minskar typ av motvilja mot att försöka hitta information om den i världen. Det är bra för mig som professor eftersom det får mig att se mer intelligent ut än jag är.

Det här är något som hände när jag var student på MIT. Jag tog en klass från Justine Cassell, och det handlade om gest . Under en granskning före den slutliga tentamen frågade hon: "Vad var vikten av Deixis?" Jag hade alla mina anteckningar på min dator och jag kunde komma åt det mycket snabbt med det här tangentbordet. Det var innan taligenkänningen blev mycket bra. Det jag skulle göra är att konstruera mina meningar så att jag kunde hitta svaret i tid för att avsluta en mening.

Så jag räckte upp min hand för att svara på frågan. Hon uppmanade mig. Jag sa, "I början av klassen, sa vi vikten av deixis var uh, uh, uh, um, " eftersom jag gjorde ett misstag. Jag tappade mitt tangentbord. Jag kom i fel läge för E-Mac. Jag sa: "Jag måste komma tillbaka till dig. Jag kom i fel läge."

Hela klassen bröt upp och skrattade. De hade tillbringat hela denna tid med mig och hade inte insett att jag gjorde det dagligen. En professor som tog klassen med mig lutade sig och sa, "Nu vill jag ha en. Du gör det hela tiden, eller hur? Du kan hämta information så snabbt. Det verkar som det är en del av dig." Ja, det är exakt anledningen till att jag gör det.

Det var fantastiskt att dessa professorer och studenter som jag jobbat med i flera år aldrig insåg hur mycket hjälp den ger mig. Första gången jag höll ett professionellt samtal kom en av de äldre studenterna fram och sa till mig: "Det var det bästa prat jag någonsin har hört att du håller, men varför bär du din dator?"

Hon hade ingen aning om att även om de flesta har 3-till-5 indexkort, har jag det här uppe. Att ha den typen av hjälp gjorde mig till en bättre talare. Det var bara iögonfallande för människor på den tiden att du kunde använda din maskin på detta sätt.

Så låt oss göra en liten pivot. Vi har pratat mycket om mänskliga kläder. Du arbetar med hundar nu. Förklara det arbete du gör.

Projektet heter FIDO, Facilitating Interactions for Dogs with Occupations. Ja, det är en akronym, men den är en söt. Tanken är att det finns alla dessa arbetshundar där ute. Hundar som är allergivakta hundar eller medicinska larmhundar, sökning och räddning, bombdetektering, inspektion av TSA för smyg eller jordbruk. Dessa hundar gör mycket jobb, men de har mycket svårt att kommunicera vad de känner och vad de tänker till sina hanterare.

Vi hade en av våra tränare för ett par år sedan för att göra en demonstration. Hon är en diabetiker och en av dessa människor som bara kan svimma av brist på blodsocker. Hon har en hund som är tränad att reagera på den akuta situationen. Hunden går och hittar den närmaste personen, tar tag i dem och försöker ta dem till henne eftersom hon snart kommer att försvinna.

Innan hon håller på att svimma, går det och får hjälp?

Ja. Det kan faktiskt känna att förändring i kroppskemi från lukt och få hjälp. Detta hände vid säkerhetsgrinden på Atlanta Airport, och hunden gjorde vad den var tränad att göra - gick upp på en TSA-säkerhetschef. Säkerhetsombudet trodde bara att hunden var vänlig, men vår tränare sa: "Jag kommer att svimma om en sekund. Jag måste sitta ner." Du kan föreställa dig att det skulle vara mycket bättre om hunden kunde prata.

Så vi har gjort en väst där hunden går och kommunicerar varningar genom att dra i västen. När sensorn är aktiverad och säger "Följ mig. Min ägare behöver din hjälp." Naturligtvis, för första gången du testar detta, tror folk att de blir upptågade, eller de tror bara inte på det. Pratade den här hunden bara med mig?

Det är en ljudinspelning av en mänsklig röst som faktiskt säger den meningen?

Ja. Vi måste utbilda hunden att göra det två gånger för första gången som människorna inte tror på det.

Säger hunden andra gången, "Nej, verkligen! Jag menar det den här gången?"

Nej, vi får bara upprepa samma sak och det verkar fungera. Vi testar fortfarande det. Vi måste testa det på några intetanande människor på Georgia Tech och se vad de säger. Om det händer dig, vet du att det är en del av våra tester. Vi kommer att ha en av våra assistenthundar i träning som kommer hit för att göra den demonstrationen.

Den hunden måste lära sig nya tricks kl 14 i eftermiddag?

Faktum är att vi inledningsvis trodde att vi skulle ha problem med att föra hunden till SXSW och så vi kommer att träna mycket idag för att kunna visa upp vad vi vill ha.

Tanken på att dessa hundar har alla dessa uppfattningar som de kan uttrycka för oss är typ av ny. Vi hade lite press på vår FIDO-väst, och vi fick ett samtal från Georgia Tech-polisen som frågade om västarna kunde användas för hundar som bombar sniffar. Vi blev förvånade över att få veta att de har bomb-snifande hundar, förklarade att hundarna används för att skanna idrottsplatserna innan folk kommer in. "Vi är som, " Åh. Berätta om bomssniffer. "Vi är intresserade att lära sig mer .

Det visar sig att hundarna är tränade för saker som pistolpulver och C4 men också saker som peroxidbomber, som… luktar väldigt annorlunda. Peroxidbomber är också mycket instabila. Om du får en av dessa vill du inte ha hunden eller hanteraren någonstans nära den. Pistol eller C4 är väldigt stabila och det är inte ett problem. Vad Georgia Tech-polisen ville göra var att hundarna hade sin väst med två små leksaker. Om hunden luktar pistolpulver , de drar pistolpulveret ett och det geo-lokaliserar dem och den visar hundens plats på officerens display var hunden är. Då vet de att det finns en bombe här men det är en stabil bombe och de kan bara beordra hunden att stanna där och bara skälla vid bomben tills de kan hitta den snabbt.

Om hunden drar på andra sidan västen är det en peroxidbombe. Vi vet att det är instabilt och då minns du faktiskt hunden för att få den ur vägen och sedan skickar du en annan typ av bortskaffningsenhet.

Samma sak med sökning och räddning… och dessa TSA jordbrukshundar för vad de luktar i människors bagage. Du kan och till och med göra detta för inspektion av jordbrukarnas fält. Det finns några saker som sötpotatisrutt där du inte kan säga från utsidan att det finns ett problem. Det är en ny sak i North Carolina som bara rasar sina grödor. Hundarna kan lukta på det. Du kan skicka ut hundarna och få dem så att de kan söka i fälten tills de hittar dem. Om de hittar det, varnar de. Du ser var de är. Du går dit. Du kan se var de befinner sig, gräva upp rötterna, bekräfta att den faktiskt ruttnar och sedan blir du av med den delen av fältet och börjar igen.

Det visar sig att när vi börjar använda dessa hundar för att göra dessa saker, fler människor kommer ut ur träverket, upptäcks nya applikationer. Hundar som sniffar till exempel tryffel.

Det var vad jag tänkte.

Det är en av mina favoriter. Vi har en hobby som vill spela med oss ​​nu på den.

Kan jag låna hunden till helgen?

Exakt.

Det jag gillar med det är att du ger människor tillgång till hundens uppfattningar, som på många sätt är överlägsna människor, och bara använder tekniken för att låta dem kommunicera dessa uppfattningar.

Deras luktkänsla är 100 gånger bättre än vad vi gör elektroniskt. De har mycket bra hörsel. Deras syn är inte lika bra som vår men de uppfattar annorlunda. Om vi ​​bara låter dem faktiskt kommunicera bättre kan vi kanske lära oss mycket mer om vad de kan göra och hur de kan göra sina jobb bättre. Naturligtvis tycker hundarna att detta är jättekul. Allt detta spelar för dem.

Låt oss gå vidare till haptisk feedback och haptiskt lärande och vissa system du har gjort där. Är det sant att du kan lära någon att spela piano utan att spela piano ?

Det är ganska galet. Vi kallar det här för passiv haptisk passiv feedback-inlärning. Det är en av de superkrafter som bärbara datorer kan ge dig. Tanken på att den kan lära dig en komplex mekanisk uppgift eller komplex manuell uppgift utan din uppmärksamhet. Det är typ av överraskande. Vi har gjort det med piano flera gånger.

Anta att du vill lära dig Beethovens "Ode till glädje." Det är en av de enklare som vi använder för våra demonstrationer. Vi har du på dig en handske, och handsken har lite vibrationsmotorer på varje finger. Du tar på ditt Bluetooth-headset, och det spelar bara låten om och om igen när du och jag pratar eller läser e-post eller så kör du, vad som helst. Du ignorerar den och den spelar bara låten om och om igen. När varje ton spelas knackar den på fingret som tillhör den noten. Efter 20 minuter har du den första strofen "Ode till Joy."

De kommande 20 minuterna har du den andra. På ungefär en timme och 30 minuter av just denna tappning fick vi bryta upp det i rätt bitar, men efter ungefär en timme och trettio minuter har du hela låten. Om du lägger ner fingrarna, lägger du ner handen på pianot markerar vi var den första noten beror på annat du skulle inte veta, och din hand blir besatt och den spelar bara låten den. Det är en av dessa saker som om du fokuserar på det för mycket, du inte kan göra det men om jag distraherar dig kan du göra det.

Du spelar låten, och jag föreställer mig att du spelar ljuden i huvudet för att försöka slå samma toner.

Vi gjorde detta med Chad Myers på CNN en gång. Han har ingen musikalisk talang. Vi lägger den på hans hand medan han spårade efter en orkan i viken, förde sedan ut honom live på CNN. Du kan se honom ha denna fasskräck. Den här killen är framför 20 miljoner människor varje dag, men får scenskräck när han lägger handen på piano. Du kunde se att han inte ens visste vad låten var. Han börjar bara knacka på den. Han vet inte vad det skulle bli men när han fortsätter känner han igen melodin. Plötsligt blir hans rytm bättre och sedan upprepar han den. Han blir bättre och bättre på det som han går. Du kan se denna "oh my word" uppenbarelse i hans ansikte. Efter att ha gjort det för mig själv ett par gånger, kommer jag att säga att det är en mycket udda sak.

Det vi försöker göra nu är figur hur långt vi kan gå med det. Vi började med bara en enda not, melodier med en hand. Sedan har min student, Caitlyn, kommit fram till hur man gör ackord. Nu är vårt standardverk Mozarts turkiska mars. För människor som är musiker vet du att två händer är väldigt olika, mycket olika rytmer på dem. Det är en tillräckligt komplex del att lära sig det är icke-trivialt. Vi tar kompletta nybörjare, kastar handskarna på händerna och efter några sessioner spelar de detta komplexa stycke. Jag säger inte att de är bra musiker men jag säger att de känner till notsekvensen. Vi blev intresserade av sedan vad vi annars skulle kunna lära.

En av de saker vi började titta på var att skriva. Eftersom vi räknade ut hur vi skulle göra ackord försökte vi göra punktskrift. Braille involverar dessa sex fingrar, så det är prickarna, eller dessa åtta fingrar om du gör den utökade formen av det. De flesta människor bryr sig inte om att lära sig punktskrift när de blir äldre när de förlorar synen. Det är också en riktig kris med studenter. Cirka 40 procent av dem lär sig aldrig punktskrift åtminstone inte tillräckligt nog för att kommunicera med att använda den. Att lära sig punktskrift för en student som är blind är en av de stora indikatorerna på framtida utbildning och framgång. Dessa punktslärare som undervisar braille är resande, rörande. De går bara från skolan till skolan eftersom det inte finns tillräckligt med krav på att ha en permanent lärare på en viss skola.

Vi började titta på att skapa handskar som kunde lära människor braille passivt. Svaret var ja. Om fyra timmar kan jag ge dig en örhängen och dessa handskar. Medan du gör och du kan göra vad du vill, och det bara upprepas till dig, "Den snabba bruna räven hoppar över den lata hunden." Det gör varje bokstav i taget och du känner bokstaven på fingrarna. Efter ungefär fyra timmar av detta säger jag, "Vad är bokstaven G, " och du vet att det är det. Vad är bokstaven A, "du vet att det är den där. Inte bara kan du skriva det utan du kan känna det. Du kör fingret över pips och vet hur man skriver brevet. Du går, "Okej, nu hur skulle jag skriva det? Okej, så det är G." Till vår överraskning fungerar det bara.

Vad tror du händer i hjärnan för att möjliggöra den typen av anslutning? För att det inte är medvetet och inte heller är det bara intellektuellt? Det är något annat mellan sinnet och kroppen.

Det finns mycket jag verkligen inte vet. Men det finns vissa spekulationer av en kollega av mig som tror att det som händer är att känslan av beröring är en mycket tidigare evolutionär mänsklig känsla som människor fick evolutionärt. Nästan alla djur har en känsla av beröring. Det verkar passa med tanken att beröring är en del av en mycket lågfunktionell del av vår hjärna, mycket låg ödla hjärntyp. Kanske är det exponeringen som verkligen konditionerar oss att känna igen dessa mönster. Medan du försöker lära dig något som språk när du sover, fungerar det inte riktigt bra eftersom ljud är en mycket högre hjärnsak. Det var därför vi inte förväntade oss att textinmatningsexperimentet skulle fungera. Musik är mycket låga hjärnan, medan språksystem anses vara högre hjärnfunktion.

Det är inte språkassocierat.

Höger. Det faktum att inlärning av textinmatning fungerade var en överraskning för oss. Vi är inte riktigt säkra på hur långt vi kan gå. Kan vi lära teckenspråk? Kan vi lära oss dans? Kan vi hjälpa experter att bli effektivare? En av sakerna vi vill göra är att få några baseballkrukor och spela in sina armrörelser och se om vi kan spela det tillbaka till dem i deras stillestånd och öka deras konsistens.

Jag har ingen aning om något av det här kommer att fungera. En sak som vi försökte var Morse Code. Braille är bara en nyckelsekvens. Morskod är rytm.

Vi fann att vi kan använda induktionsomvandlaren på glas. För att knacka på huvudet. Nu fungerar det vanligtvis genom att vibrera din skalle och skicka ljudet direkt till din cochlea, förbi trumhinnan. Det är därför jag kan bära detta och få lite varningar och inte ha något som blockerar mina öron, men om din hit med 15 hertz känns det som en kran.

Vi började med "snabb brun räv hoppar över den lata hunden" stilträning, men nu tappar vi bara på huvudet i Morse Code och tror det eller inte om fyra timmar igen - det verkar som den magiska tiden för alfabetet - De flesta av våra deltagare gick ner till 0-fel… när vi ber dem att skriva S. Vi kan visa dem streck och prickar på papper och de kan skriva bokstäverna för det. Vi kan trycka på sidan av deras huvud igen och de kan veta vilket meddelande vi skickar.

Så fyra timmar och vi får dem att göra detta under ett videospel. Så vi ser till att vi distraherar dem med ett videospel. Videospel visar sig vara den mest effektiva distraktionen.

Det har vi vetat mycket länge.

Det är sant. Vi försöker examen vid examen. Ge dem läsförståelse eller matematikproblem. Det visar sig att den enda som distraherar är videospel.

Det är en intressant sak. Vi pratade bara med Poppy Crum tidigare i dag om ljud och mixande sinnen. Det finns mycket AR på den här utställningen; det finns mycket virtual reality. Några av de mest intressanta sakerna händer inte bara i en mening, utan i en samling sinnen. Så i det här samtalet har vi pratat om det visuella utrymmet, vi har talat om ljudutrymmet och även det fysiska. Den taktila känslan. När du sätter ihop alla dessa saker verkar det verkligen som riktigt intressanta saker börjar hända.

Det är hela saken. Det är inte bara syntesen eller sinnena. Det är också det faktum att det är något du kan ha på dig hela dagen. När du har den typen av närhet till kroppen kan du göra alla möjliga saker med kroppen som vi inte tänkte på förut.

Passiv taktil tappning inlärning är en, och en annan sak som kom upp var passiv taktil tappning rehabilitering. Detta var också en överraskning för oss. Vi hade ett öppet hus som demonstrerade vår pianospel och en av våra kollegor på Shepherd Center - som gör mycket arbete med ryggmärgsskada - hon kom förbi och sa: "Hej, jag vill ha det för mina patienter." Jag kunde inte förstå varför hon ville att människor med tetraplegi skulle utöva piano. Hon sa: "Nej, du förstår inte, Tetraplegia betyder bara att alla fyra lemmar påverkas. Mina patienter med delvis ryggmärgsskada har fortfarande några sensationer och viss finess. Jag slår vad om vi lägger dina handskar på dem och tränade dem att spela piano, att de faktiskt kommer att återfå en viss känsla; förbättra sin känsla och skicklighet."

Hon hade rätt. Vi lärde ungefär åtta olika låtar under åtta veckor. Deltagarna skulle ha handskarna två timmar om dagen, fem dagar i veckan och sedan ha pianolektioner tre gånger i veckan. I slutet av de åtta veckorna gjorde deltagarna som hade handskarna mycket bättre. De hade betydande förbättringar i sin handkänsla och fingerfärdighet jämfört med de människor som bara hade vanliga pianolektioner.

Så denna idé om att vi kan göra rehabilitering, att vi kan lura din hjärna att ägna fler och fler resurser för att förklara dessa signaler som kommer ut från din hand är bara häpnadsväckande. Jag vet inte om du någonsin har haft ett brustet ben eller har haft en förälder som hade en höftoperation, men rehabilitering tar lång tid. Det är väldigt tråkigt och det är svårt att göra det roligt. Det är svårt att få efterlevnad. Om jag bara kan ta på mig en handske och få rehab hända, och förresten, vi kommer att ge dig denna superkraft som du kommer att lära dig spela piano i slutet av det, det är typ av motiverande för en många människor.

Det är vad vi för närvarande gör. Vi gör det just nu. Vi försöker se om detta kan hjälpa till att återhämta känslan i handen efter stroke. Om det visar sig fungera, finns det en miljon människor om året vi kan hjälpa till. Det är väldigt spekulativt. Vi har ingen aning om det kommer att fungera eller inte, men vi får se.

Okej. Låt oss komma till några frågor jag ställer alla mina gäster. Vilka tekniktrender ser du just nu som berör dig mest? Vad håller dig uppe på natten?

Mycket lite håller mig uppe på natten. Jag sover ganska bra.

Du har tre jobb.

Jag har tre jobb. Jag har inte tid att sova. Många människor oroar sig för teknik är det du ser i pressen. Verkligheten är mycket tråkigare än vad många kommentatorer kommer att leda dig till att tro eller filmerna kommer att göra. Jag antar att det jag oroar mig mest för är ekokammaren som sociala medier kan orsaka. Människor kan tro pseudovetenskap. Människor kan ledas till att tro på saker som bara inte är sanna. Människor kommenterar mitt arbete, och det är fel.

Jag arbetar mycket med dövsamhället. Det visar sig att lära ditt barns teckenspråk hjälper dem att skaffa sig språkfärdigheter snabbare. Under den längsta tiden trodde människor att om du undervisar dina barn teckenspråk kommer det att försena början av normalt tal. Det är exakt fel. Att undervisa teckenspråk från födseln verkar hjälpa till att förbättra allas språkkunskaper.

De flesta barn kan egentligen inte bilda orden koherent förrän de är 12 månader gamla. De kan börja bilda tecken, du vet saker som mjölk eller mat. De kan göra det på sex månader. Att få barn att kunna uttrycka sig är det som ger dem kortsiktigt minne. Du lär dig kortsiktigt minne från att lära dig att kommunicera. Att ha barnen att kunna skriva under sex månader tidigare än de kan tala kan ge dem en fördel med minnet och språket i allmänhet. Den ursprungliga forskningen var 20 år gammal men de är ganska säkra på det nu. Så det var inte förrän nyligen att till och med läkemedelsgruppen har sagt: "Åh, du ska inte lära bara döva barn utan alla barnens teckenspråk." Det är en ganska kraftfull sak.

Vi har ett spel som heter Pop Sign som låter hörande föräldrar till döva barn lära sig teckenspråk, eller alla föräldrar att lära sig teckenspråk, genom att spela på denna beroendeframkallande spelwebbplats eller deras mobiltelefoner.

Så när jag kommer tillbaka till din ursprungliga fråga ser jag de andra situationerna där människor som kommer in i ekokamrar särskilt med sällsynt kunskap. Det är lätt att få människor att gå fel väg.

På den optimistiska sidan, vad är du mest uppmuntrad av och mest hoppfull för?

Tja, jag gillar de saker som Elon Musk gör för att försöka konvertera oss till solenergi. Jag är den typ av person som väntar på att dessa takplattor ska finnas tillgängliga så att jag kan bygga om mitt hus.

I mitt eget utrymme, den bärbara datoren, tar den intelligenta assistenten fart. Att se människors liv förändras genom tillgången till den här enheten beror inte bara på att det förbättrar deras personliga liv eller deras yrkesliv, utan bokstavligen räddar liv på operationssalsbordet, bara på grund av den information vi kan leverera just i tid till kirurgen.

Så den här idén att vi kommer att ha dessa intelligenta assistenter som kan hjälpa oss på en sekund för sekund. Slutligen kommer vi till det stadium där det här sakerna blir användbara.

Vilken gadget, en tjänst eller en enhet som du använder varje dag förändrade ditt liv? Vad älskar du mest? Du kan inte välja Google Glass.

Kan jag välja min tidigare prototyp fotosystem ?

Jag antar att jag tillåter det.

Det system jag hade innan Glass var en Micro Optical SVB6-skärm och Twiddler-tangentbordet och en axel-dator. Hårdvaran var inte spelväxlaren, det var möjligheten att ta anteckningar under samtal och hänvisa till dessa anteckningar som har förändrade mitt liv. Om jag sitter vid bordet från en nobelprisvinnare vid lunch, vill jag kunna komma ihåg den konversationen. Jag vill veta bara de fem orden som kommer att stimulera mitt naturliga minne.

Det visar sig att att ha det här tangentbordet så att jag kan skriva under bordet och notera den konversationen har gjort mig till en mycket effektivare människa och också mer socialt graciös. En av de saker som mina elever blev chockade över att se är att innan jag ser någon drar jag upp min Rolodex på dem. Det är sista gången vi pratade tillsammans och vad vi pratade om. Det hjälper mig verkligen ladda om min hjärna om våra samtal.

Antag att jag besöker en gammal vän. Jag har anteckningar som "Hej ja, hans dotters barn gick på college. Hon studerade geologi; Jag ville sätta henne i kontakt med min fru. Jag borde fråga honom om det hände." Det gör det verkligen möjligt för dig, inte bara i din professionella karriär, utan också att vara mer social.

Ja, vi pratade mycket om att dessa enheter gör oss smartare och gör att vi verkar smartare. Den utvidgningen av minnet där du plötsligt är ansluten till mer av ditt liv eftersom du kan komma ihåg mer av det eftersom du kan komma åt mer av det och få dessa påminnelser i realtid, det är ett intressant program.

Under de första dagarna av bärbar datoranvändning gjorde vi tre saker. Vi gjorde förstärkt / alternerande verklighet, intellektuella kollektiver och förstärkt minne. Det intellektuella kollektivet är ett slags sociala medier. Förstärkt verklighet är all raseri i dag. De flesta människor inser inte att det kallades konstgjord verklighet innan vi myntade termen alternativ utvidgad verklighet. Egentligen kan jag berätta varför vi ändrade namnet.

Varför gjorde du det?

I mina tidiga dagar när jag studerade denna konstgjorda verklighet fanns det ett killenamn Myron Krueger, som skrev en underbar bok som heter Artificial Reality 2 . Jag rekommenderar det till alla som vill förstå Augmented Reality. Hur som helst, jag tror att det var Timothy Leary som började genomföra pressintervjuer där han talade om Virtual Reality and Artificial Reality som LSD-drogresor. Då var jag en student som skrev ett bidragsförslag och jag ville inte att de skulle slå upp termen Artificiell verklighet och se att det är anslutet till LSD.

Så jag trodde att jag behövde hitta ett annat begrepp att använda som inte skulle dra upp något på webben som kan få mig i problem, så vi tog detta medvetna beslut att kalla det Augmented Reality. Lyckligtvis för mig dessa andra killar på Boeing tittade också på att använda förstärkt verklighet för att montera det här för att göra elektriska ledningsnät och göra flygplan, och de kom med samma benämning. Så jag tror att jag hade den första skriftliga versionen av den, och de hade den första publikationen om den. Namnet Augmented Reality fastnat.

Fick du bidraget?

Jag gjorde. Det är därför jag är här idag. Tack till NDSEG, National Defense Science and Engineering Graduate Fellowship, tror jag. Om det inte var för er, skulle jag inte vara här. Jag skulle inte vara professor. Det bidraget gjorde det möjligt för min professor att ta på sig en extra gradsstudent och låta mig få bärbara datorer att hända. Så tack så mycket.

  • Snabb framåt: 'Notera till själv' värd Manoush Zomorodi Snabb framåt: 'Obs till själv' värd Manoush Zomorodi
  • Fast Forward: SAPs Steve Singh om automatisering, Business Without Borders Fast Forward: SAP's Steve Singh on Automation, Business Without Borders
  • Fast Forward Q&A: Hur man bygger känslomässiga maskiner Fast Forward Q&A: Hur man bygger känslomässiga maskiner

Om människor vill följa dig och ta reda på vad du arbetar med, hur kan de göra det på nätet?

Det enklaste sättet är att gå till Google Scholar och skriva mitt namn så får du tillgång till alla mina papper och bara klicka på de senaste. Om du vill se något som är mer dag för dag om du går till Google+ community på Wearable computing, det är det jag driver, jag försöker sätta de coolaste saker som händer där ute. Åtminstone från min forskning och vi kommer att börja granska några av de saker som händer i allmänhet.

Snabbspolning framåt: Thad starner pratar Google-glas, hjälper hundar att prata