Apple, google, och vägen till den kännande assistenten

Jag tittade på grundtonen från Apples Worldwide Developer Conference den här veckan och från Googles I / O-konferens för två veckor sedan. Det som stod ut mest för mig var den ansträngning som båda företagen - liksom Microsoft - satsar på att skapa intelligenta system som vet så mycket som möjligt om dig.

Sådana system vet vem du är, var du är och all information på skärmen, i allmänhet med målet att agera som en "personlig assistent" som förutser dina behov. Detta är ett oerhört ambitiöst mål som ett av dessa företag verkar förstå kan vara nästa stora steg i datoranvändning.

När det gäller Apple och Google kan andra erbjudanden som tillkännagavs vid sina nyckelord få mer uppmärksamhet, eller kan ha mer synlig effekt på kort sikt. Google Photos fick mycket uppmärksamhet; både Apple Pay och Android Pay verkar vara på gränsen till att bli mycket vanligare, och förbättringarna i Android Wear och WatchOS kan mycket väl förekomma en utströmning av applikationer för bärbara. Men förflyttningen till mer intelligenta, mer omfattande totala system kan visa sig ha den största långsiktiga effekten.

Apple, Google och Microsoft kommer alla från olika håll. Men de verkar vara konvergerande på system som har en mobil front-end som kan kontrolleras genom att skriva eller röst, backas med en uppsättning internetbaserade tjänster och processer som innehåller en enorm mängd data om dig och gör slutsatser baserade på den informationen och vad du gör.

Vägen till denna konvergens har banats av ett antal introduktioner under de senaste åren. Många har arbetat med personliga assistenter i flera år, och Siri utvecklades ursprungligen som en fristående applikation av en spin-off från SRI International. 2011 introducerade Apple Siri som en "virtuell assistent" med iPhone 4s, främst agerade som en främre del av saker som webbsökning, lokalt väder och restauranguppslag. 2012 introducerade Google Google Now som en del av Android 4.1 Jelly Bean och levererade information om en serie "kort" som svarade på frågor. Med tiden växte detta till att ge mer information och täcka fler domäner.

Till en början tyckte jag att båda var intressanta, men röstkontrollen verkade vara mer av ett "parlor trick" än ett användbart program.

Men under de senaste åren har båda förbättrats snabbt. Till följd av att fler användare gav båda företagen mer data att arbeta med. Detta, i kombination med mer intelligenta algoritmer och mycket arbete med serverbehandling, resulterade i system som nu är mycket mer exakta när det gäller att förstå vad du frågar än de var vid lanseringen. Båda kan nu svara på frågor på fler domäner. Och Google Nu kan dra slutsatser om exempelvis var ditt hem och ditt kontor baseras på dina vanliga platser.

Microsoft introducerade Cortana förra året som en del av Windows Phone 8.1-utgåvan och beskrev den som den första riktigt personliga "digitala assistenten" eftersom den förstod mer av vad du gjorde i andra applikationer utöver webbsökning. Det kan göra saker som ställa påminnelser och förstå vem som var viktig för dig och vem inte var, och även om det inte fanns så många användare, verkar det också ha förbättrats under de senaste åren. Cortana kommer nu att bli en del av Windows 10 på stationära och bärbara datorer också.

Detta leder oss till de nyare tillkännagivanden, där alla tre leverantörerna verkar låna funktioner från de andra och verkligen försöker förbättra sina erbjudanden.

Google Now On Tap

På Google I / O för ett par veckor sedan talade Google Senior Vice President Sundar Pichai om hur företaget fortsatte att fokusera på sökning. Men när det gällde funktioner i den senaste versionen av Android, var det som fick min uppmärksamhet uppsättningen av nya funktioner för den personliga assistenten från Google Now som heter "Nu vid kran."

Pichai berättade om Googles investering i djup inlärning och maskininlärning och sa att det har hjälpt Google att minska ordfelfrekvensen i sitt taligenkänning från 23 procent till 8 procent det senaste året.

Google Nu har redan några sammanhangsfunktioner - till exempel vet den var du är, så den kan uppskatta tiden det kommer att ta dig att komma hem, och den kan visa detta på de olika "korten" som den använder för att visa information eller inom aviseringar.

Men Aparna Chennapragada, chef för Google Now, sa "Vi frågade oss själva hur kan vi få snabba svar på snabba frågor utan att lämna sammanhang. Hur kan vi hjälpa dig att göra saker i så få steg som möjligt?" Resultatet, sade hon, var en ny tjänst som hjälper dig "just nu" oavsett vad du gjorde i telefon. Detta är Now On Tap, och hon sa att det kombinerar Googles kunskapsdiagram - dess förståelse för mer än 1 miljard enheter (som basebollag och bensinstationer) - med sammanhang och kontakter med andra applikationer för att ge dig information proaktivt.

I demonstrationen som hon visade fick hon ett meddelande i en app som föreslog en restaurang för middag och bad henne hämta kemtvätten. Genom att trycka på och hålla hemknappen hämtades Google Now-kortet och funktionen Now on Tap hämtade grundläggande information om restaurangen, inklusive länkar till navigationskartor, Yelp och OpenTable; det ger också en påminnelse om kemtvätten. Genom att trycka på OpenTable-länken öppnade appen, men mer imponerande öppnade den direkt på restaurangens sida.

Tanken är att operativsystemet nu förstår sammanhanget med var du är och vad du har gjort på resten av enheten. Ett annat exempel är att om du lyssnar på musik kan du bara hålla hemknappen och ställa en fråga om låten. Google Nu vet vilken låt som spelas och kan sedan svara på frågor om den.

"Du kan få information direkt", sa Chennapragada. "I alla dessa exempel - artikeln du läser, musiken du lyssnar på, meddelandet du svarar på - nyckeln är att förstå momentets sammanhang. När den nu har förståelse kan den ge dig snabba svar till snabba frågor, hjälper dig att göra saker vart du än är i telefonen."

Apple betonar intelligens

Vid sin WWDC-keynote på måndag diskuterade Apple ett antal förändringar som kommer i iOS 9, men ledde med begreppet "intelligens".

Craig Federighi, Apples senior vice president för programvaruteknik, talade om att göra Siri till en "proaktiv assistent" som kan göra saker som påminner dig om en specifik uppgift eller en specifik länk i en webbläsare vid en speciell tidpunkt eller när du kommer till en viss plats. Om du till exempel får ett textmeddelande om ett kommande evenemang kan du säga Siri att "påminna mig om detta" och det kommer att förstå att du hänvisar till händelsen och ställer in en påminnelse. Det kan göra saker som att automatiskt lägga till inbjudningar i ett textmeddelande i dina kalendrar.

Den kan komma ihåg de appar du brukar använda vid en viss tid på dagen, och presentera dem för dig på en enkel ikon, och lägger nu till "beskrivande kort" som ger dig mer information om resultaten av en sökning (som såg ut liknande i koncept till korten i Google Nu).

Och det verkar bara ha förbättrats. Federighi sa att Apple har sett en minskning med 40 procent i ordfelfrekvens under det senaste året till 5 procent. Och det är smartare om att hantera saker i själva systemet, nu kunna svara på naturliga språkfrågor som "visa mig bilder från Utah i augusti förra året."

Det mest intressanta är att det erbjuder ett API för sökning, så att det kan hitta innehåll i appar. Till exempel talade han om att han kunde koppla in djupt i Airbnb-appen för att hitta tillgängliga hyror i ett visst område; eller leta upp information om recept i en annan applikation.

I en demo visade han upp en ny sökskärm du kommer till genom att svepa direkt från startskärmen och hur systemet i sig själv ger förslag om vem du kanske vill kontakta, baserat på dina vanligaste kontakter och på kommande evenemang. Han visade hur det sedan kan "djupa länk" till specifika applikationer för att ge dig mer information. Liknande funktioner fanns tillgängliga i Siri.

En sak som Apple betonade var integritet, med Federighi som säger "Vi kunde ge intelligens genom hela erfarenheten i iOS 9, men vi gör det på ett sätt som inte äventyrar din integritet." I det som verkligen lät som en grävning på Googles reklambaserade modell sa han att Apple inte bryter dina foton, e-post, foton eller molninformation. Han sa att all information görs på enheten och förblir på enheten under din kontroll, och när systemet måste skicka information till molnet för att göra sökningar eller leta efter trafik gör det det anonymt utan information delad med tredje part. "Du har kontroll, " sade han.

Cortana Going Cross-plattform

Du kan hävda att Microsoft hade ett försprång med att tillhandahålla många av de personliga assistentfunktionerna med sin Cortana-assistent för Windows Phone. Det var den första av de tre stora telefonassistenterna som försökte agera som en riktig assistent när det gäller att schemalägga påminnelser och integrera mer djup med några av telefonapplikationerna.

Cortana är också en del av Windows 10 på skrivbordet och den bärbara datorn. Senast meddelade Microsoft att en version av Cortana skulle komma till iOS- och Android-telefoner tillsammans med en "Phone Companion" -app som ansluter din PC till Cortana, så att du kan starta uppgifter på en enhet och slutföra dem på en annan.

Som Microsofts Joe Belfiore beskrev det, "Du kan låta Cortana påminna dig om att hämta mjölk nästa gång du är i mataffären, och då kommer din telefon att vakna och surras av påminnelsen. Du kan spåra en flyga med Cortana på både din telefon och din dator och få uppdateringarna på enheten du är på så att du inte missar någonting."

Slutsats

På många sätt hör vi alla tre företagen flytta tillsammans, särskilt i "proaktiva" ansträngningar. Google och Apple sade att deras verktyg skulle vara mer "proaktiva" och använda termen för att beskriva hur de vill att deras personliga assistenter åtminstone verkar som om de kan förutse vad du kommer att leta efter.

Alla tre fokuserar på att bättre ansluta till de andra applikationerna på ditt system, med Apple och Google tillkännager ett fokus på "djupa länkar." De vill specifikt länka till saker i en app, som att gå till rätt skärm i OpenTable för att reservera en tabell. Vid I / O visade vice verkställande direktör för teknik för Android Dave Burke hur Android M nu har bättre sätt för länkar att gå från länkar i e-post eller webbplatser till rätt plats i en applikation, utan den aktuella skärmen "disambiguation".

Resultatet av allt detta är en otydlighet av linjerna mellan operativsystemet och apparna som kör ovanpå det, för att ge en mer sömlös upplevelse och system som verkligen vet mycket mer om dig.

Allt detta borde vara ganska användbart. Men av olika skäl kan allt detta också vara läskigt. Det är alltför lätt att föreställa sig möjligheten för missbruk av uppgifterna, vare sig det bara är för övergripande marknadsföring eller för verkliga invasioner av integritet. Jag är nyfiken på hur vart och ett av företagen kommer att hantera detta. Jag undrar om en av anledningarna till att Google inte har kallat sin tjänst som "personlig assistent" beror på att det låter lite förskräckande från ett företag vars primära affärsmodell är inriktad på att samla in data om människor och använda dem för att bättre rikta in sig.

Det är också lätt att överdriva funktionerna i dessa system. Konceptet med en allvetande, all ser-maskin kan vara skrämmande, men jag är inte orolig för att något av dessa system utvecklar "stark AI" i betydelsen The Terminator 's Skynet eller 2001: A Space Odyssey 's HAL när som helst inom en nära framtid. Som en deltagare sa vid en ny panel som jag deltog sa, "Tänk Jarvis, inte HAL" - berättar om den hjälpsamma intelligens som passades i Iron Man-filmerna, i motsats till den mördande maskinen från 2001. De närmaste åren, frågan kommer inte att vara om dessa system är för smarta, men om de kommer att vara tillräckligt smarta för att vara riktigt användbara eller om vi hittar oss som bara använder dem som gränser för webbsökningar.

Självklart är djävulen i detaljerna, och vi vet inte riktigt hur bra något av systemen fungerar förrän de nya versionerna skickas. Samtidigt som röstigenkänning förbättras, utökar detta till nya domäner fler utmaningar. Och jag är inte klar över hur bra jobb systemen kommer att göra med att låta dig välja de tjänster du vill använda som motsätter sig att förvaltar Apple eller Googles egna tjänster.

Men det övergripande konceptet är tydligt och verktyget kan vara fantastiskt. Om de distribueras korrekt bör sådana tjänster göra att våra enheter känner sig enklare att använda, mer intelligenta och mer personliga. De kommer att ha utmaningar och kommer att väcka vissa bekymmer, men jag antar att de kommer att göra mer för att ändra hur vi interagerar med våra enheter än någonting sedan pekskärmen.