Kognitiva och konversationsverktyg är i centrum vid microsoft build

Det som förvånade mig mest på Microsoft Build-konferensen den här veckan var betoningen på kognitiva och samtalstjänster, då Microsoft rullade ut sin vision för hur sådana tjänster kommer att förändra applikationer i framtiden och försökte övertyga utvecklare att komma ombord med denna vision. Mycket av det kommer inte att vara uppenbart för slutanvändare förrän senare - de största funktionerna för slutanvändare för tillfället är förbättringar av Cortana personliga assistent och nya färgfunktioner i "Jubileumsutgåvan" i Windows 10 som kommer ut i sommar. Men drivkraften för att se till att Microsoft följer med sina konkurrenter inom maskininlärning, intelligenta agenter och meddelandeappar riktar sig mer till utvecklare för nu, eftersom företaget redan har grundläggande applikationer men behöver ett ekosystem för att göra dem mer imponerande.

Det största nya temat som introducerades av VD Satya Nadella var "konversationer som en plattform" som verkar innebära att ta konversationsplattformar - från Cortana till Skype till tredjepartsapplikationer - och lägga till intelligens till dem. Tanken är att lägga till förståelse, preferenser och särskilt sammanhang till sådana applikationer.

Han sa att det finns tre huvudaktörer i sådana samtal: människor, digitala assistenter och bots. På person-till-sidan talade han om applikationer som Skype Translate, som försöker möjliggöra bättre konversationer på flera språk. En digital assistent, sa han, kommer att veta om dig på flera enheter och kan hjälpa till med vardagliga uppgifter, till exempel att schemalägga möten. Bots är nya applikationer som du kan prata med på naturligt språk, och han talade om en vision där du kan ringa bots i en konversation.

Allt detta leder mot en ny plattform, sade han, där mänskligt språk blir användargränssnittet, bots blir de nya applikationerna och digitala assistenter är som "meta-appar", till exempel webbläsaren, som delvis finns för att ringa andra applikationer, med alla dessa applikationer inklusive intelligens. Han sa att detta skulle bli lika stort av en plattformsändring som GUI, webben eller touch på mobil.

Nadella talade om hur visionen var "inte människor mot maskin, utan snarare en man med maskiner", med människor som ger empati, känslor och bedömningar och maskiner som ger beräkningskraft. Men han sa att det var viktigt att ha ett "principiellt tillvägagångssätt" för maskininlärning och använda det för att öka mänskliga förmågor och erfarenheter, vara pålitliga (när det gäller integritet, säkerhet och efterlevnad), inkluderande och respektfull.

På den sista punkten sade han att det var viktigt att sådana applikationer representerar "det bästa för mänskligheten, inte det värsta", och pekade på Tay, Microsofts misslyckade experiment för att införa en chatbot förra veckan, som måste tas bort en dag senare när det började upprepa stötande anmärkningar. Nadella medgav att företaget gjorde det fel och sa att "vi insåg snabbt att det inte var upp till märket", men sa att företaget skulle fortsätta att inkubera sådan teknik och noterade att dess bots i Kina och Japan inte har haft samma problem.

Bland de nya detaljerna är Cortana som kommer till Outlook, så det kan bättre förstå dina e-post, kontakter och kalender och göra saker som omplanering av möten - en bra om inte helt ny idé - och kunna föreslå saker du kanske vill göra nästa baserat på din kalender, e-post eller konversationer du har haft. Och en ny version av Skype nu tillgänglig lägger till stöd för Cortana och kan stödja bots inom sina videochattar, för att göra saker som att transkribera korta videosamtal och vara tillgängliga för alla typer av tjänster. Microsoft kallade detta med Skype som en "konversationsduk." Även detta verkar inte vara en ny idé - saker som WeChat och Facebook Messenger har haft bots under lång tid - men det visar hur Microsoft försöker förvandla detta till en plattform. Det visar också hur detta kan fungera över plattformen, med demonstrationen som börjar på en Windows-PC och avslutas i Skype på en Android-telefon.

Men de flesta av de verkliga nyheterna verkar vara i nya erbjudanden för utvecklare, med vad som nu kallas Cortana Intelligence Suite (tidigare Cortana Analytics Suite, ett bra exempel på vilka termer som är heta under ett visst år).

Detta är effektivt en körtid byggd på Azure-plattformen som inkluderar en botram, kognitiva tjänster och maskininlärning.

Botramen gör det lättare att skapa en bot eller ansluta en till andra tjänster. Utvecklare kan skapa dessa i node.js eller C #, och en demo innebär att skapa en bot som beställer pizzor från Domino's. Det som jag tyckte mest intressant här är att det är tänkt att vara en öppen ram, med bots som inte bara fungerar inom Cortana och Skype, utan också Slack, Telegram, enkla SMS och andra tjänster. Naturligtvis var några av de mest intressanta alternativa tjänsterna inte på den listan - inklusive Apples Siri, Amazons Alexa, eller Facebooks Messenger eller WhatsApp.

En annan demo visade hur några kommande verktyg kommer att göra det lättare för utvecklare att lägga till eller ändra regler för bots och deras förståelse av det naturliga språket. Det kan föreslå andra ord som människor kan använda som har liknande betydelser, använda maskininlärningsbaserat naturligt språkförståelse för att förbättra ordförrådet över tid eller överlämna förfrågningar till en mänsklig assistent om botten inte förstår vad man ska göra.

Slutligen introducerade företaget en mycket större uppsättning kognitiva tjänster och flyttade upp till 22 olika tjänster från fem förra året. Dessa tjänster täcker ett brett spektrum av scenarier, inklusive objektigenkänning, tal, kunskap och sökning. Ett exempel handlade om en bildtextbot som lägger till bildtexter till bilder med en kombination av objektigenkänning plus naturligt språk. Ett annat verktyg som heter CRIS (Custom Recognition Intelligence Service) tycktes göra ett mycket bättre jobb med att konvertera tal till text än konventionella metoder. Slutligen demonstrerade de med hjälp av verktygen för att göra analyser på Twitter-feeds, ta prov på profilbilder för att bestämma en affischs ålder och kön.

Naturligtvis tillkännagav Microsoft en mängd andra verktyg som är inriktade på utvecklare också, vilket gjorde ett särskilt tryck på att Windows ska vara den plattform de använder för att utveckla applikationer oavsett plattform. Det mest överraskande av dessa nya verktyg - åtminstone tills rykten förra veckan - är tillägget av BASH-skalet från Linux, men andra verktyg inkluderar en stationär app-omvandlare för att flytta traditionella Win32-skrivbordsapplikationer till nya Universal-appar; ett stort tryck för Xamarins korsutvecklingsverktyg, vilket föreslår att utvecklare kan skapa kärnan i en plattformsapplikation och de specifika förändringarna för varje miljö, inklusive Android och iOS samt Windows, allt på en Windows-plattform.

Dessutom visade Microsoft upp "dev-läge", ett verktyg för att förvandla en Xbox One till en utvecklarplattforms maskin, som levereras idag; och sa att den första versionen av HoloLens också var tillgänglig för utvecklare från och med idag.

Nadella började morgonen med att prata om hur vi nu ser mer diskussion om teknikens roll i vårt samhälle, eftersom tekniken har blivit mainstream och inbäddad i våra dagliga liv, företag och ekonomier. Han sa att det fanns frågor om tekniken driver ekonomisk tillväxt för alla, eller om den ekonomiska tillväxten har stannat trots teknikutgifterna; om det möjliggör jobb eller förskjuter dem; och om det möjliggör eller kommer i vägen för att bestå värden, till exempel integritet.

"Jag är optimist, " sade han och tro att teknik kan driva ekonomisk tillväxt över hela världen, kan stärka oss i våra dagliga liv och kan stödja vårt bestående värde. För att göra detta, sade han, måste vi se till att vi använder teknik på sätt som möjliggör detta och föra tillbaka det till Microsofts nuvarande uppdrag för att "ge alla människor och alla organisationer på planeten möjlighet att uppnå mer." Detta, sade han, måste börja med utvecklare.

Han avslutade grundtonen med en video som visade hur Saqib Shaikh, en blind utvecklare på Microsoft, har kunnat använda kognitiva tekniker med Pivothead smarta glasögon för att få information om världen runt honom. Exempel inkluderar att höra människor som lekte i en park och svepa hans glasögon för att höra att det var en ung flicka som kastade en frisbee. Detta är bara ett forskningsprojekt nu, men det var ganska inspirerande, och Nadella tog utvecklaren upp på scenen.

För mig såg jag grundtonen som ett steg mot att skapa nya plattformar baserade på maskininlärning och på bots, samt ett erkännande av att Microsoft, så lika framgångsrikt som Windows har varit, långt ifrån dominerande i molnet och i princip har tappat striden att bli en viktig mobiltelefonplattform. (Faktum är att bara en demo av hela keynote gjordes på Windows Phone, och det var en Skype-demo som kunde ha gjorts på Android lika enkelt.) Inte överraskande, då ser Microsoft fram emot nästa plattform - där, naturligtvis kommer det att möta både traditionella och nya konkurrenter.