Yann lecun diskuterar kraften, gränserna för djup inlärning

Vid en workshop om AI och Future of Work tidigare denna månad, talade Yann LeCun, chef för AI Research på Facebook och grundande chef för NYU Center for Data Science, om "makt och gränserna för djup inlärning." LeCun, som var banbrytande för de invändiga neurala nätverk som är kärnan i många av de senaste framstegen inom AI, var båda entusiastiska över de framsteg som fältet har gjort under de senaste åren och realistiskt vad sådana system kan och inte kan göra.

Det har varit flera AI-vågor, sade LeCun, och noterade att även om den nuvarande vågen har fokuserat på djup inlärning, är vad som kommer att vara "uppfattning", med de största exemplen applikationer som medicinsk avbildning och självkörande bilar. Nästan alla dessa applikationer använder övervakad inlärning och mest använder indragna neurala nätverk, som LeCun först beskrev 1989 och som först implementerades i karaktärigenkänning i ATM 1995. LeCun sade att patentet på sådana nätverk upphörde att gälla 2007.

Det är de stora datauppsättningarna med stora provstorlekar såväl som de enorma ökningarna i datorkraften (med hjälp av Geoffrey Hintons arbete med att ta reda på hur man använder GPU: er för bildigenkänning) som har resulterat i den mest förändring de senaste åren. Även för LeCun har framstegen inom bildigenkänning varit "inget mindre än förvånande." Även om uppfattningen "verkligen fungerar" är det som fortfarande saknas resonemang.

LeCun talade om tre olika slags tillvägagångssätt, och begränsningarna för var och en av dem. Förstärkningslärande kräver ett stort antal prover. Det är bra för spel, eftersom systemet kan köra miljoner försök och bli bättre och bättre, men det är svårt att använda i den verkliga världen, eftersom du inte vill köra bil från en klippa till exempel 50 miljoner gånger, och realtid är en faktor i den verkliga världen.

Övervakad inlärning, som är det mesta av det vi ser nu, kräver en medelhög mängd feedback och fungerar bra. Men övervakad maskininlärning har vissa problem. LeCun sade att sådana system återspeglar fördomar i data, även om han sa att han är optimistisk kan detta problem övervinnas och anser att det är lättare att ta bort förspänningar från maskiner jämfört med människor. Men det är också svårt att verifiera sådana system för tillförlitlighet och svårt att förklara beslut som fattats baserat på utgångar från sådana system, och LeCun talade om låneansökningar som ett exempel på detta.

Oövervakat eller förutsägbart lärande, som för närvarande undersöks för saker som att förutsäga framtida ramar i en video, kräver mycket feedback. Oövervakat inlärning innebär att förutsäga det förflutna, det nuvarande eller det framtida utifrån vilken information som finns tillgänglig, eller med andra ord, förmågan att fylla i tomma ämnen, vilket LeCun sa är effektivt vad vi kallar sunt förnuft. Han konstaterade att spädbarn kan göra detta, men att det har varit mycket svårt att få maskiner att göra det och pratade om hur forskare arbetar med tekniker som generativa motsatsnätverk (GAN) för förutsägelser gjorda under osäkra förhållanden. Vi är långt ifrån att ha en komplett lösning, sade han.

LeCun talade om de tre typerna av lärande som att vara som delar av en tårta: förstärkningsinlärning är körsbäret på toppen, övervakat att lära sig isläggningen och förutsägande lärande är huvuddelen av kakan.

LeCun förutspådde att AI kommer att förändra hur saker och ting värderas, med varor byggda av robotar som kostar mindre och äkta mänskliga upplevelser kostar mer, och sa att detta kan betyda att det finns "en ljus framtid för jazzmusiker och hantverkare."

Sammantaget sa LeCun att AI är en General Purpose Technology (GPT) som ångmotor, el eller datorn. Som sådan kommer det att påverka många områden i ekonomin, men det kommer att ta 10 eller 20 år innan vi ser en effekt på produktiviteten. LeCun sa att AI kommer att leda till byte av jobb, men konstaterade att teknikutplacering begränsas av hur snabbt arbetare kan träna för det.

När det gäller en "sann AI-revolution", sa LeCun att detta inte kommer att hända förrän maskiner får sunt förnuft, och att fastställa principerna för att bygga detta kan ta två, fem, tjugo eller fler år; utöver det kommer det sedan att ta år att utveckla praktisk AI-teknik baserad på dessa principer. När allt kommer omkring, konstaterade han, tog det tjugo år innan invändiga nät blev viktiga. Och det är allt baserat på antagandet att principerna är enkla; det blir mycket mer komplicerat om "intelligens är en kludge."