Ellen ullman om kod, samvete och museet för mig

För detta avsnitt av Fast Forward, talade jag med Ellen Ullman, författare till Life in Code, en serie uppsatser som börjar 1994 när hon var programmerare i Silicon Valley. Hon lever nu med att skriva mestadels fiktion, men Ullman är fortfarande en angelägen observatör av regionen, teknikindustrin och hur verktygen vi gör förändrar oss dagligen.

Dan Costa: Dina programmeringsrötter går ganska långt tillbaka. 1978 var du en engelsk major som bestämde sig för att byta till programmering. Varför skulle du göra något liknande?

Ellen Ullman: Tja, jag blev engagerad i en grupp som gjorde video, Sony Portapak var en av de maskiner som PC. Dessa saker som har kontrollerats av behemoth-företag var plötsligt i dina egna händer. Du kan skapa dina egna videor, dina egna historier. Du kan gå runt och visa dem. Det fanns inga begränsningar. Du kunde göra porr etc., och det var en väldigt spännande tid. Jag fick veta att jag gillade att arbeta med maskiner. Möjligheten att arbeta med dessa maskiner för att göra social förändring och konst var spännande. Så småningom lämnade jag Ithaca för att åka till San Francisco.

Man måste lämna universitetsstaden eller bli ynklig. Och en dag promenerade jag på Market Street och där i fönstret till kära avlägsna Radio Shack var TRS-80 - kärleksfull känd som Trash-80 - och jag tänkte: "Åh, är det något som en Portapak? Vad kan gör du med den här saken? Kan du göra konst, social aktivism?

Så på en impuls köpte jag den. Och sedan var det frågan om programmering. Det är lite svårare än att komma igång med en Portapak, tryck på knappen. Jag tyckte att det var svårt, men det bra svårt. Jag tror att alla som vill gå in i programvaruteknik måste känna, "Ja, det här svårt, men också jakten." Om det inte finns någon förförelse för att lösa problem kommer det att bli en mycket olycklig upplevelse.

Och människor idag förstår inte riktigt det då, när du köpte en TRS-80 på Radio Shack, gjorde det inte så mycket. Du måste få den att göra saker. Du måste lära dig hur du använder den, och det är den inbjudan som du tog upp den på?

Ja, det fanns en tom skärm. Det var redan en föråldrad tv vid den tiden. Det hade ett tangentbord, och du spelade in program på en reel-to-reel-kassett. Och jag tror att det höll kanske 4K. Det var den maximala programstorleken. Och det hade det BASIC språket. Och jag vet inte om folk vet skillnaden mellan tolkat och sammanställt språk. Tolkat betyder att det bara kör det framför dig. Så du, du vet, ange två poäng, du vet, två plus två och det visar dig fyra. Det är lätt att få de första små sakerna igång. Att göra något betydelsefullt var mycket svårt, särskilt eftersom tidiga BASIC hade många fällor. Som du kan säga "Gå till" men det gick inte automatiskt tillbaka. Så du kan tappa dig i flödet, och det var känt som Geddy-koden. Återigen var det frustrerande och spännande.

När jag tittade igenom boken och du pratade om de första åren, det som slår mig är de människor som du arbetade med. Det verkar nästan mer som en ragtag-samling konstnärer än ingenjörer och hardcore-programmerare. Kan du prata lite om esprit de corps eller de personer du jobbade med?

Ja. Om du tittar tillbaka och - du vet vem Stewart Brand är, hela jordens elektroniska katalog, The Well - det var en av de första onlinemiljöerna. Och folket lockades av det. Du känner till John Markoffs bok, What the Dormouse Said ?

Säker.

Du vet, stoners och dropouts och människor som bara var galen och ville ha kul. Det var den atmosfär som drog mig in, som Portapak. Det var människor som hade kul och utforskar. Och de första människorna som jag jobbade med när jag var tvungna att ta ett jobb och tjäna pengar var också så. En före detta Sufi-dansare, en kvinna som gjorde en avhandling och konsthistoria, en kille från Frankrike som rökt Gauloises, även om rökning inte var tillåtet. Och han sa: "En dator sa aldrig till mig att sluta röka." Och det är sådana människor vi arbetat med.

Någonstans runt '83 till '86 förändrades det. Datavetenskap blev en vanlig examen, Software Engineering. Och vi förenades av en mycket manlig, själv vald grupp som hade studerat datavetenskap som grundutbildning. Och stämningen förändrades fullständigt. Folk var svårare att prata med. Enligt min erfarenhet var de inte lika väl rundade. Det är en mycket bred generalisering.

Jag arbetade med män som var mycket väl rundade. Du kan citera Shakespeare med det bästa av dem. Men hela atmosfären förändrades. Jag antar att det beror på att yrket var tvungen att förlora sin oskuld.

Hur inspirerades du att göra kodning?

Nåväl, det var igen, "Wow, vad är det här?" Vet du, när jag fick mitt första riktiga program körde, var det en rusa av nöje. "Wow, det fungerar. Jag gjorde det." Det gick från ingenting till något. Och det var som första gången jag fixade en förgasare. Du vet, du tar saker isär. Du sätter ihop dem igen och bilen startar, eller hur? Så detta är ett sällsynt nöje, och det är svårt att komma till. En gång hade jag den känslan, det var lite som ett läkemedel, du vet. Du blev så hög och sedan förlorar du den och sedan får du tillbaka den, eller så försöker du.

Du pratar mycket om detta i boken. Du säger att alla borde lära sig att koda eftersom det är svårt. Och den svårigheten kommer så småningom att vara känslan av tillfredsställelse som du får av den.

Jag ber inte alla att lära sig att koda. Som sagt, människor måste utsättas för det. Poängen är att avmystifiera koden. Vi är omgiven av algoritmer som styr oss, och det är ingen nyhet för någon som till exempel har hackats av Equifax. En tredjedel av USA: s vuxna befolkning. Så, poängen är att veta nog att det är skriven av människor och att det kan ändras av människor.

Det finns en rådgivare i Bronx som föreslår en räkning där som stadsdelar tittar på alla algoritmer som de använder, och de går från polisuppdrag till skräpupptagningsscheman till vilken skola barnen går på och letar efter partiskhet i dem. Det här är den process som jag hoppas på, att människor i allmänheten börjar se att dessa saker kan förändras. De har förspänning och att förspänningen kan hanteras.

Så detta leder oss till en av dina viktigaste punkter, som är att koden i sig innehåller fördomar i innehållet. Och jag tror att det med algoritmer tar det till en helt annan nivå. Men beroende på vem som skrev koden kommer den att återspegla vissa politiska fördomar, kulturella fördomar. Kan du bara prata lite om hur det blir inbäddat i själva koden?

Programvaruingenjörer avgör inte vilken kod som ska skrivas. Detta kommer från toppen. Och folket överst är mycket rika, överväldigande vita män, och deras önskan är vad de tycker är bra för samhället eller vad uppdragen är.

Till exempel har en enkel leverans-app valt postnummer. Vad betyder det? Att vi inte kan tjäna pengar med människor med marginella inkomster? Eller vill vi inte skicka bilar upp dit? Det är ett enkelt exempel. Det går in, handlar det allt? Är det vad folk behöver? Vilken typ av social synpunkt uttrycker det?

Det är hela vägen ner till algoritmer och ännu djupare än så. Jag har precis läst ett papper av Phillip Rogaway. Han levererade det 2015, och det handlar om de moraliska konsekvenserna av kryptografi. Och han talar om kryptografi som kraft. För vem skriver du det? För vad använder de det? Och så kan du se från den enklaste appen, ner till botten av det som anses matematiskt, förspänningen är inbyggd.

Jag tror att du har lagt fingret på det när du pratar om "Är det hela shopping?" eftersom det verkligen är allt motiverat av handel nu, och anledningen till att du riktar in vissa postnummer är för att du kan tjäna pengar i dessa postnummer. Och det formar produkten och sedan blir det denna förstärkningscykel. Samma sak händer med varje institut. Det är anledningen till att Amazon köpte Whole Foods och inte Stop & Shop. Det är på grund av dessa demografiska fördomar, och det är bara marknaden på jobbet. Men dessa marknadskrafter avgör i stort sett den tekniska utvecklingen också nu.

Jag har ett exempel på något som jag tycker är bara underbart. Det var en grupp som talade om, "Detta kodar från grunden." Nej, människor sitter inte i sina glasinneslutna utrymmen som vi arbetar i och beslutar att "Jag är en ideell och detta kommer att gynna samhället och förändra världen." Detta är en grupp som arbetar på marken med odokumenterade arbetare.

Nu står dessa killar på gatuhörnet, och de plockas upp från någon i en pickup eller en skåpbil, och sedan släpps de senare, och några av dem får inte betalt. Så de frågar: "Hur kan vi signalera varandra? Gå inte in i det här. Det här är en dålig kille." Det är något som depressionen. Hobos som brukade sätta dessa tecken och sa att du vet: "En dålig man bor här. En snäll kvinna bor här."

Och så närmade de sig en grupp. Återigen kom det till kodarna från marken. Och de sa: "Kan du bygga oss något?" De flesta av dessa killar har mobilappar - appen behåller naturligtvis anonymiteten - och de kan sätta i denna registreringsskylt. "Du letar efter det och tar inte jobbet." Du kan fråga, tjänar någon pengar? Så småningom, ja, för att dessa människor som är lite desperata efter arbete inte luras lika mycket.

Det är som ett rykte-system. Samma typ av rykte, samma som är inbyggt i Uber, där ryttare får betyg och förare får betyg och helst de bästa förarna och de bästa ryttarna får belöning på något sätt. Det är ett fascinerande exempel. Har du några råd för personer som inte är kodade eller som vill utforska det som ett karriäralternativ?

Rådgivning till människor som vill utforska det? Först och främst finns det möten överallt. Nej, jag borde inte säga överallt. De finns också i utvalda postnummer. Det finns tusentals och tusentals i Bay Area, där du kan registrera dig och träffa andra människor som kommer att lära dig att koda. Det finns några för kvinnor särskilt. Det är till stor hjälp.

Jag sökte efter andra platser i landet. Buffalo, New York, Utica, New York. Och det fanns ingenting. Så, vad gör vi med det? Så massivt onlinekurser verkar vara en möjlighet. Och en av de saker som jag skrev om, och vad jag gjorde var, väl, registrera mig för att granska det. Och jag såg samma förspänning hos lärarna.

De gjorde antaganden om amerikansk kultur. Och du vill tjäna en miljard dollar. En miljon skulle inte räcka för dig. Alla likadana. Jag tror att folk kan ladda ner dessa videor, få en grupp tillsammans, du vet. Du sticker ut tungan mot killen som berättar för dig socialt nonsens. Och hjälpa varandra och lära dig att koda.

Det finns också kodakademier som kostar tusentals dollar, och de stängde faktiskt. De garanterar människor, du kommer att tjäna tre siffror inom åtta månader. Jag tycker inte att det är en bra väg. Helst skulle skolor undervisa om det. Och jag menar inte att kodning går med i humaniora som en grundläggande läskunnighet. Jag tror att människor med humaniora måste undersöka kodningen för att få den kunskapen om människor som studerade historia och sociologi och främmande språk, hur andra människor lever i världen. Ta det med i kodningsarenan.

Jag vill prata lite med dig om sociala medier. Redan 1998 skrev du en uppsats som heter The Museum of Me, och jag hör den frasen bandas om som om den var helt ny. Men du skrev först 1998 och du sa att internet skulle göra det möjligt för oss att bygga "En privat tankebubbla" och bara läsa de webbplatser som förstärker hans eller hennes önskade övertygelser, vilket är exakt där vi verkar vara idag.

Du kallade det typ, du beskrev internet i allmänhet, men sociala medier verkar ha tagit detta till en helt ny nivå. Jag är så ledsen att ha rätt i det. Det var saker som jag såg hända att jag antar att jag i mitt hjärta hoppades vara varningar. Men du vet, jag skrev just för en liten publikation då-

Jag tror att det antagligen var i Harpers . Så på något sätt missade selfiegenerationen att Harpers artikel tyvärr.

Tja, vad läser de? De läser flöden, du vet. Så feedsna berättar vad som händer idag. Det är väldigt svårt att sitta och prata med dig idag om teknik, en dag efter att vi har haft denna hemska slakt i Las Vegas. Och mer än 50 dödade och hundratals skadade. Vi vet verkligen inte omfattningen av det.

Och du vet, vapen är teknik. Industriell design är teknik. Du vet, vi tenderar att tänka på det som bara coola telefoner och bärbara datorer och AI, servrar och algoritmer. Men människor designar dessa apparater som gör att en pistol kan skjuta hundratals kulor med en skur. Och det stoppar mig verkligen. Du vet, i sådana dagar är det svårt att bli glad. Jag menar, jag är företrädaren för dysterhet i allmänhet, men den här stoppade mig särskilt.

Det är svårt för alla att bara komma igenom dagen på sådana dagar. Men en av punkterna som du fortsätter att ta upp är att all teknik har dessa implicita effekter och att de inte är neutrala, och många av de etiska konversationerna som omger alla typer av andra debatter om politik, om politik, sociala frågor, tenderar att inte händer i det tekniska utrymmet, eftersom ingenjörer bygger det, marknaden ber om det. Formgivarna bygger det, de skickar det, och sedan lever vi med konsekvenserna.

Men det verkar på varje tur, oavsett om det är vapenteknologi, mjukvarukod, tillgång till tjänster, vi måste ha den konversationen om konsekvenserna.

Det skulle vara mitt hopp. Det är därför jag skrev den här boken i hopp om att inleda en konversation på olika nivåer, du vet. Inte vad som är målet för framtiden. Framtiden är vad du gör av det nu genom att ha en konversation. Mänsklig önskan driver framtiden. Det är vårt privilegium. Också för att se till det förflutna. En annan anledning till att jag ville gå tillbaka till mitten av 90-talet är att vi lärde oss från det förflutna.

Att bara se fram emot lär dig väldigt lite för det är allt fantasi. Men om vi går tillbaka och ser hur vi kom dit vi är, och de trender som fick oss hit, de framgångar som människor hade tidigare, saker som vi lärde oss. Det finns människor som bodde före oss, du vet, och de har arbetat med datateknik mer än oss. Vi kommer att gå in i 100 år, antar jag att du vet, vid någon tidpunkt som börjar med idéerna om det. Så jag hoppas att människor skulle stoppa och utbilda sig själva. Att se tillbaka och försöka se hur de kom dit de är.

Vad tycker du om teknikbranschens natur när det gäller ledarnas storlek? Med Google och Amazon och Apple och Microsoft talar du om fyra företag som absolut dominerar hela branscher. Webbranschen, detaljhandeln, underhållningsindustrin. Är dessa företag, finns det något med att bara vara för stora som skapar sitt eget problem?

Det är en bra fråga. Ja, de är för stora. Vi måste alla bo med dem under mycket lång tid. Och ett företag som Apple framställer sig själv som socialt progressivt. Dessa företag är emellertid djupt libertära. De vill inte att regeringen ska kontrollera dem förutom när de vill att regeringen ska förflytta sig mot dem.

Titta vad som händer med alla dessa städer som tigger om att Amazon kommer in i deras mitt. "Åh, du behöver inte betala skatt på 20 år." Så hjälper regeringen dem. Det är vad dessa företag vill ha. De vill inte reglera. Jag ser inte i denna politiska atmosfär, hur vi ska göra det. Vi har inte en högsta domstol som kommer att säga, "Det här är monopol. Vi kommer att bryta upp dem."

Det här är rätt fråga. Ja, de är för stora. Många måste ta itu med vad vi gör härifrån.

Vad är problemet med dem? Eftersom det finns företag har jag aldrig sett ett privat företag som har bett om mer reglering. Vad är risken för att ha dessa stora jättebolag? Är det så att de kommer att använda sin marknadsstyrka för att utnyttja konsumenterna? Är det så att de inte kommer att förnya sig för de har väsentligen monopol i alla dessa olika branscher?

De kommer att utnyttja konsumenterna. Vi kommer att ha mer övervakning. Det finns mer konkurrens. Jag tror att de inte bara kan luta sig tillbaka och säga, "Jag gör inte FoU. Jag når inte ut." Men jag är rädd att mycket av det kommer från att köpa andra företag. Startups har dessa idéer och sedan köps de. Och sedan löser de upp sina spännande krafter, om de har några, i dessa större företag.

Men dessa företag kan inte luta sig tillbaka och inte göra någonting. Titta vad som hände med Microsoft. Det föll verkligen efter. Titta på Intel. Intel var tidigare en av jättarna. Nu är det bakom. Människor använder inte längre stora datorer och bärbara datorer har olika chips, och de bidrar inte alls till mobil. Så de måste bli innovativa. Jag hoppas att de inte gör det genom att bara köpa andras företag och sedan utspäda effekterna av dessa företag, vilket verkar hända.

Du har en uppsats om Millennium Bug, som de flesta kommer att behöva till Google för att ta reda på vad det var. Men jag sa till dig innan vi gick på luften att jag faktiskt var i ett nyhetsrum på nyårsafton 1999 och ingen visste riktigt vad som skulle hända. Vi visste att persondatorer förmodligen skulle vara okej, men alla var i orden oroliga över vad som händer i kraftverket med den datorn i bakrummet som ingen har kontrollerat på tio år. Men kan du prata lite om vad som hände då och sedan vilka lektioner som kan hålla för oss idag.

En av de saker som var underbar med det är därför jag träffade programmerare som hade skrivit denna kod på 60-talet som sa: "Jag förväntade mig aldrig att den här koden skulle leva så länge." Företaget Texaco var det enda stora företaget som var villigt att offentliggöra för att säga, "Det här är inte ett hoax. Detta är vad vi gör. Det är de problem vi står inför."

Och deras ansträngningar var heroiska. Och det fanns små lokala saker som inte publicerades. Men jag visste i mitt hjärta, när jag pratade med dessa engagerade programmerare och projektledare, att det skulle bli okej eftersom de verkligen planerade. Lektionen för oss nu är att vi fortfarande använder all denna gamla kod. Vi har de här blixta gränserna och sedan har du internet, som verkligen är under stress. Och det är väldigt gammal kod.

Anledningen till att vi har alla dessa hacks är att internet aldrig utformades för integritet och anonymitet. Den var utformad för att vara kollegial och öppen. Ingen byggde in tanken på att det skulle vara dessa åskande horder. Så vi har en sårbarhet där. Vi går tillbaka till servrarna som gör algoritmer, det finns på operativsystemet Linux. Linux går långt tillbaka.

Om du går djupare och djupare in i vad som ligger bakom de vackra grejerna, hittar du gammal kod, gammal kod, gammal kod. Och programmerare skriver saker som rider ovanpå den andra koden, och förstår inte alltid - ofta inte - detaljerna om de saker de gränsar till. Så lektionen lever vidare.

Excellent. Jag vill prata lite med dig om AI. Det verkar som om vi är i denna position med internet, som har alla dessa oavsiktliga konsekvenser som vi fortfarande försöker reda ut - och nu födar vi denna helt nya teknik, som har alla dessa konsekvenser. Du går till många företag och de har AI-system som körs, som fattar affärsbeslut och gör rekommendationer, och de kan bokstavligen inte ta reda på hur de kom dit. De kan inte identifiera processen som nådde slutet. De vet bara att det fungerar. Kan du prata lite om vad det kan betyda?

De tror att det fungerar. Trenden just nu i AI, hela idén om en humanoidrobot som vi inte kan berätta från en människa har verkligen gått längs vägen. Det bevisar att det är väldigt, mycket, svårt att förstå hur människor fungerar som de gör. Det är nu maskininlärning. Tanken är att du skriver en algoritm. Det tittar på resultaten och det förändrar sig själv och ser sedan på resultaten, och det lär sig.

Vad som nu händer är att de människor som skrev den ursprungliga algoritmen verkligen inte vet vad som händer efter flera iterationer. Och koden rör sig längre och längre bort från de människor som förstår den. Så det är ett slags monster, du vet, i den meningen att det fungerar på egen hand. Och ja det fungerar, men vad saknas det?

Det fungerar på data som har partiskhet. Det har först och främst en förspänning över det förflutna. Det finns fel. Så det lär sig av är också partisk och fel benägna. Jag oroar mig för AI i detta avseende, särskilt idén om självkörande bilar. Och att vi talar om faktisk mänsklig skada. Och jag kunde prata för länge om det, så jag skulle bättre sluta.

De flesta av prognoserna säger att de självkörande bilarna kommer att bli bättre säkrare än mänskliga förare, vilket jag tycker att mänskliga förare är en stor del av problemet på vägarna idag.

Mänskliga förare har en 100-årig historia av att köra bilar. Så här är vad människor kan göra - de ser inte bara närheten till dem. Du vet när du kör, även om du är ouppmärksam, om du har lite erfarenhet, kan du se framför dig, kvart mil, halv mil uppför en kulle att det hela är överbelastat, och du måste bli redo att stoppa.

Du kan läsa bilarnas personlighet. Någon kommer längst bort där. Du ser märket, modellen, förarens aggressivitet. När den bilen rör sig, vet du att den kommer att skära av dig. Du väntar inte på ett närhetslarm. Människor vet på ett sätt att antingen jag kommer att ha en krasch eller om jag kommer att komma in i en raseri med denna bil. Eller jag ska säga, "Okej, gå vidare."

Låt oss nu gå till de sätt som självkörande bilar kan krascha. Återigen förlitar de sig på maskin-till-maskin-gränssnitt. Och det kommer att finnas buggar i den koden, period. Så de kommer att kommunicera över internet eller över något trådlöst nätverk. Stor sårbarhet där. Vi har sett att bilar som arbetar med trådlöst redan har hackats av vita hype-hackare för att visa: "Se, jag kan få din bil att köra av vägen."

Så hur skyddas det? Och sedan finns gränssnittet mellan olika märken och modeller. Nu tror du att alla kommer att köra en Prius? Nej, människor vill ha annorlunda prestanda. Så det kommer att bli tävling igen om hur bilar kör, hur föraren eller passagerarna vill känna när de är på väg.

Det kommer att finnas någon typ av standard-API, applikationsgränssnitt, som är känt med fel benägna. Men det finns många, många punkter av misslyckande som kan hända där. De kan inte heller köra i snön.

Det är det.

Det är det. Jag menar, du förstår, du skulle vara värdelös?

Tror du att vi kommer att ha självkörande bilar som bara kommer att vara mycket felaktiga och säkerhetsrisker? Eller att du inte tror att vi faktiskt kan bygga en säker självkörande bil och att tekniken kommer att ta mycket längre tid än vad folk tror?

Jag tror att det kommer att hända. Jag tror att vägar med begränsad åtkomst som motorvägar kommer att fungera bra. Om det inte snöar eller det finns kraftigt regn. Det måste se raderna. Och sedan måste den se brottbelysningen och lamporna på bilarna runt den. Och så, med begränsade synpunkter, lägger de till andra LIDAR och så vidare.

Så småningom kommer det att fungera. Det kommer att ta lite längre tid. Just nu tror jag att det finns några städer som bygger en infrastruktur i centrum för bilarna. Men vi är här på Manhattan och vi har problem med att hålla tunnelbanorna igång. Tror du att vi kommer att ta miljarder dollar för att förvandla Manhattan till en plats som har sensorer för självkörande bilar? Jag vet inte hundratals år från och med nu om Manhattan inte har blivit översvämmad från stigande hav?

Det kommer att vara där. Men det tror att euforin - och som vanligt är jag den dystra representanten - jag känner att jag är på vippan och det finns alla andra som verkligen vet vad de gör, och jag är som en loppa som studsar på den andra slut, försöker skjuta ner lite och jämna ut synpunkter. Temperera förväntningarna. Alla borde känna till det hårda arbete vi behöver göra innan den underbara förväntan kan uppfyllas.

Jag kommer att ställa ett par frågor som jag ställer alla som kommer på showen. Och den här borde vara lätt för dig. Vilken teknologisk trend berör dig mest? Finns det något som håller dig uppe på natten? Vi kan göra en helt annan show.

Alla ovanstående. Det håller mig inte upp på natten. Jag menar, jag spenderar tillräckligt med tid med att tänka på det under dagen. Jag vet, en av de frågor jag tror att du tänkte ställa var, du vet, borde människor ta en paus från alla dessa? Ja.

Idag kastades jag nästan ut på gatan av någon som kom förbi på en skoter.

Och en telefon?

Med öronsnäckor och en telefon. Så detta berör verkligen mig. Människor kan verkligen bli skadade.

Människor blir skadade varje dag i New York eftersom alla tittar på sin telefon och går.

Ja, jag bor i området South of Market. Jag är baserad i San Francisco på att det är Startup Alleys, Second Street. Nu är det en sak att säga att alla tittar på sin telefon, men när du försöker gå ner på gatan norrut när alla är på väg söderut, och 100 personer tittar in i sina telefoner, är det verkligen som, jag känner att jag " m bor i en främmande värld.