Varför ai måste avslöja att det är ai

Google har nyligen repitch Duplex för att uttryckligen avslöja för restaurangvärdar och salongpersonal att de pratar med Google Assistant och spelas in.

Google utelämnade denna lilla men viktiga detalj när den först introducerade Duplex vid sin I / O-utvecklare-konferens i maj. Ett medieutslag uppstod, och kritikerna förnyade gammal rädsla för konsekvenserna av att lossa AI-agenter som kan ge upphov till människors beteende på oskiljaktiga sätt.

Genom att justera Duplex lägger Google till viss del av den kritiken. Men varför är det så viktigt att företag är öppna när det gäller identiteten på deras AI-agenter?

Kan AI-assistenter tjäna onda syften?

"Det finns en växande förväntning att när du skickar ett meddelande till ett företag kan du interagera med en AI-driven chatbot. Men när du faktiskt hör ett mänskligt talande, förväntar du dig att det är en riktig person, " säger Joshua March, VD av Coversocial.

Mars säger att vi är i början av att människor har meningsfulla interaktioner med AI regelbundet, och framstegen på fältet har skapat rädsla för att hackare skulle kunna utnyttja AI-agenter för skadliga ändamål.

"I bästa fall kan AI-bots med skadliga avsikter kränka människor, " säger Marcio Avillez, SVP för Networks vid Cujo AI. Men Marcio tillägger att vi kan möta mer allvarliga hot. Till exempel kan AI lära sig specifika språkliga mönster, vilket gör det enklare att anpassa tekniken för att manipulera människor, efterge sig offer och scenvisningsattacker (röstfiskningsattacker) och liknande aktiviteter.

Många experter håller med om att hotet är verkligt. I en kolumn för CIO lade Steven Brykman fram de olika sätten som en teknik som Duplex kan utnyttjas: "Åtminstone med människor som ringer människor finns det fortfarande en begränsande faktor - en människa kan bara ringa så många samtal per timme, per dag. Människor måste betalas, ta pauser och så vidare. Men en AI-chatbot kan bokstavligen ringa ett obegränsat antal samtal till ett obegränsat antal människor på ett obegränsat antal sätt!"

I detta skede är det mesta av vad vi hör spekulationer; vi vet fortfarande inte omfattningen och allvarligheten av de hot som kan uppstå med tillkomsten av röstassistenter. Men många av de potentiella attackerna som involverar röstbaserade assistenter kan missbrukas om företaget som tillhandahåller tekniken uttryckligen kommunicerar till användare när de interagerar med en AI-agent.

Integritetsfrågor

Ett annat problem kring användningen av tekniker som Duplex är den potentiella risken för integritet. AI-drivna system behöver användardata för att träna och förbättra deras algoritmer, och Duplex är inget undantag. Hur det kommer att lagra, säkra och använda dessa data är mycket viktigt.

Nya föreskrifter dyker upp som kräver att företag får ett uttryckligt samtycke från användare när de vill samla in sin information, men de har mest utformats för att täcka teknologier där användare avsiktligt initierar interaktioner. Detta är vettigt för AI-assistenter som Siri och Alexa, som är användaraktiverade. Men det är inte klart hur de nya reglerna skulle gälla för AI-assistenter som når ut till användare utan att utlösas.

I sin artikel betonar Brykman behovet av att upprätta lagstiftningsskyddsåtgärder, till exempel lagar som kräver att företagen ska förklara närvaron av en AI-agent - eller en lag som när du frågar en chatbot om det är en chatbot, måste den säga, "Ja, Jag är en chatbot. " Sådana åtgärder skulle ge den mänskliga samtalaren chansen att koppla ur eller åtminstone bestämma om de vill interagera med ett AI-system som spelar in sin röst.

Även med sådana lagar försvinner inte integritetsproblem. "Den största risken som jag förutser i teknikens nuvarande inkarnation är att den kommer att ge Google ännu mer information om våra privata liv som det inte redan hade. Fram till denna tid visste de bara om vår onlinekommunikation; de kommer nu att få verklig inblick i våra verkliga samtal, "säger Vian Chinner, grundare och VD för Xineoh.

De senaste sekretessskandalerna som involverar stora teknikföretag, där de har använt användardata på tvivelaktiga sätt för sina egna vinster, har skapat en känsla av misstro över att ge dem fler fönster i våra liv. "Människor känner i allmänhet att de stora Silicon Valley-företagen ser dem som lager i stället för kunder och har en stor grad av misstro mot nästan allt de gör, oavsett hur banbrytande och livsförändrande det kommer att bli, " säger Chinner.

Funktionella fel

Trots att du har en naturlig röst och ton och använder människoliknande ljud som "mmhm" och "ummm", skiljer sig Duplex inte från andra samtida AI-tekniker och lider av samma begränsningar.

Oavsett om röst eller text används som gränssnitt är AI-agenter bra på att lösa specifika problem. Det är därför vi kallar dem "smal AI" (i motsats till "allmän AI" - den typen av konstgjord intelligens som kan engagera sig i allmän problemlösning, som det mänskliga sinnet gör). Även om smal AI kan vara exceptionellt bra på att utföra de uppgifter den är programmerad för, kan den misslyckas spektakulärt när det ges ett scenario som avviker från dess problemdomän.

"Om konsumenten tror att de pratar med en människa kommer de förmodligen att fråga något som ligger utanför AI: s normala manus och kommer då att få ett frustrerande svar när botten inte förstår", säger Conversocials mars.

Däremot, när en person vet att de pratar med en AI som har utbildats för att reservera bord på en restaurang, kommer de att försöka undvika att använda språk som förvirrar AI och får den att bete sig på oväntade sätt, särskilt om det ger dem en kund.

"Personal som tar emot samtal från Duplex bör också få en enkel introduktion att detta inte är en riktig person. Det skulle hjälpa kommunikationen mellan personalen och AI att vara mer konservativ och tydlig", säger Avillez.

Av denna anledning, tills (och om) vi utvecklar AI som kan fungera i nivå med mänsklig intelligens, är det i företagens intresse att vara öppna om deras användning av AI.

I slutet av dagen orsakas en del av rädsla för röstassistenter som Duplex av att de är nya, och vi vänjer oss fortfarande på att möta dem i nya inställningar och använda fall. "Åtminstone vissa människor verkar mycket obekväma med tanken på att prata med en robot utan att veta om det, så för tillfället borde det antagligen avslöjas för motparterna i konversationen, " säger Chinner.

• AI är (också) en kraft för bra AI är (också) en styrka för bra
• När AI suddar gränsen mellan verklighet och fiktion När AI suddar linjen mellan verklighet och fiktion
• Artificiell intelligens har ett partiskhetsproblem, och det är vårt fel Konstgjord intelligens har ett partiskhetsproblem, och det är vårt fel

Men på lång sikt kommer vi att vara vana att interagera med AI-agenter som är smartare och mer kapabla att utföra uppgifter som tidigare trott vara den exklusiva domänen för mänskliga operatörer.

"Nästa generation kommer inte att bry sig om de pratar med en AI eller en människa när de kontaktar ett företag. De kommer bara att vilja få svaret snabbt och enkelt, och de har vuxit upp och talar med Alexa. Väntar på håll för att prata med en människa kommer att bli mycket mer frustrerande än att bara interagera med en bot, "säger Conversocials mars.