Hur naturligt språketeknologi, hologram bevarar förintelser från holocaust

På 1990-talet genomförde USC Shoah Foundation videointervjuer med tusentals förintelser från Förintelsen, så att deras berättelser aldrig glömdes. I ideella bibliotekets digitala bibliotek finns för närvarande 53 000 videovittnesböcker, och under de senaste åren har de utvidgats för att fånga vittnesbörd från dem som bevittnade 1994 års folkmord i Rwandiska Tutsi, Nanjing-massakern 1937 och den armeniska folkmordet som sammanföll med första världskriget.

Men i en era som ser framväxten av virtuell och förstärkt verklighet, för att inte tala om robotar och virtuella assistenter, har organisationen undersökt mer moderna sätt att fånga vittnesbörd: interaktiva, hologramliknande framställningar av överlevande som kan interagera med och svara på frågor från framtida generationer.

Stiftelsen samarbetar med USC Institute of Creative Technologies (ICT) och Conscience Display om projektet, känt som nya dimensioner i vittnesbörd. Det har funnits i arbetena sedan 2012 och kommer så småningom att finnas tillgängligt på museer och lärande institutioner runt om i världen. PCMag reste till Playa Vista, Kalifornien, nyligen för att se Auschwitz-överlevaren Eva Kor ge sitt vittnesbörd på en ljudscene.

Projektledare Dr. Stephen D. Smith, verkställande direktör för USC Shoah Foundation, sa att han "ville ha chansen att prata med de människor som upplevt folkmord själva, att höra direkt från vittnen, snarare än att se dem sändas för att bli historisk statistik."

I fem dagar intervjuade Smiths team Kor, som var åtta när WWII började. "Genom att spela in hennes svar kan vi skapa en levande resurs för kommande generationer, " sade han.

Heather Maio, verkställande direktör för Conscience Display, hade experimenterat med olika teknologier för museer och utbildningsmiljöer för att dela historia innan hon fick veta om arbetet vid IKT.

"Jag hade gjort ett test med 3D - med hjälp av en tvåkamerauppsättning - men jag letade verkligen efter en teknik som var längst längst inom holografisk typ. Jag hittade IKT 2010 och förde hela projektet till USC Shoah Foundation."

Maio ville gå längre än det traditionella berättelsen och bestämde sig för att forska naturligt språkbearbetning så att museumsbesökare kunde få en verklig dialog med inspelade vittnen.

Mycket av taligenkänning är fortfarande under utveckling. "Vi har anslutit Googles ASR (Automatic Speech Recognition), som är den bästa språkprogramvaran där ute, specifikt för att det har det största naturliga samtalets ordförråd och frasering, och har en förståelse för sammanhang, " sa Maio. "Men våra vittnen använder ord, speciellt polska och jiddiska termer, som mindre används idag, från andra världskriget. Jag har dock lagt märke till att det lär sig riktigt snabbt och plockar upp nya ord och förstår mer varje dag."

Det var dags att gå in i den digitala inspelningsstudion. En besättning satt upp en enorm rigg, med en grön skärmbakgrund draperad över två tredjedelar av utrymmet, så att intervjuaren senare kunde placeras i vilken miljö som helst eller bakgrund.

Teamet filmer i 360 grader via en rigg med 112 kameror, en kombination av Ximea MQ042MG-CM, Red Epic M Dragons och Panasonic HC-X900. "Det är ett komplext projekt, så ICT har utvecklat anpassade system som körs ovanpå Vegas Pro, av Sony, för redigeringsprocessen som innehåller programvara som skapats av Natural Language-teamet på ICT, " sa Maio.

Med alla på plats tog Eva Kor sitt plats i mitten av kamerainställningen. Eva valdes för att hon grundade organisationen CANDLES (Children of Auschwitz Nazi Deadly Lab Experimental Survivors) 1984 och öppnade CANDLES-museet 1995. Nu 83 år gammal, och fortfarande skarp som en tack, lyssnade hon noga till instruktionerna om hur man skulle hålla hennes överkropp i samma position, så att hennes digitala render kommer att ha kontinuitet senare. Då var det precis som en riktig filmuppsättning.

"Tyst på uppsättningen."

"Ljud!"

"Roll Panasonics."

"Kontrollera alla panasonics!"

"Rulla röd."

"Skiffer, snälla."

Klappbordet slängde ner för att ge redigeringsgruppen sina notationer, alla tittade ner på manus för dagen och Smith lutade sig in i mikrofonen utanför kamerariggen.

"Vad berättade dina föräldrar om Hitler och ockupationen?" han frågade.

Kor tog ett djupt andetag och detaljerade hur ungerska soldater kom till familjens lilla gård, i en by i Transsylvanien, Rumänien.

När ett vittneskonto har fastställts kommer ljudutlösare att tillämpas så att framtida publik kan ställa frågor på många olika sätt och få ett kogent svar från Kor. Detta innebar att Kor var tvungen att svara på samma fråga på olika sätt, bara för att säkerställa att programvaran kategoriserade hennes svar korrekt och använde nyckelord med semantisk förståelse.

De frågor som väckte mest känslor från de som tittade på var den sort barn skulle ställa. De hade faktiskt det. De mer än 2000 frågorna var folkmassade från forskningsstudier, och många handlade om livets vardagliga detaljer under dessa dagar. Kor påminde om barndomsminnen, som växte upp innan hennes familj togs till Auschwitz. Hon beskrev sin mors matlagning, problem med mobbning i skolan och hennes tvillingsyster Miriams favorit husdjur.

Det beror på att Eva och Miriam är tvillingar, och så en del av de fruktansvärda experimenten som genomfördes i lägret, att de båda överlevde. Resten av familjen dödades vid ankomst.

Efter en timmes inspelning behövde Kor vila. Så under en paus i förfarandet tog Smith oss in i ett sidorum för att visa oss ett fullständigt vittnesbörd. ICT: s utgång gör det möjligt för de intervjuade att projiceras i 2D HD, 3D, inom VR eller via någon bildskärm eller enhet.

På en bärbar dator drog Smith upp ett webbläsarfönster och det var Pinchas Gutter, en annan Holocaust-överlevande, med händerna vilande på sina ben, ögonen varna, väntar på oss, verkade det.

Smith satte fingret på en bärbar tangent för att få Gutter att svara. Gutter's ansikte lyser upp. Smith ställde en fråga, släppte fingret och Gutter svarade, precis som om han satt där på en telefonkonferens i en annan stad.

Vi ställde alla en fråga - flera av oss med våra olika nationaliteter och därmed accenter. Han fick alla och gav svarande svar. Det var övertygande. Trots upphängning var fullständig.

Eva Kor var redo för sina nästa 100 frågor tillbaka i studion. Alla lämnade in igen. Men det fantastiska med detta projekt är att Kor kommer att svara på folks frågor om vad som hände med henne långt efter att hon lämnat oss i det fysiska området.