Mobila processorer 2018: ökningen av maskininlärningsfunktioner

Inte förvånansvärt har årets smartphones snabbare processorer än de från förra året - det händer varje år. Men det som är nytt i år är övervägande av maskininlärningsfunktioner som nästan varje processortillverkare utreder som ett sätt att differentiera sina enheter. Detta gäller för telefonförsäljare som designar sina egna chips, de oberoende eller säljare för säljare som säljer processorer till telefonförsäljare och till och med IP-tillverkare som designar kärnorna som går in i processorerna själva.

Bakgrund

Först lite bakgrund: alla moderna applikationsprocessorer inkluderar mönster (ofta kallade immateriell egendom eller IP) från andra företag, särskilt företag som ARM, Imagination Technologies, MIPS och Ceva. Sådan IP kan visas i olika former - till exempel säljer ARM allt från en grundlicens för sin 32-bitars och 64-bitarsarkitektur, till specifika kärnor för CPU: er, grafik, bildbehandling etc. som chipdesignare sedan kan använda för att skapa processorer. Vanligtvis blandar och matchar chipdesignarna dessa kärnor med sina egna mönster och gör olika val när det gäller minne, sammankopplingar och andra funktioner, i ett försök att balansera prestanda med strömkrav, storlek och kostnad.

På CPU-fronten har de flesta chips en kombination av större kärnor som är kraftfullare och körs snabbare och varmare, och mindre kärnor som är mer effektiva. Vanligtvis kommer telefoner att använda de mindre kärnorna större delen av tiden, men för krävande uppgifter byter de till högre prestanda kärnor och använder en kombination av både kärnor och GPU och andra kärnor för att bäst hantera prestandabehov och termiska överväganden (du kan inte kör de högpresterande kärnorna mycket länge, eftersom de skulle överhettas, och vanligtvis behöver du inte). De mest kända exemplen för de stora kärnorna är ARM: s Cortex-A75 och A73-kärnor; de matchande mindre kärnorna skulle vara A55 och A53. I dagens avancerade telefoner ser du ofta fyra av var och en, som kallas en octa-core-layout, även om vissa leverantörer har tagit andra tillvägagångssätt.

För grafik finns det mer mångfald, med vissa leverantörer som väljer ARM: s Mali-linje, andra väljer Imagination Technologies PowerVR och ännu andra väljer att designa sina egna grafikkärnor. Och det finns ännu mer mångfald när det gäller saker som bildbehandling, digital signalbehandling och senare AI-funktioner.

Äpple

Apple började trycka på sina AI-kapaciteter i sina hösttelefonmeddelanden, inklusive bland annat "A11 Bionic" -chipet som användes i iPhone 8 och 8 Plus, liksom iPhone X.

A11 Bionic är en sexkärnarkitektur med två högpresterande kärnor och fyra effektivitetskärnor. Apple designer sina egna kärnor (under en ARM-arkitekturlicens) och har traditionellt drivit entrådig prestanda. Detta är ett steg upp från A10 Fusion med fyra kärnor, och Apple sade att prestandakärnorna i A11 är upp till 25 procent snabbare än i A10, medan de fyra effektivitetskärnorna kan vara upp till 70 procent snabbare än A10 Fusion-chipet. Det sade också att grafikprocessorn är upp till 30 procent snabbare.

Apple talar om att chipet har en dual-core "Neural Engine", som kan hjälpa till med scenigenkänning i kamera-appen, och Face ID och Animoji på iPhone X. Företaget släppte också ett API som heter CoreML, för att hjälpa tredje part utvecklare skapar applikationer som utnyttjar detta.

Apple ger vanligtvis inte mycket information om sina processorer, men säger att A11 Bionic neuralmotor är en dual-core design som kan utföra upp till 600 miljarder operationer per sekund för realtidsbehandling.

Till skillnad från de flesta andra processortillverkare integrerar Apple inte modemet i sina applikationsprocessorer utan använder istället fristående Qualcomm- eller Intel-modem. Det har varit en del kontroverser om Apple endast stöder funktionerna i sina Qualcomm-modem som också stöds av Intel; i praktiken betyder detta att iPhones stöder 3-vägs bäraraggregation men inte några av de mer avancerade funktionerna.

Huawei

Huawei var också tidigt mot AI-pushen och kallade Kirin 970, som den tillkännagav vid IFA-showen förra hösten, "världens första mobila AI-behandlingsenhet." Kirin 970 används just nu i Huawei Mate 10. Den innehåller fyra Cortex-A73 CPU-kärnor som kör upp till 2, 4 GHz och fyra A53: er som körs upp till 1, 8 GHz, tillsammans med ARM: s Mali G72 MP12 GPU.

Det som är särskilt nytt i 970 är vad Huawei kallar sin NPU, eller Neural Processing Unit. Företaget har sagt att de uppgifter som kan laddas ner till denna processor kan se 25 gånger prestandan och 50 gånger effektiviteten jämfört med de som körs på CPU-klustret. Detta syftar särskilt till snabbare bildigenkänning och bättre fotografering. Vid utställningen sa Huawei att telefonen kan behandla 1, 92 16-bitars TeraFLOP.

Kirin 970 har en signalprocessor med två bilder, ett kategori 18 LTE-modem med 5-bärare-aggregering och 4-by-4 MIMO som bör möjliggöra en maximal nedladdningshastighet på 1, 2 Gbps.

Vid Mobile World Congress tillkännagav Huawei sitt första 5G-modem, Balong 5G01, som det sa att det skulle vara det första 5G-modemet som sänds. Det verkar troligt att vissa framtida applikationsprocessorer kommer att anta detta modem också, men det har ännu inte tillkännagivits. Tekniskt skapas alla dessa produkter av företagets HiSilicon-dotterbolag.

Qualcomm

Chipet som sannolikt kommer att ligga i hjärtat av de flesta flaggskepps Android-telefoner i USA i år är Qualcomms Snapdragon 845. Detta är en uppgradering av Snapdragon 835, som användes i de flesta av 2017 premium Android-telefoner, och används redan i de nordamerikanska versionerna av Galaxy S9.

Liksom med de flesta andra leverantörer driver Qualcomm nervnätverk och AI som ett av de största förbättringsområdena i årets chip, tillsammans med ett ökat fokus på "nedsänkning" - vilket i huvudsak innebär bättre avbildning.

Inom AI-området gillar Qualcomm att prata om att ha en multi-core Neural Processing Engine (NPE), som använder en ny version av sin Hexagon DSP samt CPU och GPU för inferencing.

Chipet har Hexagon 685 DSP, som Qualcomm säger kan mer än fördubbla AI-processprestanda; en Kryo 385-CPU, som den säger ger en prestandaökning på 25 till 30 procent för sina prestandakärnor (fyra ARM Cortex-A75-kärnor som körs upp till 2, 85 GHz) och upp till 15 procent prestandaförhöjning för sina "effektivitetskärnor (fyra Cortex-A55-kärnor som körs upp till 1, 8 GHz), med alla delar en 2MB L3-cache, och en Adreno 630 GPU, som Qualcomm säger kommer att stödja en 30 procents prestandaförbättring eller en 30-procentig effektminskning, samt upp till 2, 5 gånger snabbare skärmar.

Inom AI-området stöder chipet ett stort antal olika maskininlärningsramar, och företaget säger att detta fungerar för saker som objektklassificering, ansiktsdetektering, scensegmentering, högtalarigenkänning osv. Två markerade applikationer är live bokeh-effekter (för att producera porträtt med suddig bakgrund) och aktivt djupavkänning och strukturerat ljus, vilket skulle möjliggöra förbättrad ansiktsigenkänning. Genom att flytta inferens från molnet till enheten säger Qualcomm att du får fördelarna med låg latens, integritet och förbättrad tillförlitlighet.

Inom bildområdet har chipet en ny version av Qualcomms Spectra ISP, förbättrad Ultra HD-videoinspelning med flerbaserad brusreducering, möjligheten att fånga 16-megapixel video med 60 bilder per sekund och 720p långsam mo-video vid 480 bildrutor per sekund. För VR stöder 845 skärmar med en 2K-by-2K-upplösning med 120 bilder per sekund, ett stort steg upp från 1, 5K-by-1.5K med 60 bilder per sekund som stöds av 835.

Andra funktioner inkluderar en säker behandlingsenhet, som använder sin egen kärna för att lagra säkerhetsinformation utanför kärnan, och fungerar med CPU och Qualcomms TrustZone-kapacitet.

845 integrerar X20-modemet som Qualcomm introducerade förra året, som kan stödja LTE-kategori 18 (med hastigheter upp till 1, 2 Gbps), upp till 5 bärare-aggregering och 4X4 MIMO, och använder tekniker som Licensed-Assisted Access för att göra snabbare hastigheter möjliga i fler områden.

Chipet tillverkas på Samsungs 10nm lågeffektprocess.

Qualcomm tillverkar också Snapdragon 600-familjen av applikationsprocessorer, leds av 660, som används av många kinesiska leverantörer, inklusive Oppo och Vivo. I början av Mobile World Congress introducerade den familjen Snapdragon 700, som har många av samma funktioner som 800-familjen, inklusive Hexagon DSP, Spectra ISP, Adreno-grafik och Kryo CPU. Jämfört med 660, säger Qualcomm att det kommer att erbjuda en 2x förbättring i AI-applikationer på enheten och en 30 procents förbättring av energieffektivitet.

Samsung

Medan den använder Qualcomm-processorer i de flesta av sina nordamerikanska telefoner, använder Samsung på många andra marknader sina egna Exynos-processorer och börjar göra sådana processorer tillgängliga för andra telefontillverkare.

Dess nya topp-of-the-line är Exynos 9810, som Samsung kommer att använda i internationella versioner av Galaxy S9 och S9 +.

Återigen driver Samsung nya funktioner för "djup inlärningsbaserad programvara", som den säger hjälper processorn att exakt identifiera objekt eller personer i telefonerna, och stöder djupkänsla för ansiktsigenkänning.

9810 är också ett octa-core-chip med fyra A55-kärnor för energieffektivitet och fyra anpassade CPU-konstruktioner för prestanda. Samsung säger att dessa nya kärnor, som kan köras upp till 2, 9 GHz, har en bredare pipeline och optimerat cache-minne, vilket ger dem dubbelt så mycket enkärnig prestanda och 40 procent mer multikärnprestanda jämfört med föregångaren, förra årets 8895. (Publicerade riktmärken visar förbättringar i den verkliga världen, men inte så mycket som påstås; jag är fortfarande skeptisk till alla mobila riktmärken vid denna tidpunkt.)

Andra funktioner inkluderar Mali-G72 MP18-grafik, stöd för upp till 3840-by-2400 skärmar och 4096-by-2160-skärmar, en dubbel bildsignalprocessor (ISP) och stöd för 4K-fångst med 120 bilder per sekund. 9810 har också ett kategori 18-modem med 6 bärare-aggregering och 4-by-4 MIMO för nedlänk (2 CA för upplänk), med en maximal länkhastighet på 1, 2 Gbps och 200 Mbs uppladdningar. På papper matchar detta kategorin 18-modem som både Qualcomm och Huawei har i sina nuvarande toppchips. Liksom Snapdragon 845 tillverkas den på Samsungs andra generationens 10nm FinFET-process.

MediaTek

MediaTek har varit mer en spelare i mellanklass-telefoner och nedan, och förra månaden introducerade ett nytt chip som heter Helio P60 som syftar till "New Premium" -marknaden - mellanmarknadstelefonen i sortimentet $ 200- $ 400 som erbjuder alla de grundläggande funktioner för högre telefoner. Den första telefonen som meddelades att kommer att använda detta chip är Oppo R15.

Företagets toppprocessor, som tillkännagavs förra året, är Helio X30, som är en deca-core-processor avsedd för premiumtelefoner. Detta inkluderar två ARM Cortex-A73 CPU-kärnor som kör upp till 2, 5 GHz, fyra Cortex-A53-kärnor som kör upp till 2, 2 GHz och fyra A35-kärnor som kan köras upp till 1, 9 GHz, tillsammans med Imaginations PowerVR-serie 7XT Plus-grafik på 800 GHz och ett LTE-kategori 10-modem som kan aggregera 3-bärare på nedlänken. Det är ett intressant chip, producerat på TSMCs 10nm-process, och driver idén att fler kärnor kan vara mer flexibla. Bland de telefoner som tillkännages att de använder detta är Meizu Pro 7 Plus med dubbla skärmar och Vernee Apollo 2 (8MP främre kamera, 16MP + 13MP bakre kameror).

Förra året tillkännagav MediaTek två mellanmarknadsprocessorer, Helio P23 och P30, riktade mot globala marknader och Kina specifikt, var och en med åtta Cortex-A53-kärnor som körs på 2, 53 GHz och Mali G71 MP2-grafik. Det här är de chips som P60 är designad för att ersätta, och erbjuder mer kraft och möjliggör en serie nya funktioner.

P60 erbjuder mer prestanda och är en återgång till den stora LITTLE-konfigurationen ARM och MediaTek drivit under tidigare år och kombinerar fyra av de mer kraftfulla ARM Cortex-A73 på upp till 2, 0 GHz med fyra av de mer effektiva Cortex-A53 kärnor, också vid 2, 0 GHz. Dessa förenas av en ARM Mali G72 NMP3 GPU på upp till 800 MHz och styrs alla av den fjärde versionen av MediaTeks CorePilot-teknik för schemaläggning där uppgifterna körs. Jämfört med P23 och P30, säger MediaTek att P60 erbjuder en förbättring av 70 procent i både CPU och GPU-operationer.

MediaTek kommer också på AI-bandvagnen, med P60 inklusive NeuroPilot-plattformen för acceleration av neurala nätverk. Detta stöder Google Android Neural Network (NN) och de vanliga AI-ramarna, inklusive TensorFlow, TensorFlow Lite, Caffe och Caffe 2. Detta är i själva verket en specialiserad digital signalprocessor som kan 280 GMAC (miljarder multiplicerad ackumulering per sekund). Den är utformad för att användas för saker som ansiktsigenkänning för att låsa upp en telefon (något vi har sett i avancerade telefoner men inte mellanhöga telefoner tills nu), och objektigenkänning, även i videor, med 60 bilder per sekund.

Dessutom har P60 ett antal nya bildfunktioner, inklusive tre bildsensorprocessorer som kan stödja en dubbelkamera-konfiguration på 16 och 20 MP-sensorer eller en enda kamera på upp till 32 MP. (Jag har ännu inte sett en telefon i produktion med en kamerasensor med så många megapixlar men de kommer förmodligen att komma.) Dessa sensorer lägger till brusreduceringsfunktioner, tillsammans med realtid bokeh (suddig bakgrunden som används i porträttlägen).

Chipet innehåller ett modem som stöder nedladdning av kategori 7 (upp till 300 Mbps) och kategori 13-uppladdningar (upp till 150 Mbps med 2 bärare-aggregering). Det tillverkas på TSMC: s 12nm FinFet-process, som företaget säger hjälper till att ge 25 procent energibesparingar för kraftintensiva applikationer som spel, och 12 procent strömbesparing totalt sett.

Spread

Spreadtrum, som gör att modem mestadels säljs på den kinesiska marknaden, tillkännagav ett partnerskap med Intel som kommer att använda Intels 5G-modem och ARM-kompatibla CPU: er. Det här är fortfarande ett par år bort, så detaljer är ännu inte tillgängliga.

Observera att även om Spreadtrum inte är särskilt synligt i USA, spårar det bara Qualcomm och MediaTek på handelsmarknaden för applikationsprocessorer. Den säljer mestadels produkter med ARM-CPU: er och sitt eget 4G-modem, men har en del med, och är minoritetsägt av, Intel. Detta har resulterat i ett chip med Intel-CPU: er och Spreadtrum's modem (motsatsen till det nya tillkännagivandet).

ÄRM

Naturligtvis är det inte bara chipmakarna som ser AI som nästa stora våg, och de företag som gör IP har också gjort ett stort tryck på detta område.

ARM, den mest framgångsrika av IP-tillverkarna, tillkännagav en svit med IP för maskininlärning förra månaden, inklusive både hårdvara och mjukvara, och pressade detta vid Mobile World Congress.

Döpt Project Trillium, detta inkluderar processorkonstruktioner (IP) för både Machine Learning (ML) och Object Detection (OD), tillsammans med ett nytt programvarubibliotek.

ML-processorn är utformad för att sitta i en applikationsprocessor och kör bredvid CPU, GPU och displaykärna. Programvarubiblioteket, som kallas ARM NN (neuralt nätverk), är utformat för att stödja ramar som TensorFlow, Caffe och Android NN. Detta gör att dessa applikationer kan köra genom programvara ensam på befintliga processorer som har ARM-CPU: er och grafik; men naturligtvis kommer det att påskyndas avsevärt när det körs på processorer som inkluderar ML-kärnorna. Programvara från tredje part fungerar också på processorkärnan. ARM säger att ML-kärnan är designad från grunden specifikt för att driva nervnätverk. Det kan köra både 8 och 16-bitars applikationer, även om trenden är att fokusera på 8-bit för enkelhet.

OD-processorn är utformad för att sitta vid sidan av en bildsignalprocessor (ISP) för att ge objektiv detektering av låg effekt, speciellt för applikationer som ansiktsdetektering och spårningsrörelse. Detta är ett särskilt hårdvarublock som är utformat för att användas med nya sensorteknologier som stereoskopiska kameror.

ARM sa att den nya IP: n skulle vara tillgänglig för förhandsgranskare av utvecklare i april och skulle vara allmänt tillgänglig senare i år, men med tanke på en typisk tidscykel är det osannolikt att de nya processorkärnorna kommer att visas i chips fram till 2019 eller senare. Naturligtvis skulle mjukvaran, som fungerar på befintliga kärnor, kunna distribueras mycket tidigare.

ARM drev också några nya lösningar för Internet of Things, inklusive en ny SIM-lösning som heter Kigen, designad för att byggas in i SoCs för enheter med låg effekt att ersätta dagens fysiska SIM-kort.

Imagination Technologies

Imagination, känd för sin PowerVR-grafik, tillkännagav sin neurala nätverk IP förra hösten, PowerVR 2NX Neural Network Acceleration (NNA). Detta är en flexibel arkitektur med en till åtta kärnor, som var och en kan ha 256 8-bitars multiplay-ackumuleringsenheter (MAC). Imagination har sagt att den kan utföra över 3, 2 biljoner operationer per sekund.

Ceva

Andra IP-leverantörer kommer också ut på marknaden. Ceva, som är känd för sina DSP-kärnor, tillkännagav just NeuPro, en familj av AI-processorkärnor designade för kantenheter. Dessa bygger på processorer som företaget har sålt inom datorsynsområdet och använder CDNN-ramverket för en mängd "AI-processer." Detta kommer att fungera med de vanliga maskininlärningsramarna och konvertera dessa för att köras på mobila processorer för inferensering. Företaget planerar processorer från 2 till 12, 5 teraops per sekund (TOPS) som är utformade för konsument-, övervaknings- och ADAS-produkter (för autonoma fordon). Ceva har sagt att en stor bilkund planerar att möjliggöra 100 TOPS-prestanda med mindre än 10 watt kraft. Licensiering påbörjas under andra halvåret i år.

Ceva tillkännagav också sin PentaG-plattform av DSP: er för 5G-basband-modem. Företaget säger att de nuvarande DSP: erna finns i 40 procent av världens mobiltelefoner och täcker cirka 900 miljoner telefoner per år och i modem från Intel, Samsung och Spreadtrum. Den nya plattformen har mer AI, som särskilt används för "länkanpassning." I 5G-världen kan telefoner ha flera länkar till en basstation, och Ceva säger att dess hårdvara och mjukvara hjälper till att bestämma den bästa länken med några millisekunder. Detta kan spara mycket energi jämfört med att bara använda programvara. Detta är inte ett generellt DSP eller neuralt nätverkschip, utan snarare ett som är specifikt utformat för kommunikation. Det tillkännagavs precis och borde finnas tillgängligt under det tredje kvartalet.

Ceva gör också ett stort tryck för DSP: er på 5G-basstationsmarknaden och har sagt att så mycket som 50 procent av den 5G nya radioinfrastrukturen kommer att använda företagets DSP IP, inklusive system från Nokia och ZTE.

Hur troligt är du att rekommendera PCMag.com?