CEVA kondig die tweede generasie NN IP van NeuPro-S aan

CEVA kondig die tweede generasie NN IP van NeuPro-S aan

Dit is ‘n aantal jare sedert masjienleer en neurale netwerke ‘n gewilde onderwerp van nuwigheid geword het. Sedertdien het die mark baie verander, het baie ondernemings, en die hele industrie het beweeg van die konsep van “wat kan ons daarmee doen” na die taamlik vertelling “dit is nuttig; ons moet dit regtig hê.” Alhoewel die mark ver van volwasse is, is dit nie meer in die vroeë fases van die wilde weste nie, wat ons ‘n paar jaar gelede gesien het.

‘N Beduidende vooruitgang in die bedryf is dat daar baie silikonverskaffers was wat besluit het om hul eie IP te ontwikkel in plaas daarvan om verskillende dinge te lisensieer – in ‘n sekere sin was IP-verskaffers ‘n bietjie agter met die aanbied van oplossings, dwing – huisontwikkeling sodat hul produk nie agter sou bly nie. in terme van mededingendheid.

CEVA kondig vandag die nuwe volgende generasie neurale netwerkversneller aan, die nuwe NeuPro-S. Die nuwe aanbod verbeter en ontwikkel die moontlikhede wat in die eerste generasie gesien is, en CEVA verbeter ook die buigsaamheid van verskaffers en die nuwe produkreeks, wat insluit dat ‘n wye reeks verskaffers nou hul eie IP het.

NeuPro-S is die direkte opvolger van verlede jaar se NeuPro IP-generasie van die eerste generasie, wat argitektuur en mikroargitektuur verbeter. Die basiese nuwe generasieverbeterings hou verband met hoe die blok nou geheue verbeter en hanteer, insluitend nuwe datakompressie en dekompressie. CEVA lewer getalle soos 40%, verminder die geheueverbruik en bandwydte, terwyl dit energiebesparing van tot 30 toelaat. Dit maak uiteraard ook prestasieverbeterings, wat tot 50% hoër werkverrigting oplewer in ‘n soortgelyke hardeware-opset in vergelyking met die eerste generasie.

CEVA kondig die tweede generasie NN IP van NeuPro-S 1 aan

In die volgende generasie innovasies, wat diep in mikro-argitektoniese veranderings ingewikkeld is, sluit nuwe massa-kompressie en optimalisering van netwerk-rariteit in. Gewiggegewens word weer opgelei en saamgepers via CDNN via die CEVA-aflaaier-samesteller en bly saamgepers in die hoofgeheue van die masjien – met NeuPro-S-dekompressie in reële tyd met behulp van hardeware.

CEVA kondig die tweede generasie NN IP van NeuPro-S 2 aan

Die nuwe kompressie-optimalisering en rariteitsoptimalisering klink basies na wat Arm in sy ML-verwerker doen met geen snoei op die modelle nie. Dan bied CEVA die aanwysers vir kompressieverhouding aan wat bereik kan word – met die verhouding afhanklik van die% van die nulgewigte, sowel as die diepte van bitverspreiding. Gewigsdeling is nog ‘n optimalisering van die aflyn-kompressie van die model wat die werklike spoor van gewigsdata verminder deur ooreenkomste te vind en te deel. Kompressieverhoudings wissel in hierdie geval van 1,3-2,7x in die ergste gevalle met enkele seldsaamheidsregstellings tot 5,3 -7x in modelle met ‘n beduidende hoeveelheid nulgewigte.

Verdere optimalisasies op die geheue-substelselvlak sluit in die verdubbeling van die interne koppelvlakke van die 128-bis AXI-koppelvlak na die 256-bis-koppelvlak, wat groter deurset tussen die stelsel, die CEVA XM-verwerker en die NeuPro-S-verwerkingsmotor moontlik maak. Ons het ook ‘n verbetering in interne cache opgemerk, en CEVA beskryf die gebruik van L2-geheue om te optimaliseer deur beter sagteware-ondersteuning.

CEVA kondig NN IP aan van die tweede generasie NeuPro-S 3

Wat die algehele skaal van argitektuur betref, verander NeuPro-S nie fundamenteel in vergelyking met sy voorganger nie. CEVA het geen basiese beperkings op die implementering van produkte hier nie en sal RTL op grond van klante se behoeftes opbou. Die belangrikste hier is dat clusters die konsep van groepe en verwerkingseenhede het. Clusters is onafhanklik van mekaar en kan nie aan dieselfde sagtewaretaak werk nie – kliënte sal meer klusters implementeer slegs as hulle baie parallelle vragte in die teikenstelsel gehad het – dit sou byvoorbeeld sin maak in ‘n motorimplementering met veelvuldige kamerastrome, maar nie noodwendig die voordele in die stelsel sien nie selfoon. Die cluster-definisie is ‘n bietjie vreemd en dit was nie heeltemal duidelik of dit eintlik enige hardeware-afbakening of ‘n meer waarskynlike definisie van sagteware-werking van verskillende samehangende verbindingsblokke is nie (aangesien hulle nog steeds via AXI verbind is).

As deel van die cluster is die verpligte blok die XM6 CEVA-visie en ‘n algemene verwerker vir vektore. Dit dien as die beheerder van die stelsel en verrig take soos vloeibestuur en verwerking van volledig verbind lae. CEVA merk op dat die verwerking van die ML-model heeltemal onafhanklik deur die NeuPro-S-stelsel verwerk kan word, terwyl ander IP-adresse miskien nog op die verwerker moet staatmaak vir ‘n paar laagverwerking.

NeuPro-S-motors is natuurlik MAC-verwerkingsenjins wat rou krag toevoeg tot wyer parallelle verwerking en hoë TOPS-waardes. Die verkoopsman moet ‘n verhouding van minstens 1: 1 XM hê vir NeuPro-enjins, maar hy kan kies om meer XM-verwerkers te gebruik wat aparte rekenaarvisie-take kan verrig.

CEVA kondig die tweede generasie NN IP van NeuPro-S 4 aan

Met CEVA kan u die grootte van die MAC-enjin in een NeuPro-S-blok skaal, wat wissel van 1024 8 × 8 MAC tot 4096 MAC. Die maatskappy laat ook verskillende bitdieptes toe, byvoorbeeld, laat dit toe 16 x 16 omdat dit steeds die behoefte sien vir sommige gevalle wat 16-bis-formate met groter noukeurigheid gebruik. Daar is ook konfigurasies met gemengde formaat, soos 16 x 8 of 8 x 16, waarin die akkuraatheid en gewigte van die data kan verskil.

In totaal word berig dat een NeuPro-S-enjin in maksimum konfigurasie (NPS4000, 4096 MAC) tot 12,5 TOPS op ‘n 1,5 GHz-verwysingsklok bereik. Natuurlik sal die frekwensie wissel afhangende van die implementeringsnodus en die proses wat die kliënt implementeer.

CEVA kondig die tweede generasie NN IP van die NeuPro-S 5 aan

Soos sommige vroeër in die blokdiagram opgemerk het, laat CEVA nou ook die integrasie van derdeparty-AI-enjins in die CDNN-sagtewarestapel toe en samewerking daarmee. CEVA noem dit “CDNN-Invite” en die maatskappy bevestig basies die bestaan ​​van ‘n wye verskeidenheid pasgemaakte AI-versnellers wat deur verskillende silikonverskaffers ontwikkel is.

CEVA wil die bestaande en omvattende samesteller en sagteware aan verkopers bied en hulle in staat stel om hul eie NN-versnellers aan te sluit. Baie verskaffers wat hul eie pad gekies het, het waarskynlik nie soveel ervaring in sagteware nie of het nie soveel hulpbronne om sagteware te ontwikkel nie, en CEVA wil sulke kliënte ‘n nuwe aanbod bied.

CEVA kondig die tweede generasie NN IP van die NeuPro-S 6 aan

Terwyl NeuPro-S ‘n fantastiese keuse vir NN se algehele vermoëns sal bly, erken CEVA dat daar moontlik versnellers kan wees wat geoptimaliseer is vir spesifieke take, wat hoër prestasies of prestasies behaal. Die verskaffer kan dus die beste van albei wêrelde hê danksy die groot buigsaamheid in sagteware en hardeware. U kan kies om NeuPro-S as die versneller-enjin te gebruik, u eie IP-adres te gebruik of ‘n stelsel met albei eenhede te skep. Die enigste vereiste hier is ‘n minimum implementering van die XM-verwerker.

CEVA beweer dat NeuPro-S nou beskikbaar is en gelisensieer is om kliënte in die kamera-toepassings te bestuur. Soos altyd, is silikonprodukte waarskynlik oor twee jaar.

Verwante lesings: