Mobileye har optimalisert REM™’s endringsdeteksjon ved å kjøre CDNet‑inferenz på AWS Graviton og evaluere bruk av Triton Inference Server.
REM™ produserer og vedlikeholder crowdsourced høyoppløselige kart (HD) for nøyaktig lokalisering og navigasjon; endringsdeteksjonssystemet kjører parallelt på mange veisegmenter og utløses millioner av ganger daglig. Kjernen i endringsdeteksjonen er CDNet, en tung modell som kan bli kalt flere titalls ganger per oppgave og dominerer både beregnings- og minnebehovet. Mobileye målte CDNet‑inferens til 5,85 prøver/s på CPU (c7i.4xlarge) og 54,8 prøver/s på GPU (g6e.2xlarge), men valgte CPU og Graviton-baserte EC2-instansløsninger på grunn av bedre kostnadseffektivitet, høyere Spot‑tilgjengelighet og fordi resten av pipelinen er mer CPU‑orientert; Graviton ga mer enn 2x forbedring i gjennomstrømning. De vurderte også effekten av en modellinferenserver, spesielt Triton. Løsningen prioriterte antall utførte oppgaver per dollar og bruk av EC2 Spot Instances med aksept for preemptering for å redusere kostnader; løsningen bygger på kunstlig intelligens (KI). Dette er relevant for AI-nyheter.
Norsk kontekst: Automatisert endringsdeteksjon og kostnadseffektiv skybasert inferens er relevante tema for norske aktører som jobber med autonome kjøretøy, kartvedlikehold og nasjonal testing innen AI Norge.
Kilde: https://aws.amazon.com/blogs/machine-learning/optimizing-mobileyes-rem-with-aws-graviton-a-focus-on-ml-inference-and-triton-integration | Sammendraget er KI-generert med OpenAI API og kvalitetssikret av redaksjonen i Ainy.no
