Nvidia har avduket Groq 3, en ny språkbehandlingsenhet designet spesifikt for AI-inferens, under Nvidia GTC-konferansen i San Jose. Dette markerer et betydelig skritt i utviklingen av AI-teknologi, ettersom inferens nå kan håndtere brukerforespørsel med lavere latens.
Groq 3: En ny æra for AI-inferens
Den nye Groq 3 LPU er utviklet med teknologi fra start-upen Groq, som Nvidia kjøpte for 20 milliarder dollar. Denne enheten er optimalisert for rask databehandling, noe som er avgjørende for AI-applikasjoner som krever umiddelbare svar.
Utviklingen av Groq 3 understreker viktigheten av spesialiserte brikker for AI-inferens, et område som har sett betydelig vekst. Nvidias fokus på lav latens og effektiv databehandling kan revolusjonere hvordan AI-modeller brukes i stor skala.
Kilde: spectrum.ieee.org
Les også: xAI saksøkt etter Grok-generert CSAM
