Google Research presenterer ‘speculative cascades’, en hybridmetode som kombinerer cascades og speculative decoding for å forbedre LLM-effektivitet og kostnader.
Metoden kombinerer tiered cascades med speculative decoding: en mindre ‘drafter’ lager utkast som en større ‘expert’ verifiserer i parallell, men med en fleksibel deferral-regel i stedet for streng token-for-token-verifisering. Google Research, ved Hari Narasimhan og Aditya Menon, testet teknikken mot standard cascades og speculative decoding på Gemma og T5 over oppgaver som oppsummering, oversettelse, resonnering, koding og spørsmålsbesvarelse, og rapporterer bedre kostnad-kvalitets-avveininger, ofte med høyere hastighetsgevinster og bedre kvalitetsmål. Som norsk kontekst er dette relevant for tjenester som bruker kunstlig intelligens (KI) fordi metoden adresserer ventetid og beregningskostnader. Dette er AI-nyheter fra Google Research.
Kilde: https://research.google/blog/speculative-cascades-a-hybrid-approach-for-smarter-faster-llm-inference | Sammendraget er KI-generert med OpenAI API av Ainy.no
