En ny dekodeteknikk, Self Logits Evolution Decoding (SLED), forbedrer faktualiteten i store språkmodeller ved å bruke alle lagene i stedet for bare det siste. Google Research beskriver SLED som en måte å alignere modellens utdata med faktiske kunnskaper uten ekstern kunnskapsbase eller finjustering, og som kan kombineres med andre metoder. Metoden utnytter logits fra alle lag ved å beregne og vekte sannsynlighetsfordelinger for de ulike lagene, og henter et mer nyansert bilde av hva neste token bør være, ikke bare fra siste lag. Dette skal redusere hallusinasjoner og øke nøyaktigheten.
Testing har blitt gjennomført på flere LLM-er, inkludert GPT-OSS, Mistral og Gemma, med forbedringer i oppgaver som flervalgsvalg, åpen generering og trinnvis resonnement. Resultatene viser at SLED kan integreres med andre faktualitetsmetoder og gi bedre samsvar med virkelige data. For Norge og Norden kan slik utvikling være relevant for offentlige KI-tjenester, nyhetsdekning og næringsliv som bruker KI i beslutningsprosesser og innholdsskaping. Dette er AI-nyheter.
Kilde: https://research.google/blog/making-llms-more-accurate-by-using-all-of-their-layers/ | Sammendraget er KI-generert med OpenAI API av Ainy.no
