En ny arXiv-studie finner at 15 åpne LLM‑modeller ofte mislykkes i å samarbeide om resonnementsspor og er sårbare for distraksjoner.
Artikkelen ‘Off-Trajectory Reasoning: Can LLMs Collaborate on Reasoning Trajectory?’ av Aochong Oliver Li og Tanya Goyal (arXiv:2510.06410, innlevert 7. oktober 2025) undersøker om standard trening gir modeller evne til såkalt off-trajectory reasoning. Forfatterne introduserer to tester: Recoverability, som måler om modeller kan tilbakeføre seg etter misledende resonnementsspor, og Guidability, som måler om modeller kan bygge videre på riktige steg fra sterkere samarbeidspartnere. Studien evaluerte 15 åpne modeller i størrelsesordenen 1,5–32 milliarder parametre og fant at ‘sterkere’ modeller ofte var mer sårbare for distraksjoner, og at ingen modeller utnyttet veiledende steg til å løse problemer utenfor sine egne evner (løsingsrate under 9,2 prosent).
Kontrollstudier isolerte effekter av valg av distillasjonslærer, bruk av RL og datastrategi, og viste at suboptimale recoverability‑egenskaper hos lærermodeller overføres til distillerte studenter selv når distillasjonssporene er riktige. Resultatene peker på begrensninger ved off-the-shelf resonnementssystemer og gir grunnlag for videre arbeid innen kunstlig intelligens (KI). Dette er relevante AI-nyheter for norske forsknings- og implementeringsmiljøer.
Kilde: https://arxiv.org/abs/2510.06410 | Sammendraget er KI-generert med OpenAI API av Ainy.no
