AI-nyheter: ML@CMU konkluderer at diffusionsmodeller overgår autoregressive modeller i data‑begrensede treningsregimer.
Studien viser at ved lavt compute vinner autoregressive modeller, men etter et ‘kritisk compute‑punkt’ matcher de, og med mer compute fortsetter diffusion å forbedre seg mens autoregressive stanser eller overfitter. Forfatterne peker på at diffusionstrening innebærer tilfeldig maskering som fungerer som implisitt data‑augmentering, noe som gir størst gevinst når data er knapp. Forskerne trente hundrevis av modeller over varierende modellstørrelse, datamengde og epoker for å skille effektene av data og compute. Dette er relevant for norske forskningsmiljøer og utviklere innen kunstlig intelligens (KI) som ofte arbeider med begrensede datasett, særlig med analyser som peker mot et data‑begrenset regime rundt 2028.
Kilde: https://aihub.org/2025/10/03/diffusion-beats-autoregressive-in-data-constrained-settings | Sammendraget er KI-generert med OpenAI API av Ainy.no
