Sharpness-Aware Minimization (SAM) er en optimizer som hjelper dype læringsmodeller å bli mer generaliserbare ved å søke flate minima i tapslandskapet.
Moderne dype modeller har ofte langt flere parametere enn nødvendig, og kan dermed passe treningsdata nesten perfekt. Likevel er det viktig at modellen fungerer på nye, ukjente data — det vi kaller generalisering. Forskning viser at to minima i samme modell kan gi lik treningsfeil, men veldig ulik evne til å generalisere hvis det ene er «skarpt» (smalt) og det andre er «flatt» (bredt). SAM er en optimaliseringsmetode som måler hvor følsom tapet er for små endringer i parameterne og oppdaterer modellen slik at den foretrekker flatere minima. Ifølge gjennomgangen inkluderer artikkelen en pedagogisk forklaring av algoritmen, en PyTorch-implementasjon med et forbehold for modeller som bruker BatchNorm, og en demonstrasjon som viser bedre generalisering på en ResNet18 for bildeklassifisering. Koden ligger tilgjengelig i forfatterens GitHub-repo.
Dette er relevant for norske forskere og bedrifter som utvikler løsninger for bilde- og språkoppgaver med kunstlig intelligens (KI). Som AI-nyheter kan SAM være av interesse for dem som ønsker mer robuste modeller uten å endre modellstørrelse.
Kilde: https://towardsdatascience.com/optimizing-deep-learning-models-with-sam | Sammendraget er KI-generert med OpenAI API og kvalitetssikret av redaksjonen i Ainy.no
