Forskere presenterer Q-ROAR, en vekt-reskaleringsmetode som stabiliserer RoPE-interpolasjon for kvantiserte store språkmodeller – AI-nyheter.
Studien viser at kombinasjonen av RoPE-posisjonsinterpolasjon (PI) og post-training quantization (PTQ) gir nedsatt nøyaktighet grunnet sammenkoblede effekter: aliasing ved lange kontekster, dynamisk rekkevidde-dilatasjon, anisotropi mellom akse-justerte kvantizere og roterte RoPE-par, samt posisjonsavhengig logit-støy fra outlier-forskyvning. Forfatterne introduserer diagnostikker ‘interpolation pressure’ og ‘tail-inflation ratios’, og foreslår Q-ROAR, en vekt-only, frekvensbånd-basert skalering av Key/Query-vekter som søker lette per-bånd skaler. Metoden krever ingen finjustering eller arkitekturendring, bruker et lite langt-kontekst utviklingssett, og reduserer perplexity på lange kontekster med mer enn 14% samtidig som kort-kontekst ytelse, gjennomstrømning og systemkompatibilitet bevares. Relevans for Norge: norske forsknings- og driftsmiljøer som arbeider med kunstlig intelligens (KI) og LLM kan ha interesse for disse teknikkene.
Kilde: https://arxiv.org/abs/2510.00028 | Sammendraget er KI-generert med OpenAI API av Ainy.no
