Journalist testet lokale språkmodeller på en 2021 M1 MacBook Pro (16 GB RAM) og opplevde store begrensninger.
Journalisten lastet ned Ollama for macOS og brukte verktøyet til å hente åpne LLM-er lokalt. Ollama gjør det relativt enkelt å laste ned modeller, men noen modeller i listen kjører bare i skyen; Ollama tilbyr også skytilgang med Pro ($20) og Max ($100). Han valgte glm-4.7-flash fra Z.ai (omtrent 30 milliarder parametere), en modell som bruker cirka 19 GB lagring. Eksperimentet viste at selv «små» modeller kan gå smertefullt sakte på en tre år gammel M1-maskin med 16 GB RAM, og artikkelen påpeker at man bør ha nyere maskinvare med 32 GB RAM for god ytelse. Lokalt kjørbare modeller gir fordeler som kontroll over data, mulighet til å arbeide med egne dokumenter og å unngå løpende kostnader — relevant for den som jobber med kunstlig intelligens (KI).
For norske informasjonarbeidere kan lokale modeller gi bedre kontroll over sensitive filer og potensielt lavere kostnader enn å bruke betalte netttjenester. Saken er relevant i norske AI-nyheter fordi den viser både muligheter og praktiske begrensninger ved å kjøre lokale modeller på eldre bærbare maskiner.
Kilde: https://zdnet.com/article/i-tried-local-ai-on-m1-mac-brutal-experience | Sammendraget er KI-generert med OpenAI API og kvalitetssikret av redaksjonen i Ainy.no
