Større kontekstvindu gir rom for lengre dokumenter og samtaler, men øker også kostnadene og kan spre modellens oppmerksomhet. I praksis kombinerer man sammendrag, oppdeling i mindre biter (chunking) og RAG‑oppslag for å holde kostnad og kvalitet i balanse. Måling av tokenbruk er nyttig for å styre budsjett.
Kontekstvindu
Lite leksikon om AI
Maksimal mengde tekst (i token) modellen kan behandle i én omgang.
