Tokenisering styrer hvor mange tegn som «får plass» i kontekstvinduet og påvirker kostnader. Ved lange dokumenter lønner det seg å komprimere innholdet med sammendrag, eller bruke RAG i stedet for å lime inn alt. Tellere for token gjør budsjetter mer forutsigbare.
Token
Lite leksikon om AI
Minsteenhet i teksten som modellen behandler; kan være del av ord.
