I del 2 beskrives avanserte strategier for kostovervåkning i Amazon Bedrock for å styre forbruk av kunstlig intelligens (KI).
Artikkelen bygger videre på Part 1s proaktive «cost sentry» og introduserer granular custom tagging og forbedrede rapporteringsmekanismer. Løsningen legger til invocation-level tagging som fester rik metadata til hver API-forespørsel og skriver dette til Amazon CloudWatch for sporbarhet. AWS Step Functions-workflowen er oppdatert, og API-inndata er utvidet med tre hovedfelt: model, prompt og tags. Tags-objektet krever applicationId, mens costCenter og environment er valgfrie. En validerings-Lambda mapper enkle modellnavn til fullstendige Amazon Bedrock model IDs ved hjelp av en MODEL_ID_MAPPING, med eksempler som «nova-lite» → «amazon.nova-lite-v1:0» og «claude-3-5-haiku» → «us.anthropic.claude-3-5-haiku-20241022-v1:0». Innkommende forespørsler kan også suppleres med dynamiske tagger som requestId og timestamp.
I AI nyheter-sammenheng beskrives også logging og analyse: CloudWatch-metrikker med egendefinerte dimensjoner lagres i GenAIRateLimiting-namespace, med nøkkelmetrikker TotalRequests, RateLimitApproved, RateLimitDenied og InvocationFailed. Arbeidsflyten slutter i ett av tre utfall: rate limit godkjent og kall vellykket, rate limit godkjent og kall mislykket, eller rate limit nektet. Kostovervåkning kobles mot AWS Billing and Cost Management for videre analyse.
Relevans for Norge: Løsningen er relevant for norske virksomheter og offentlige etater som tar i bruk skybaserte generative AI-tjenester, fordi den gir bedre sporbarhet og kostnadsfordeling.
Kilde: https://aws.amazon.com/blogs/machine-learning/build-a-proactive-ai-cost-management-system-for-amazon-bedrock-part-2 | Sammendraget er KI-generert med OpenAI API av Ainy.no
