AI nyheter: Salesforce har brukt Amazon Bedrock Custom Model Import for å forenkle utrulling av sine finjusterte LLM-modeller.
Salesforce integrerte Amazon Bedrock Custom Model Import i sin MLOps-pipeline for å registrere modeller direkte fra en S3-modellbutikk, bevarte eksisterende API-endepunkter og oppnådde null nedetid og ingen endringer for nedstrømsapplikasjoner. Bedrock henter modeller fra S3 og la til 5–7 minutter i release‑prosessen, som samlet forble omtrent én time. Overgangen reduserte behovet for at SageMaker laster ned vektfiler ved containeroppstart. Teamet justerte krysskonto‑tilgang til S3 og IAM‑policyer, og brukte lette SageMaker CPU‑proxyer for for- og etterbehandling, som ga en ekstra nettverkshopp på 5–10 millisekunder og kostnad for alltid‑på CPU‑instanser. Tiltaket gjelder finjusterte modeller (Llama, Qwen, Mistral) brukt i agentiske applikasjoner og viser hvordan kunstlig intelligens (KI) kan driftes mer serverløst.
Skaleringsmålinger på modellen ApexGuru (finjustert QWEN‑2.5 13B) viste at Amazon Bedrock oppnådde 44% lavere latenstid ved lav samtidighet sammenlignet med ml.g6e.xlarge (bf16). P95‑latenser og gjennomstrømning var: 1 samtidighet 7,2 s / 11 req/min, 4 -> 7,96 s / 41 req/min, 16 -> 9,35 s / 133 req/min, 32 -> 10,44 s / 232 req/min. Bedrock auto‑skalerte fra én til tre kopier ved 32 samtidige forespørsler. Salesforce rapporterte 30% raskere iterasjon til produksjon og opptil 40% kostreduksjon.
For norske virksomheter med skybaserte MLOps kan reduksjon i infrastrukturhåndtering og lavere kostnader være relevante, særlig for aktører som allerede bruker AWS og trenger kompatibilitet med eksisterende endepunkter og IAM-innstillinger.
Kilde: https://aws.amazon.com/blogs/machine-learning/how-amazon-bedrock-custom-model-import-streamlined-llm-deployment-for-salesforce | Sammendraget er KI-generert med OpenAI API av Ainy.no
