50 kontroller

LLM Production Beredskap

En pragmatisk checklista för att skicka LLM-system på ett säkert sätt: arkitektur, data och säkerhet, utvärderingar, drift och kostnad.

Slutförd

Framsteg

Totalt

Architecture0/7

Infrastructure, security, and reliability foundations

Definierade SLO för latens (p50/p95) och tillgänglighet

VPC/VNet eller on-prem isolering för känsliga data

Hemlig förvaltning (KMS/Vault), nyckelrotationspolicy

Retry/backoff, kretsbrytare och nedgångar

Begär/respons storlek gränser; streaming aktiverad

Versioned prompts, configs och modell routing

Multi-region misslyckande plan dokumenterad

Data & Safety0/6

Privacy, content policy, and safety controls

PII/PHI-detektering och redigering vid intag

Innehållspolicy och skyddsräcken verkställs (tillåt / neka)

Toxicitet och jailbreak filter konfigurerade

Dokumentkälla åtkomstkontroller och tenancy

Dataset lineage & samtycke registrerat

Audit Trail för innehållsuppdateringar och takedowns

Retrieval & RAG0/7

Indexing, search, and context assembly

Chunking strategi validerad på representativa docs

Inbäddningsmodell vald; Recall@k mätt

Vector DB schema och filter testas

Hybrid-sökning (dense+sparse) utvärderad

Re-ranking förbättrar precisionen på eval set

Kontextförsamlingen tillämpar token budgetar

Citat/ankare ingår i svar

Generation & Policies0/5

Response generation and output controls

Svarsmallar eller JSON-scheman för struktur

Explicit vägran regler ("ej hittat" utan bevis)

Stil/röstkontroller dokumenterade

Bevakad verktygsanvändning (CRM/email/actions) med omfattningar

Rate limits per användare/tenant

Evals & QA0/5

Testing, validation, and quality assurance

Golden set med exakta svar och referenser

Faithfulness/grounding evals automatiserad

Red-team-scenarier körs regelbundet

Regressionsportar blockerar riskfyllda driftsättningar

Human-in-the-loop recension arbetsflöde (vid behov)

Observability & Ops0/5

Monitoring, alerting, and operations

Prompt/context/output tracing med PII scrubbing

Latency, fel, vägran och kostnad instrumentpaneler

Driftdetektering på hämtningskvalitet och utgångar

Alerting på SLO överträdelser och anomalier

On-call runbook & rollback plan dokumenterad

Cost & Performance0/5

Optimization, budgeting, and efficiency

Kvantiseringsstrategi testad (INT8/FP8/etc.)

Batchningsmöjligheter identifierade

Cache hit-rate övervakas och tuned

Kostnad per begäran/svar spårat med budgetar

Leverantörspriset granskas; alternativa rutter redo

Extras0/10

Advanced practices and preparation