Custom AI Solutions: RAG, Agenten & MCP für Service Provider erklärt
Wer als Service Provider oder Software-Anbieter ernsthaft mit KI arbeiten will, kommt an drei Architektur-Bausteinen nicht vorbei: RAG, Agenten und MCP. Dieser Artikel erklärt, was die drei tun, wann sie passen und wann nicht – und beschreibt eine schlanke Referenzarchitektur für Custom AI Solutions im B2B.
Definition: Custom AI Solutions
Custom AI Solutions sind maßgeschneiderte KI-Anwendungen, die kommerzielle Foundation Models (Claude, GPT, Gemini, Mistral) mit unternehmensspezifischen Daten, Tools und Geschäftslogik kombinieren. Sie unterscheiden sich von SaaS-Add-ons durch volle Kontrolle über Prompt, Datenfluss, Berechtigungen und Logging – und sind damit der Standardweg für regulierte Branchen und differenzierende Produkt-Features.
RAG – Retrieval-Augmented Generation
RAG ist die Antwort auf "wie bringe ich unsere Daten in das KI-System, ohne ein eigenes Modell zu trainieren?". Der Trick: Bei jeder Anfrage werden zuerst relevante Dokumentstellen aus einer Vektordatenbank geholt und dem Modell als Kontext mitgegeben. Das Modell antwortet dann ausschließlich auf Basis dieses Kontexts.
Wann RAG passt
- Wissensbasen, FAQs, Dokumentations- und Compliance-Suchen.
- Produkt-Hilfe (in-app), Onboarding-Buddies.
- Technische Recherche in großen, sich langsam ändernden Korpora.
Wann RAG nicht passt
- Hochaktuelle, transaktionale Daten (Bestellstatus, Lagerbestand) – dafür Tool-Calls / Agenten.
- Sehr enge Domain-Sprache, in der das Foundation Model schon wackelt – hier ggf. Fine-Tuning zusätzlich zu RAG.
Typische Implementierungskosten
RAG-System für ~ 50 k Dokumente: 18.000–35.000 € Initial, ~ 400–1.000 €/Monat Betrieb. Tool-Stack 2026: pgvector oder Qdrant für Vektoren, Anthropic Claude oder GPT-4-Klasse für Generation, Reranker (z. B. Cohere) für Qualitätssprung.
KI-Agenten – wenn KI Werkzeuge benutzen darf
Ein Agent ist ein Foundation Model, das nicht nur antwortet, sondern selbst Tools aufruft: APIs, Datenbanken, Browser, andere Modelle. Ein Buchhaltungs-Agent kann z. B. den Beleg parsen, im ERP nachschlagen, einen Buchungsvorschlag erstellen, ihn versenden und auf Antwort warten.
Wann Agenten passen
- Mehrstufige Aufgaben mit eindeutigen Erfolgskriterien (Belege buchen, Tickets bearbeiten, Termine koordinieren).
- Wenn das Ergebnis prüfbar ist (idealerweise vom System selbst, sonst durch Human-in-the-Loop).
Wann Agenten nicht passen
- Aufgaben mit subtiler Qualitätsbewertung (kreatives Schreiben, strategische Analyse) – da bleibt Augmentation der bessere Modus.
- Wenn jeder Schritt teuer / irreversibel ist (Geld überweisen, Verträge abschließen) – dann strikt mit Approval-Gates.
MCP – das "USB-C für KI-Tools"
Das Model Context Protocol (MCP) ist ein offener Standard von Anthropic, der definiert, wie ein KI-Modell mit externen Tools, Datenquellen und Workflows spricht. Statt jedes Tool individuell pro Modell zu integrieren, schreibt man einen MCP-Server, und alle MCP-fähigen Clients (Claude Desktop, IDE-Plugins, Custom-Apps) können ihn nutzen.
Warum das für Service Provider relevant ist
- Wiederverwendung: Ein einmal gebauter MCP-Server für CRM, ERP oder eigenes Produkt wird sofort zum mehrfach verwertbaren Asset.
- Vendor-Unabhängigkeit: MCP entkoppelt von einem konkreten Modellanbieter.
- Saubere Sicherheits-Boundaries: Auth, Scopes und Audit-Logging einmal zentral, nicht in jedem Prompt.
Referenzarchitektur für Custom AI Solutions im B2B
- Identity-Layer: SSO (OIDC), Rollen + Scopes, deterministisches Audit-Log.
- Daten-Layer: Klassifizierte Datenquellen (öffentlich / intern / vertraulich) mit getrennten Indexen.
- Retrieval-Layer: pgvector/Qdrant + Reranker, Filter via Metadata (Berechtigung, Zeitraum, Tenant).
- Modell-Layer: Hauptmodell (Claude / GPT-Klasse) mit Fallback auf günstigeres Modell für einfache Queries.
- Tool-Layer (MCP): CRM, ERP, Ticketing, Dateisystem als MCP-Server.
- Orchestration-Layer: LangGraph, eigene State-Machine oder ein Agent-Framework (z. B. Pydantic AI, Mastra) – kontrolliert Loops, Approval-Gates, Retries.
- Observability: Token-Verbrauch, Latenz, Fehlerquote, Halluzinations-Detektor – per Tracing (Langfuse, Helicone).
- Quality-Gate: 4-wöchentliches Eval mit Goldset, automatisierte Regression-Tests vor jedem Modell-Update.
Build vs. SaaS – wann sich Custom AI rechnet
| Treiber | SaaS reicht | Custom AI nötig |
|---|---|---|
| Datenklassifikation | öffentlich / wenig sensitiv | vertraulich / regulatorisch |
| Differenzierung | Standard-Use-Case | Teil des eigenen Produkt-Versprechens |
| Volumen | < 100 k Anfragen/Monat | > 500 k Anfragen/Monat (Stückkosten zählen) |
| Integrationstiefe | Standard-Konnektoren reichen | tiefe Logik in Bestandssystemen |
| Compliance | EU-Hosting des Anbieters reicht | volle Kontrolle / On-Prem nötig |
Schnell-Übersicht: Welches Pattern wofür?
- RAG für Wissens-Antworten und Dokumentensuche.
- Agenten für mehrstufige Aufgaben mit Tool-Nutzung und prüfbarem Ergebnis.
- MCP als Integrations-Standard, sobald mehr als ein Tool an mehr als ein Modell angebunden werden soll.
- Erst RAG produktiv haben, dann Agenten obenauf bauen – nicht umgekehrt.
- Eigene Modelle trainieren ist 2026 in 95 % der Fälle der falsche erste Schritt.
Sicherheits-Themen, die jede Custom-AI-Lösung adressieren muss
- Prompt-Injection-Härtung: System-Prompt-Trennung, untrusted-Content-Markierung, Output-Validierung.
- Berechtigungsfilter bereits vor dem Retrieval, nicht erst danach.
- PII-Filter in beide Richtungen (Eingabe und Modell-Output).
- Rate Limits & Cost-Caps pro User und pro Tenant.
- Reversibilität: Jede Aktion eines Agenten muss rückgängig gemacht werden können.
Wo wir typischerweise starten
Für die meisten unserer Custom-AI-Projekte bauen wir Welle 1 als RAG-System (4 Wochen), erweitern Welle 2 um spezifische MCP-Tools (3 Wochen) und ergänzen erst in Welle 3 echte Agenten-Workflows (4–6 Wochen). Diese Sequenz minimiert Risiko und schafft auf jeder Stufe nutzbaren Mehrwert. Mehr Methodik im Implementierungs-Leitfaden.