Technik · 10 Min. Lesezeit

    Custom AI Solutions: RAG, Agenten & MCP für Service Provider erklärt

    Marcello Frey9. Mai 2026aktualisiert 10. Mai 2026

    Wer als Service Provider oder Software-Anbieter ernsthaft mit KI arbeiten will, kommt an drei Architektur-Bausteinen nicht vorbei: RAG, Agenten und MCP. Dieser Artikel erklärt, was die drei tun, wann sie passen und wann nicht – und beschreibt eine schlanke Referenzarchitektur für Custom AI Solutions im B2B.

    Definition: Custom AI Solutions

    Custom AI Solutions sind maßgeschneiderte KI-Anwendungen, die kommerzielle Foundation Models (Claude, GPT, Gemini, Mistral) mit unternehmens­spezifischen Daten, Tools und Geschäftslogik kombinieren. Sie unterscheiden sich von SaaS-Add-ons durch volle Kontrolle über Prompt, Datenfluss, Berechtigungen und Logging – und sind damit der Standardweg für regulierte Branchen und differenzierende Produkt-Features.

    RAG – Retrieval-Augmented Generation

    RAG ist die Antwort auf "wie bringe ich unsere Daten in das KI-System, ohne ein eigenes Modell zu trainieren?". Der Trick: Bei jeder Anfrage werden zuerst relevante Dokument­stellen aus einer Vektor­datenbank geholt und dem Modell als Kontext mitgegeben. Das Modell antwortet dann ausschließlich auf Basis dieses Kontexts.

    Wann RAG passt

    • Wissensbasen, FAQs, Dokumentations- und Compliance-Suchen.
    • Produkt-Hilfe (in-app), Onboarding-Buddies.
    • Technische Recherche in großen, sich langsam ändernden Korpora.

    Wann RAG nicht passt

    • Hochaktuelle, transaktionale Daten (Bestellstatus, Lagerbestand) – dafür Tool-Calls / Agenten.
    • Sehr enge Domain-Sprache, in der das Foundation Model schon wackelt – hier ggf. Fine-Tuning zusätzlich zu RAG.

    Typische Implementierungskosten

    RAG-System für ~ 50 k Dokumente: 18.000–35.000 € Initial, ~ 400–1.000 €/Monat Betrieb. Tool-Stack 2026: pgvector oder Qdrant für Vektoren, Anthropic Claude oder GPT-4-Klasse für Generation, Reranker (z. B. Cohere) für Qualitätssprung.

    KI-Agenten – wenn KI Werkzeuge benutzen darf

    Ein Agent ist ein Foundation Model, das nicht nur antwortet, sondern selbst Tools aufruft: APIs, Datenbanken, Browser, andere Modelle. Ein Buchhaltungs-Agent kann z. B. den Beleg parsen, im ERP nachschlagen, einen Buchungs­vorschlag erstellen, ihn versenden und auf Antwort warten.

    Wann Agenten passen

    • Mehrstufige Aufgaben mit eindeutigen Erfolgskriterien (Belege buchen, Tickets bearbeiten, Termine koordinieren).
    • Wenn das Ergebnis prüfbar ist (idealerweise vom System selbst, sonst durch Human-in-the-Loop).

    Wann Agenten nicht passen

    • Aufgaben mit subtiler Qualitäts­bewertung (kreatives Schreiben, strategische Analyse) – da bleibt Augmentation der bessere Modus.
    • Wenn jeder Schritt teuer / irreversibel ist (Geld überweisen, Verträge abschließen) – dann strikt mit Approval-Gates.

    MCP – das "USB-C für KI-Tools"

    Das Model Context Protocol (MCP) ist ein offener Standard von Anthropic, der definiert, wie ein KI-Modell mit externen Tools, Datenquellen und Workflows spricht. Statt jedes Tool individuell pro Modell zu integrieren, schreibt man einen MCP-Server, und alle MCP-fähigen Clients (Claude Desktop, IDE-Plugins, Custom-Apps) können ihn nutzen.

    Warum das für Service Provider relevant ist

    • Wiederverwendung: Ein einmal gebauter MCP-Server für CRM, ERP oder eigenes Produkt wird sofort zum mehrfach verwertbaren Asset.
    • Vendor-Unabhängigkeit: MCP entkoppelt von einem konkreten Modell­anbieter.
    • Saubere Sicherheits-Boundaries: Auth, Scopes und Audit-Logging einmal zentral, nicht in jedem Prompt.

    Referenzarchitektur für Custom AI Solutions im B2B

    1. Identity-Layer: SSO (OIDC), Rollen + Scopes, deterministisches Audit-Log.
    2. Daten-Layer: Klassifizierte Datenquellen (öffentlich / intern / vertraulich) mit getrennten Indexen.
    3. Retrieval-Layer: pgvector/Qdrant + Reranker, Filter via Metadata (Berechtigung, Zeitraum, Tenant).
    4. Modell-Layer: Hauptmodell (Claude / GPT-Klasse) mit Fallback auf günstigeres Modell für einfache Queries.
    5. Tool-Layer (MCP): CRM, ERP, Ticketing, Dateisystem als MCP-Server.
    6. Orchestration-Layer: LangGraph, eigene State-Machine oder ein Agent-Framework (z. B. Pydantic AI, Mastra) – kontrolliert Loops, Approval-Gates, Retries.
    7. Observability: Token-Verbrauch, Latenz, Fehlerquote, Halluzinations-Detektor – per Tracing (Langfuse, Helicone).
    8. Quality-Gate: 4-wöchentliches Eval mit Goldset, automatisierte Regression-Tests vor jedem Modell-Update.

    Build vs. SaaS – wann sich Custom AI rechnet

    TreiberSaaS reichtCustom AI nötig
    Datenklassifikationöffentlich / wenig sensitivvertraulich / regulatorisch
    DifferenzierungStandard-Use-CaseTeil des eigenen Produkt-Versprechens
    Volumen< 100 k Anfragen/Monat> 500 k Anfragen/Monat (Stückkosten zählen)
    IntegrationstiefeStandard-Konnektoren reichentiefe Logik in Bestandssystemen
    ComplianceEU-Hosting des Anbieters reichtvolle Kontrolle / On-Prem nötig

    Schnell-Übersicht: Welches Pattern wofür?

    • RAG für Wissens-Antworten und Dokumenten­suche.
    • Agenten für mehrstufige Aufgaben mit Tool-Nutzung und prüfbarem Ergebnis.
    • MCP als Integrations-Standard, sobald mehr als ein Tool an mehr als ein Modell angebunden werden soll.
    • Erst RAG produktiv haben, dann Agenten obenauf bauen – nicht umgekehrt.
    • Eigene Modelle trainieren ist 2026 in 95 % der Fälle der falsche erste Schritt.

    Sicherheits-Themen, die jede Custom-AI-Lösung adressieren muss

    • Prompt-Injection-Härtung: System-Prompt-Trennung, untrusted-Content-Markierung, Output-Validierung.
    • Berechtigungs­filter bereits vor dem Retrieval, nicht erst danach.
    • PII-Filter in beide Richtungen (Eingabe und Modell-Output).
    • Rate Limits & Cost-Caps pro User und pro Tenant.
    • Reversibilität: Jede Aktion eines Agenten muss rückgängig gemacht werden können.

    Wo wir typischerweise starten

    Für die meisten unserer Custom-AI-Projekte bauen wir Welle 1 als RAG-System (4 Wochen), erweitern Welle 2 um spezifische MCP-Tools (3 Wochen) und ergänzen erst in Welle 3 echte Agenten-Workflows (4–6 Wochen). Diese Sequenz minimiert Risiko und schafft auf jeder Stufe nutzbaren Mehrwert. Mehr Methodik im Implementierungs-Leitfaden.

    Architektur-Sparring vereinbaren →

    Pillar-Guide: Den vollständigen Überblick bekommst du in unserem Leitfaden KI-Implementierung für Unternehmen – Ablauf, Kosten, Use-Cases und DSGVO.