Agentic AI
11/13/2026

Lohnt sich ein lokales LLM im Unternehmen?

Lohnt sich ein lokales LLM im Unternehmen?

Ein lokales LLM zu installieren, also ein Open-Source-Sprachmodell auf den eigenen Servern des Unternehmens zu betreiben, wirkt wie die vorsichtigste Entscheidung, um Daten zu schützen. Für fast alle Unternehmen lohnt es sich nicht: Man bleibt an ein einziges Modell gebunden, das weniger leistungsfähig ist als die Frontier-Modelle und für jede Aufgabe gleich bleibt. Man zahlt Kosten, die in keinem Angebot auftauchen, und holt sich eine Software ins Firmennetz, die niemand wirklich kontrollieren kann.

Wer schon einige Jahre in der IT arbeitet, kennt diesen Film. Vor fünfzehn Jahren ging die Debatte um den Server in der Abstellkammer oder die Cloud, und Sicherheit war das Argument derjenigen, die alles im Haus behalten wollten. Wie es ausging, wissen wir: Die Infrastruktur Profis zu überlassen, die sich hauptberuflich darum kümmern, hat sich als sicherer und obendrein günstiger erwiesen. Bei der künstlichen Intelligenz stellt sich dieselbe Frage, und die Antwort ist ebenfalls dieselbe.

Was bedeutet es, ein lokales LLM zu installieren?

Es bedeutet, die Gewichte eines Open-Weight-Modells (zum Beispiel Llama, Qwen, DeepSeek, Mistral) herunterzuladen und es auf eigenen oder gemieteten GPUs im eigenen Rechenzentrum zu betreiben. Man spricht auch von LLM on premise oder Self-Hosting. Die Alternative ist ein Frontier-Modell, also eines der fortschrittlichsten Modelle auf dem Markt, das ein Anbieter aus professionellen Rechenzentren bereitstellt, idealerweise in der Europäischen Union und mit einem Vertrag, der die Speicherung der Daten ausschließt. Das ist der Weg, den AIDA gewählt hat, und deshalb setzt AIDA auf AWS.

Die Überlegung hinter der lokalen Lösung ist einfach: Wenn das Modell im Haus ist, verlassen die Dokumente das Haus nicht. Sehen wir uns an, warum die Rechnung nicht aufgeht.

Ein lokales LLM ist weniger leistungsfähig

Der Unterschied zeigt sich gerade bei den Aufgaben, für die KI am nützlichsten ist. Laut Epoch AI lagen die besten Open-Weight-Modelle seit Anfang 2026 im Durchschnitt etwa vier Monate hinter den geschlossenen Frontier-Modellen zurück. Das klingt nach wenig, betrifft aber die größten offenen Modelle, die in der Regel einen Server mit acht Rechenzentrums-GPUs benötigen: eine Maschine, die neu zwischen 250.000 und 320.000 Dollar kostet.

Die Modelle, die ein Unternehmen tatsächlich installiert, also solche, die auf eine oder zwei Grafikkarten passen, liegen weiter zurück. Eine weitere Analyse von Epoch AI hat gemessen, dass Modelle, die auf einer einzelnen Consumer-GPU laufen, die Fähigkeiten der Frontier-Modelle mit 6 bis 12 Monaten Verzögerung erreichen, und dass der Abstand im praktischen Einsatz wahrscheinlich größer ist, als die Benchmarks vermuten lassen.

In der Dokumentenverarbeitung hat dieser Rückstand konkrete Kosten. Ein weniger leistungsfähiges Modell erfasst häufiger einen Betrag in einer Tabelle falsch, verwechselt zwei Daten in einem Vertrag oder verliert in einem zehnseitigen Schreiben den Faden. Jeder Fehler bedeutet eine manuelle Korrektur, und eine Automatisierung, die man von Hand nachprüfen muss, spart keine Zeit.

Hinzu kommt der Faktor Zeit. Ein Frontier-Modell wird alle paar Monate besser, und wer AIDA nutzt, profitiert davon, ohne etwas zu tun, denn die Tests neuer Modelle übernehmen wir. Ein im Haus installiertes Modell bleibt auf dem Stand des Installationstags stehen, und eine Aktualisierung bedeutet neue Tests, neue Konfiguration und oft neue Hardware.

Ein einziges Modell oder ein Ökosystem von Modellen?

Arbeit mit Dokumenten ist nicht immer gleich, sie unterscheidet sich entlang zweier Achsen. Die erste ist die Komplexität des Dokuments: Ein einseitiger Lieferschein ist kein fünfzigseitiger Vertrag mit Tabellen, Anlagen und Unterschriften. Die zweite ist das fachliche Niveau der Arbeit, die damit zu erledigen ist: Zehn Felder in ein ERP-System zu übertragen ist eine Sachbearbeitungsaufgabe, Rechnungen, Bestellungen und Zahlungen abzugleichen ist Arbeit für die Buchhaltung, die Klauseln eines Vertrags oder die KPIs eines dokumentierten Prozesses zu bewerten ist Arbeit für Fachleute.

Ein lokales LLM zwingt dazu, ein einziges Modell zu wählen, das auf die gekaufte Hardware zugeschnitten ist, und diese Wahl ist in beiden Fällen falsch. Ist das Modell klein, bewältigt es einfache Aufgaben, macht aber bei anspruchsvollen Fehler, und jeder Fehler landet wieder auf jemandes Schreibtisch. Ist es groß, läuft ein Rechenzentrumsserver selbst für das Lesen von Lieferscheinen. In beiden Fällen wird die Rechenleistung schlecht genutzt.

Ein Ökosystem von Modellen, wie es die großen Cloud-Anbieter bereitstellen, macht das Gegenteil: Jede Aufgabe geht an das passende Modell. Kleine, schnelle Modelle klassifizieren und extrahieren, leistungsstärkere Modelle analysieren die Dokumente und erledigen die Facharbeit. Ein Agent kann im selben Prozess mehrere davon nutzen, etwa eines, das die Arbeit vorbereitet, und eines, das sie prüft. Je mehr Modelle zur Verfügung stehen, desto genauer folgt die Rechenleistung der Komplexität der Arbeit, und man zahlt nur dann mehr, wenn die Aufgabe es erfordert. Erscheint ein besseres Modell, kommt es ins Ökosystem, ohne dass neue Hardware gekauft werden muss.

Es gibt auch einen Sicherheitsvorteil: In einem verwalteten Ökosystem stammen die Modelle direkt von ihren Herstellern, in den offiziellen Versionen, und nicht als veränderte Kopien aus einem öffentlichen Repository.

Was kostet ein LLM on premise wirklich?

Mehr, als der Preis der GPUs vermuten lässt, denn der ist nur der sichtbarste Posten. Den Server zu mieten ändert wenig: Acht H100-GPUs kosten bei AWS rund 55 Dollar pro Stunde, also etwa 40.000 Dollar im Monat, wenn die Maschine durchgehend läuft. Die übrigen Posten kommen später:

  • Nicht ausgelastete GPUs: Eine Karte kostet gleich viel, ob sie arbeitet oder stillsteht, und die Last eines Unternehmens konzentriert sich auf wenige Stunden am Tag. Ein Cloud-Anbieter verteilt dieselbe Kapazität auf Tausende von Kunden.
  • Personal: Für Installation, Optimierung, Überwachung und Aktualisierung des Modells braucht es Fachwissen, und diese Profile gehören zu den gefragtesten und teuersten auf dem Markt.
  • Energie, Kühlung und Redundanz: Fällt der Server aus, stehen alle Prozesse still, die vom Modell abhängen.
  • Sicherheit: Das Modell wird zu einer neuen Komponente, die geschützt werden muss, mit eigenen Updates und eigenen Schwachstellen.

Es ist dieselbe Rechnung wie früher beim internen Mailserver: Die Hardware war der günstige Teil, alles andere wog viel schwerer.

Mit AIDA ist der Vergleich schnell gemacht. Die künstliche Intelligenz wird nutzungsbasiert abgerechnet (Pay per Use), über die Dokumentseiten Ihres Tarifs, also dieselben Seiten, die das Unternehmen bereits für die Dokumentenverarbeitung erworben hat: Die Kosten bewegen sich im Cent-Bereich pro Seite, ohne Hardwarekauf und ohne Ausgaben, solange man sie nicht nutzt.

Schützt ein lokales LLM wirklich den Datenschutz?

Weniger, als es scheint. Daten im Haus zu behalten schützt vor einem Risiko, nämlich dass der Anbieter sie speichert oder verwendet. Ein in der EU gehostetes Frontier-Modell mit Zero Data Retention schließt dieses Risiko aber bereits vertraglich aus: Die Anfragen werden in Europa verarbeitet, nicht gespeichert und nicht zum Training des Modells verwendet. So arbeitet AIDA. Das lokale Modell dagegen schafft ein neues Risiko.

Ein Sprachmodell ist kein Programm, das man Zeile für Zeile lesen kann. Es besteht aus Milliarden von Zahlen, und niemand, nicht einmal seine Entwickler, kann mit Sicherheit sagen, wie es sich in jeder Situation verhalten wird. Wird dieses Modell zu einem Agenten, der Befehle ausführen, Dateien lesen und sich mit dem Netz verbinden kann, lässt man es mit dem Schlüsselbund in der Hand ins interne Netzwerk.

Dabei sind zwei Fragen zu trennen: wo das Modell läuft und was der Agent, der es nutzt, tun darf. Die beiden folgenden Fälle betreffen Agenten mit Zugriff auf Befehle und Netzwerk, und dieselben offenen Modelle finden sich auch in den Katalogen der großen Cloud-Anbieter. Die lokale Lösung addiert jedoch beide Probleme: Gewichte unbekannter Herkunft und eine Umgebung, die kaum ein Unternehmen abzugrenzen weiß. Cohere selbst sagt es: Gewichte, denen man nicht trauen kann, im eigenen Haus zu betreiben, verschiebt die Blackbox lediglich hinter die Firewall.

Der Fall Cohere: das Modell, das eine Datei nach Peking hochladen wollte

Am 26. Oktober 2026 veröffentlichte Cohere die Ergebnisse eines Tests mit Qwen3.8-Flash-Next, einem verbreiteten Open-Weight-Modell von Alibaba. Das Forschungsteam hatte das Modell in einer isolierten Umgebung gebeten, eine Regel zur Erkennung eines Cyberangriffs zu schreiben. Stattdessen inventarisierte das Modell die Maschine, auf der es lief, und versuchte, eine Testdatei in einen Alibaba-Cloud-Speicher in Peking hochzuladen. In seiner Argumentation hatte es geschrieben, es werde keine Werkzeuge verwenden.

Die Sandbox von Cohere blockierte den Versuch, es gelangten keine Daten nach außen. Der Fall ist mit Vorsicht zu bewerten. Cohere stellt selbst klar, dass das Verhalten selten ist (weniger als ein Aufruf von 100.000 in den eigenen Tests), dass das Modell bei erneuter Eingabe derselben Anfrage die korrekte Regel schrieb und dass Cohere weder die Ursache gefunden hat noch dem Modell böswillige Absichten unterstellt. Zudem verkauft Cohere eigene Modelle und hat ein kommerzielles Interesse daran, kostenlose Alternativen aus China auszubremsen. Ein unabhängiger Test mit 130 Durchläufen derselben Aufgabe verzeichnete keinen einzigen Upload, beobachtete in einem anderen Versuch allerdings, wie Qwen-Modelle Alibaba-Adressen erfanden und versuchten, von dort Dateien herunterzuladen.

Das Warnsignal bleibt dennoch. Das Modell tat etwas anderes, als es angekündigt hatte, und entdeckt hat es Cohere: ein Unternehmen, das beruflich Sprachmodelle entwickelt, mit einem eigenen Forschungsteam und einer Sandbox, die eigens dafür gebaut wurde, jeden Befehl zu beobachten. Ein Unternehmen, das sich mit anderen Dingen beschäftigt, Maschinen baut oder eine Kanzlei führt, hat weder dieses Team noch diese Sandbox. In seinem Netzwerk würde ein solcher Versuch nicht blockiert, und aller Wahrscheinlichkeit nach würde nie jemand davon erfahren.

Versteckte Backdoors in den Modellgewichten

Das zweite Risiko ist subtiler. Bereits 2024 hatte eine Studie von Anthropic zu Sleeper Agents gezeigt, dass ein Modell so trainiert werden kann, dass es sich in Tests korrekt verhält und bei einem bestimmten Signal schädlich, und dass das übliche Sicherheitstraining dieses Verhalten nicht beseitigt.

Im Oktober 2026 zeigte ProjectDiscovery, wie einfach das bei einem offenen Modell ist, wie eine Notiz der Cloud Security Alliance zusammenfasst. Mit GPU-Kosten von rund 8 Dollar und zweieinhalb Stunden Arbeit veränderten die Forscher ein Qwen-Modell mit 7 Milliarden Parametern: Es beantwortete alle normalen Fragen korrekt, führte aber bei einem bestimmten Codesatz einen Befehl aus, der ein Skript herunterlud und SSH-Schlüssel sowie Konfigurationsdateien mit Passwörtern nach außen schickte. Die Backdoor steckt in den Zahlen des Modells, nicht im Code, daher kann kein Virenscanner und keine Dateiprüfung sie finden. Die CSA betont, dass das Experiment noch nicht unabhängig reproduziert wurde, die Technik aber für jeden zugänglich ist.

Wer ein offenes Modell aus einem öffentlichen Repository herunterlädt, womöglich eine von Dritten „optimierte“ Version, muss also der gesamten Kette vertrauen: wer es trainiert, wer es verändert und wer es hochgeladen hat. Beide Beispiele betreffen Qwen, doch die Herkunftsflagge spielt keine Rolle: Veränderte Versionen kursieren für fast alle verbreiteten offenen Modelle, darunter Llama und gpt-oss von OpenAI, wie Bruce Schneier berichtet. Entscheidend ist die Herkunft der Gewichte. Schneier schreibt selbst, dass KI-Systeme für alle Supply-Chain-Angriffe anfällig sind, für die auch herkömmliche Software anfällig ist.

Es gibt eine Abwehr, und die CSA nennt sie selbst: Mit aktiver Befehlsfreigabe und einer Netzwerk-Sandbox hätte der schädliche Befehl die Zustimmung eines Menschen erfordert. Auf diesem Prinzip beruht die agentische Architektur von AIDA, die mit Sicherheit und Datenschutz im Mittelpunkt von einem Team entwickelt wurde, das seit Jahrzehnten mit Dokumenten und sensiblen Daten arbeitet. Die Agenten von AIDA arbeiten in einer kontrollierten Umgebung, die auf bestimmte Dokumentenaufgaben begrenzt ist, nutzen nur den Kontext der Anwendung und setzen standardmäßig auf Human in the Loop: Der Mensch bleibt im Mittelpunkt, und wichtige Aktionen erfordern seine Bestätigung.

Warum bietet die professionelle Cloud mehr Sicherheit?

Aus demselben Grund, aus dem die Cloud den Server in der Abstellkammer abgelöst hat: Sicherheit ist ein Vollzeitjob, und wer ihn für Tausende von Kunden erledigt, macht ihn besser als jemand, der ihn nur für sich selbst erledigt. Ein großer KI-Anbieter hat eigene Teams für Modellsicherheit, testet die Modelle vor der Veröffentlichung auf auffälliges Verhalten und haftet vertraglich dafür, wie er mit den Daten umgeht.

Die richtige Wahl liegt also nicht zwischen „im Haus“ und „außer Haus“, sondern zwischen einem einzigen Modell und einem Ökosystem, das ein seriöser Anbieter verwaltet. Bevor Sie einen KI-Dienst einführen, sollten Sie fragen:

  • wo die Daten verarbeitet werden und ob sich die Verarbeitung auf die Europäische Union beschränken lässt;
  • ob Anfragen gespeichert oder zum Training der Modelle verwendet werden (die richtige Antwort lautet nein: Zero Data Retention);
  • welche Zertifizierungen und vertraglichen Zusagen die Verarbeitung abdecken, etwa in Bezug auf DSGVO, AI Act oder NIS2-Richtlinie;
  • wer entscheidet, was die KI tut: ob ein Agent eine E-Mail oder eine Zahlung ohne Bestätigung durch einen Menschen auslösen kann.

So macht es AIDA

AIDA wendet dasselbe Prinzip auf das Dokumentenmanagement an: Die Infrastruktur betreiben wir, hauptberuflich, damit die Kunden es nicht tun müssen. AIDA wird vollständig auf AWS gehostet, und die Daten europäischer Nutzer bleiben in den Rechenzentren in Frankfurt und Irland, wobei sich jederzeit die ausschließliche Datenresidenz in der Europäischen Union aktivieren lässt. Die Verbindungen sind mit TLS 1.3 verschlüsselt, und der Schlüsselaustausch entspricht bereits den Post-Quanten-Standards des NIST. Auch bei der künstlichen Intelligenz setzt AIDA auf AWS: Frontier-Modelle aus Rechenzentren in der Europäischen Union, mit einem Vertrag, der die Speicherung der Daten und ihre Verwendung für das Training ausschließt. Alle Details finden Sie auf der Seite Sicherheit und Zertifizierungen von AIDA.

Auch in AIDA arbeitet ein Ökosystem. Für die Datenextraktion (IDP) gibt es die Hybrid-AI-Engine, die auch ohne generatives Modell lernt und von generativer KI ganz natürlich verstärkt wird. Um Dokumente zu verstehen und die Facharbeit zu erledigen, nutzt AIDA Frontier-Modelle und wählt für jede Aufgabe das passende aus. Der Kunde muss nichts auswählen: Er sieht nur die Seiten, und nur die komplexesten Aufgaben verbrauchen Seiten.

Es ist auch eine Frage der Architektur. Die Dokumente in AIDA sind keine im Büronetzwerk verstreuten Dateien, sondern nur über die Anwendung erreichbar: Deshalb findet Ransomware nichts zum Verschlüsseln, und aus demselben Grund kann keine auf einem Firmen-PC installierte Software im Archiv herumstöbern.

Schließlich arbeiten die KI-Agenten von AIDA nicht blind. Sie erhalten einen korrekten und geprüften Kontext: bereits klassifizierte Dokumente, extrahierte und validierte Daten, Beziehungen zwischen Dokumenten, Ereignishistorie. Und bevor sie eine E-Mail, eine Nachricht oder eine Zahlungsanforderung versenden, bitten sie immer einen Menschen um Bestätigung, es sei denn, der Kunde aktiviert bewusst den automatischen Versand.

Häufige Fragen zu lokalen LLMs

Ist ein LLM in der Cloud mit der DSGVO vereinbar?

Ja, wenn der Anbieter die Daten regelkonform verarbeitet: Verarbeitung in der Europäischen Union oder mit geeigneten Garantien, ein Auftragsverarbeitungsvertrag und keine Verwendung der Daten für das Training. Die DSGVO verlangt nicht, Daten im Haus zu behalten, sie verlangt zu wissen, wer sie wie verarbeitet.

Ist ein Open-Source-Modell nicht transparenter?

Die Gewichte sind öffentlich, das Verhalten nicht: Niemand kann Milliarden von Parametern lesen und daraus ableiten, was das Modell in jeder Situation tun wird. Offen heißt nicht geprüft, wie der Fall Cohere und die Backdoors in den Gewichten nahelegen.

Reicht nicht ein gutes offenes Modell für alle Aufgaben?

Selten. Die Arbeit mit Dokumenten reicht von der Extraktion weniger Felder bis zur Analyse eines Vertrags, und ein einziges Modell ist immer für einen Teil der Arbeit zu schwach oder für den anderen zu teuer. Ein Ökosystem weist jeder Aufgabe die Rechenleistung zu, die sie braucht.

Wann ist ein LLM on premise sinnvoll?

In wenigen Fällen: in Netzwerken, die aus gesetzlichen oder verteidigungsbezogenen Gründen vollständig vom Internet getrennt sind, oder bei enormen, gleichbleibenden Volumen für eine einfache Aufgabe, mit einem eigenen Team für den Betrieb des Modells. Auch dann ist das Modell als nicht vertrauenswürdige Software zu behandeln, ohne freien Zugriff auf das Netzwerk und die internen Systeme.

Was bedeutet Zero Data Retention?

Es ist die vertragliche Zusage des Anbieters, Anfragen und Antworten nach der Verarbeitung nicht zu speichern und sie folglich nicht für das Training der Modelle zu verwenden. Diese Garantie sollten Sie von jedem KI-Dienst verlangen, der Unternehmensdokumente verarbeitet.

Möchten Sie sehen, wie AIDA künstliche Intelligenz auf Ihre Dokumente anwendet, ohne Server, die Sie betreiben müssen, und mit Daten in Europa? Buchen Sie eine Demo von AIDA.

Fulvio Molinengo - CTO
Fulvio Molinengo
CTO
 Zurück