Praxisbeispiel · KI & Automatisierung
Eine KI-Wissensdatenbank, die Ihre Daten im Haus lässt
Fragen in normaler Sprache stellen und eine Antwort mit Quellenangabe aus den eigenen Dokumenten bekommen, ohne dass ein Text an einen Cloud-Dienst geht. Ich habe das in einer Testumgebung auf eigener Hardware aufgebaut und gemessen.
- Hardware
- 6 CPU-Kerne, 10 GB RAM, keine Grafikkarte
- Datenbestand
- 131 Dokumente, 353 Abschnitte
- Antwortzeit
- 9 bis 40 Sekunden
- Cloud-KI
- keine, alles läuft lokal
Prinzip
Wie das funktioniert
Die Dokumente werden in Abschnitte zerlegt und als Zahlenvektoren in einer Datenbank gespeichert. Bei einer Frage sucht das System die inhaltlich passendsten Abschnitte, ordnet sie mit einem zweiten Modell neu und gibt die besten vier an ein Sprachmodell. Das formuliert die Antwort nur aus diesen Abschnitten und nennt sie als Quelle.
Dieses Verfahren heißt Retrieval-Augmented Generation (RAG). Der Vorteil gegenüber einem Chatbot ohne eigene Daten: Die Antwort lässt sich an der Quelle prüfen, und findet das System nichts Passendes, sagt es das, statt etwas zu erfinden.
Als Testbestand dienten die Seiten dieser Website sowie die Paragrafen des BDSG und des TDDDG in der amtlichen Fassung von gesetze-im-internet.de.
Technik
Aufbau
- Datenbank
- PostgreSQL 17 mit pgvector und HNSW-Index für die Ähnlichkeitssuche.
- Einbettung
- bge-m3 (mehrsprachig, MIT-Lizenz) wandelt Texte in Vektoren um.
- Neuordnung
- bge-reranker-v2-m3 bewertet die 20 Treffer der Suche; beide Ranglisten werden zusammengeführt.
- Sprachmodell
- Qwen3-4B-Instruct (Apache-2.0) über llama.cpp, nur auf der CPU.
- Container
- Rootless Podman mit Quadlet: jeder Dienst ist eine systemd-Einheit mit Healthcheck und startet nach einem Neustart von selbst.
- Zugang
- Caddy mit HTTPS vor Authelia und LLDAP: ohne Anmeldung kein Zugriff, Rechte je Benutzergruppe.
Messung
Gemessene Werte
- Frage in Vektor umwandeln
- 30 bis 70 Millisekunden
- Suche in 353 Abschnitten
- rund 10 Millisekunden
- Neuordnung von 20 Treffern
- 5 bis 6 Sekunden
- Ganze Antwort mit Quellen
- 9 bis 40 Sekunden, je nach Länge
- Einlesen aller 131 Dokumente
- 190 Sekunden
- Wieder bereit nach Neustart
- 85 Sekunden, alle 8 Dienste
- Sicherung mit Wiederherstellungstest
- täglich geplant; beim Einrichten 353 von 353 Abschnitten wiederhergestellt
- Zugriff ohne Anmeldung
- wird auf die Anmeldeseite umgeleitet
Gemessen am 29.09.2026 in der Testumgebung. Mit einer Grafikkarte wären die Antwortzeiten deutlich kürzer; das habe ich hier nicht gemessen.
Test
Vier Testfragen, vier Ergebnisse
- Preisfrage zu dieser Website
- Richtig beantwortet, mit der Preisseite als Quelle.
- Frage zum Beschäftigtendatenschutz (§ 26 BDSG)
- Richtig beantwortet, mit dem passenden Paragrafen als Quelle.
- Frage zur Cookie-Einwilligung
- Richtige Quelle (§ 25 TDDDG) gefunden, aber in der Antwort ein Satz, den die Quelle nicht hergibt. Genau dieser Fehler steht unten bei den Grenzen.
- Frage außerhalb des Bestands
- Zur österreichischen Einkommensteuer fand das System nichts Passendes und sagte das auch, statt eine Antwort zu erfinden.
Grenzen
Grenzen, ehrlich benannt
- Ein kleines Sprachmodell kann trotz Quellen falsch zusammenfassen. In einem Test hat es eine Aussage ergänzt, die in der Quelle nicht steht. Deshalb zeigt jede Antwort ihre Quellen, und wichtige Antworten prüft ein Mensch.
- Nur mit CPU dauert eine Antwort bis zu 40 Sekunden. Für ein Team, das viele Fragen am Tag stellt, braucht es eine Grafikkarte oder ein größeres Modell.
- Das ist eine Testumgebung, kein Produktivbetrieb. Für einen echten Einsatz kommen Überwachung, Aktualisierung der Dokumente und ein Rechtekonzept für vertrauliche Inhalte dazu.
- Die Testantworten zu Gesetzen sind keine Rechtsberatung. Datenschutzrechtliche Fragen zu Ihrem Einsatz klärt Ihre Kanzlei oder Ihr Datenschutzbeauftragter.
Für Sie
Was das für Ihren Betrieb heißt
Handbücher, Preislisten, Arbeitsanweisungen oder Vertragsvorlagen lassen sich genauso durchsuchbar machen. Ich fange mit einem kleinen Bestand und einer messbaren Frage an, etwa wie lange die Suche nach einer Information heute dauert, und baue erst aus, wenn es sich lohnt.
Mehr zu KI & Automatisierung
Eigene Dokumente durchsuchbar machen?
Erzählen Sie mir kurz, welche Unterlagen Ihr Team täglich sucht. Ich sage Ihnen, ob sich ein Pilot lohnt.
Am schnellsten per WhatsApp oder E-Mail, gern auch telefonisch:Telefon: +49 5677 9218771WhatsApp-Chat mit +49 5677 9218771 (Telefon) öffnen (neues Fenster; erst beim Klick werden Daten an WhatsApp übertragen)Mo. bis Fr. 9 bis 18 Uhr, Sa. 9 bis 14 Uhr, So. geschlossen