Wie es funktioniert: erst suchen, dann formulieren
Beim Einrichten des Systems werden die Dokumente in Stücke zerlegt und in einem Index gespeichert, der die Suche nach Bedeutung erlaubt, nicht nur nach Wörtern. Fragt jemand, findet das System die passenden Abschnitte, gibt sie zusammen mit der Frage an das Modell, und das Modell formuliert die Antwort mit Angabe der Quelle.
Das nennt man Generierung mit Abruf. Der Vorteil ist doppelt: Das Modell muss nicht trainiert werden, und wenn sich ein Dokument ändert, genügt es, es neu zu indexieren.
Welche Dokumente geeignet sind
PDFs, Textdokumente, Tabellen, Präsentationen und E-Mails eignen sich alle. Gescannte brauchen vorher eine Texterkennung. Was schlecht hineingeht, kommt schlecht heraus: Ein schiefer Scan oder eine über zwei Seiten geteilte Tabelle liefert schlechtere Antworten.
Rechte: Jeder sieht das Seine
Ein Unternehmensassistent muss die Ordnerrechte respektieren. Wer den Gehaltsordner nicht öffnen kann, darf auch keine Antwort daraus erhalten. Verlangen Sie das von Anfang an, denn es ist einfacher, es richtig aufzubauen, als es später zu reparieren.
Welche Hardware es braucht
Drei Bausteine arbeiten zusammen: das Sprachmodell, das Grafikspeicher braucht; ein kleines Modell, das Text in Vektoren umwandelt; und der Index, der auf einem schnellen Laufwerk liegt. Die Menge der Dokumente ändert die Hardware kaum. Entscheidend ist, wie viele Personen gleichzeitig fragen.
| Fall | Hardware | Preis |
|---|---|---|
| Kleines Team, großes Modell und Ruhe | Compact AI 64, Unified Memory | 2.940 € |
| Bis zu 15 Personen | Ryzen 9 9900X · 64 GB · RTX 5070 Ti 16 GB | 4.482 € |
| Bis zu 30 Personen | Ryzen 9 9950X · 64 GB · 2× RTX 5070 Ti 16 GB | 6.155 € |
| Bis zu 60 Personen | Ryzen 9 9950X · 128 GB · 2× RTX PRO 4000 Blackwell 24 GB | 12.252 € |
Was man über seine Grenzen wissen sollte
Das Modell antwortet mit dem, was es findet. Ist das Dokument veraltet, ist es die Antwort auch. Verlangt die Frage, zwanzig Dokumente abzugleichen, kann es eines übersehen. Und findet es nichts, sagt ein gut gebautes System das, statt etwas zu erfinden. Deshalb ist die Quellenangabe wichtig: Sie erlaubt, die Antwort in zehn Sekunden zu prüfen.
Passende Hardware und Ratgeber
Häufige Fragen
Wird die KI mit meinen Dokumenten trainiert?
Nein. Die Dokumente werden indexiert, damit sie durchsucht werden können, aber das Modell ändert sich nicht. Wenn Sie ein Dokument aus dem Index entfernen, taucht es in den Antworten nicht mehr auf.
Wie viele Dokumente verkraftet er?
Zehn- oder Hunderttausende ohne Probleme: Der Index braucht wenig Platz und liegt auf einem schnellen Laufwerk. Die Größe der Hardware bestimmt die Zahl der Personen, die gleichzeitig fragen, nicht die der Dokumente.
Beachtet er, wer welchen Ordner sehen darf?
Das muss er, und Sie müssen es verlangen. Der Assistent prüft die Ordnerrechte und nutzt nur, was diese Person öffnen darf.
Kann er sich irren?
Ja. Deshalb trägt jede Antwort die Angabe des Dokuments, aus dem sie stammt. Ist eine Angabe wichtig, prüft man sie im Original, wie man es bei einem neuen Kollegen tun würde.
Sollen wir es für Ihr Unternehmen durchrechnen?
Sagen Sie uns, wie viele Personen sie nutzen und mit welchen Dokumenten. Wir antworten mit der Hardware, der Einrichtung und einem Festpreis innerhalb von 12 Arbeitsstunden.