Eigene Dokumente befragen – komplett offline

Nimm ein Übungsdokument. Für den ersten Versuch ein harmloses: eine Bedienungsanleitung als PDF, deine Hausordnung, ein Vereinsprotokoll. Wichtig: Das PDF muss echten Text enthalten. Ein eingescanntes Blatt ist für die KI nur ein Bild. Test: Kannst du im PDF ein Wort markieren und kopieren? Dann ist Text drin.

Stell die Kontextlänge hoch, wenn das Dokument lang ist. Je mehr Kontext, desto mehr Text kann das Modell auf einmal lesen – aber desto mehr Speicher braucht es. LM Studio lädt Modelle standardmäßig mit 8.192 Tokens (grob 15 Seiten). So stellst du mehr ein:

1. Unten im Chat auf den Modellnamen klicken → „Open model loader“ (oder ⌘ L bzw. Strg L).
2. Den Schalter „Manually choose model load parameters“ einschalten und dein Modell anklicken.
3. Bei „Context Length“ den Wert eintragen oder den Regler schieben. Darunter steht, wie viel das Modell höchstens kann (bei Gemma 4 E4B: 131.072).
4. Wenn du willst, „Remember settings for …“ anhaken, dann „Load Model“.

Richtwerte:

• 16 GB Speicher: 8.000 bis 16.000 Tokens (ca. 15 bis 30 Seiten)
• 32 GB und mehr: 32.000 Tokens und mehr

Wird das Modell danach langsam oder stürzt ab, stell den Wert wieder zurück.

Häng das Dokument an. Klick unten im Eingabefeld auf „+“ → „Attach file“. Beim ersten Mal erklärt LM Studio kurz, wie das Fragen an Dokumente funktioniert; dann „Upload File“ und die Datei auswählen. Keine Sorge wegen des Wortes „Upload“: Die Datei wird nur in LM Studio auf deinem Rechner geladen, nicht ins Internet. Du kannst die Datei auch einfach ins Chatfenster ziehen. Dann stell deine Frage:

„Wie lang ist laut diesem Dokument die Kündigungsfrist? Zitiere die Stelle wörtlich.“

Frag so, dass die KI das Richtige findet. Bei langen Dokumenten sucht LM Studio passende Abschnitte anhand deiner Worte. Deshalb:

• Benutze Wörter, die im Dokument stehen. Heißt es dort „Kündigungsfrist“, frag nach „Kündigungsfrist“, nicht nach „Wie komme ich da raus?“.
• Eine Frage pro Nachricht.
• Verlang immer die Fundstelle: „Zitiere die Stelle wörtlich“ oder „Nenn Abschnitt und Seite“.

Mach die Gegenprobe. Frag nach etwas, das sicher nicht im Dokument steht:

„Was steht im Dokument zur Haltung von Pferden? Wenn nichts dazu drinsteht, sag das.“

Erfindet das Modell trotzdem etwas, weißt du: Bei diesem Modell musst du jede Antwort an der Fundstelle prüfen. Ein größeres Modell (L.5) hilft oft.

Zum Vergleich unser Test mit einer dreiseitigen Muster-Nebenkostenabrechnung und dem kleinen Modell Gemma 4 E4B auf 16 GB: Nachzahlung und Frist richtig, Zitat wörtlich, und auf die Pferde-Frage kam ehrlich „Im vorliegenden Dokument steht nichts über die Haltung von Pferden“. Das ist ein guter Start – verlass dich trotzdem nicht blind darauf.

Prüf wichtige Antworten immer selbst. Bei Verträgen, Geld, Gesundheit und Recht gilt dasselbe wie bei Claude (Lektion 1.3): Die KI hilft beim Finden, die Entscheidung triffst du – mit Blick ins Original.

Jetzt mit einem echten Dokument. Nimm ein Dokument, das du bisher keiner Cloud-KI gegeben hättest. Schalte zur Sicherheit vorher das Internet aus (L.4) – dann ist es garantiert lokal.

Wenn du viele Dokumente dauerhaft durchsuchen willst: LM Studio ist für einzelne Dateien im Chat gedacht. Für eine ganze Sammlung (zum Beispiel alle Anleitungen deines Betriebs) gibt es Programme wie AnythingLLM, die mit deinem lokalen Modell zusammenarbeiten. Achtung: AnythingLLM schickt standardmäßig anonyme Nutzungsstatistiken – schalte das in den Einstellungen unter „Privacy“ ab.