In Teil 2 läuft die KI jetzt bei dir — auf deinem eigenen Rechner, ohne dass Daten das Haus verlassen. Nur: Von deinem Unternehmen weiß sie bisher nichts. Hier bringst du ihr dein echtes Firmenwissen bei: Handbücher, Preislisten, Richtlinien, FAQ. Und du lernst, warum die Antwortqualität fast nie an der KI hängt, sondern an deinen Dokumenten. Fülle unten die 6 Aufgaben aus und schicke sie an den Kursleiter — oder speichere alles als PDF.
Der Fachbegriff dafür heißt RAG (Retrieval Augmented Generation), sinngemäß: „antworten mit Nachschlagen". Laut AWS ist das eine Technik, um ein großes Sprachmodell mit externen Daten zu erweitern, „such as a company's internal documents". Die Datenschutzkonferenz (DSK) beschreibt vier Bausteine: Retriever (der Sucher), Embedding-Modell (der Einsortierer), Vektordatenbank (das Regal) und das Sprachmodell (der Formulierer).
| Das gilt | Was das für dich heißt |
|---|---|
| Deine Dateien landen nie im Modell | AnythingLLM schreibt selbst: „Your entire document set is not 'embedded' into the model." Die DSK ergänzt: Die erweiterte Anfrage „verändert das LLM nicht" — sie wird bei jeder einzelnen Frage neu gebaut. |
| Kein Training nötig, kein Budget nötig | Das Fraunhofer IESE schreibt wörtlich: „Unserer Ansicht nach sollte Fine-Tuning aber nicht dafür eingesetzt werden, einem LLM Wissen anzutrainieren" (13.05.2024). Wenn jemand sagt „wir trainieren die KI auf Ihre Daten" — der richtige und billigere Weg heißt RAG. |
| Gesucht wird nach Bedeutung, nicht nach Wörtern | DSK: „Eine geringe Distanz wird hier mit einer großen semantischen Nähe assoziiert." Eine Frage nach „Rückgabe kaputter Ware" findet auch einen Abschnitt „Reklamation" — versagt aber genau da, wo es auf exakte Zeichen ankommt: Artikelnummern, Fehlercodes. |
| Das Ziel: Fakten von dir, Sprache vom Modell | DSK: „Im gewählten Szenario sollte das faktische Wissen einer Antwort vollständig aus den Referenzdokumenten stammen und das LLM lediglich der Spracherzeugung dienen." Das ist die Messlatte: Jede Zahl in der Antwort muss aus einem deiner Dokumente kommen. |
| Löschen funktioniert hier wirklich | DSK: Einträge in der Vektordatenbank sind „direkt adressierbar und damit auch personenbezogene Daten gezielt löschbar". Bei trainierten Modellen ist die Umsetzung von Betroffenenrechten dagegen „weitgehend ungelöst". Eine DSGVO-Löschanfrage kannst du bei RAG erfüllen. |
Viele PDFs enthalten keinen Text, sondern nur Bilder von Seiten — typisch bei allem, was gescannt oder abfotografiert wurde. Ohne Textebene extrahiert die KI nichts. Der Test: PDF öffnen, Text mit der Maus zu markieren versuchen. Geht nicht → die KI sieht ebenfalls nichts.
| Was du hochladen willst | Taugt es? | Was zu tun ist |
|---|---|---|
| Sauberer Text / Markdown | Bestens | Erste Wahl. Faustregel für die Dateiwahl: Text/Markdown > Word > Text-PDF > Scan. Wenn du die Wahl hast, nimm das Format, in dem das Dokument entstanden ist. |
| Word-Datei (.docx) | Gut | Vorher aufräumen: Kopf- und Fußzeilen sowie Seitenzahlen raus (DSK-Empfehlung), Überschriften setzen, ein Thema pro Abschnitt. |
| Text-PDF (Text markierbar) | Gut | Direkt nutzbar. Trotzdem gilt: Zehn Minuten Aufräumen pro Dokument bringen mehr als jede Einstellung im Tool. |
| Bild-PDF / Scan / Foto | Unbrauchbar | Erst OCR („Texterkennung"). Kostenlos: Tesseract und OCRmyPDF laufen lokal auf deinem Rechner, Google Docs verarbeitet in der Cloud; dazu PDF24 und browserbasierte Tesseract.js-Werkzeuge. Für Personal-, Vertrags- oder Kundendokumente nur lokale Werkzeuge. |
| Excel-Preisliste / Tabelle | Schwierigster Fall | Wird eine Tabelle mittendrin zerschnitten, verlieren die Zahlen ihre Beschriftung. Ein Fachpaper misst deutliche Verbesserungen bei strukturerhaltendem Zerlegen: Recall@1 steigt von 0,366 auf 0,754 (BM25-Setting), MRR von 0,3576 auf 0,5945 (hybrides Setting). Workaround: eine Tabelle = ein Stück, oder die Tabelle als Fließtext bzw. FAQ ausformulieren. |
| Handschrift, Formulare mit Randnotizen | Nicht ungeprüft | Erst abtippen oder gegenlesen, dann hochladen. Belastbare Fehlerquoten für Handschrift-OCR gibt es nicht — deshalb nennen wir bewusst keine Prozentzahlen. |
| PDF aus einem Forum, schnell geladener Branchen-Report | Raus | DSK wörtlich: „Dokumente aus unbekannten oder nicht vertrauenswürdigen Quellen sollten daher nicht verwendet werden." Sonst wird daraus die zitierte „Firmenwahrheit". |
Qualität schlägt Menge. Aus einem Praxis-Leitfaden zur RAG-Hygiene: „In RAG, quality matters more than quantity. A smaller, well-maintained KB often outperforms a larger, unstructured one." Starte mit rund 10 wirklich gepflegten Dokumenten statt mit dem kompletten Laufwerk.
Formate. Das offizielle AnythingLLM-README nennt beispielhaft „PDF, TXT, DOCX, etc". PDF, Word, Text, Markdown, Tabellen und Präsentationen funktionieren — die genaue, aktuelle Liste zeigt AnythingLLM beim Upload selbst an.
Artikelnummern. Umgib Nummern und Codes im Dokument mit Klartext: „Artikel 4711-B, Edelstahlgriff 30 cm, Preis …" statt nur „4711-B". Sonst findet die Bedeutungssuche sie nicht zuverlässig.
AnythingLLM hat viele Regler. Für den Einstieg zählen genau diese vier — der Rest bleibt auf Standard.
| Einstellung | Wert | Was sie bewirkt |
|---|---|---|
| 1 · Query-Modus Zahnrad → Chat Settings |
einschalten | Der Chat-Modus nutzt laut Hersteller „both your documents and the AI's general knowledge". Der Query-Modus „only uses information from your uploaded documents" und sagt Bescheid, wenn er nichts findet. Die zentrale Einstellung des ganzen Moduls. Amtlich gedeckt: Die DSK warnt, Modelle tendierten bei widersprüchlichen Inhalten dazu, „das Wissen aus den Trainingsdaten wiederzugeben und die Inhalte aus den Referenzdokumenten zu verwerfen". |
| 2 · Document Similarity Threshold Mindest-Ähnlichkeit |
Standard 20 % | Legt fest, wie nah ein Textstück an der Frage liegen muss, damit es überhaupt verwendet wird. Die Herstellerdoku wird ungewöhnlich deutlich: „This setting is likely the cause of the issue you are having!" — bei Fundproblemen: „you should set this to No Restriction." Erster Regler bei „die KI findet nichts": senken, testen, danach wieder anheben. |
| 3 · Max Context Snippets Anzahl Textausschnitte pro Antwort |
4–6 | Herstellerempfehlung: „anywhere from 4-6 for the majority of models". Mehr Schnipsel heißt nicht bessere Antwort — zu viele Ausschnitte überfluten das Modell und verwässern die Antwort („lost in the middle": Die Leistung ist am höchsten, wenn die wichtige Information am Anfang oder Ende steht). |
| 4 · Text Splitter Chunk Size / Chunk Overlap |
1000 Zeichen Overlap 20 |
Standard sind 1000 Zeichen pro Stück und 20 Zeichen Überlappung — Zeichen, nicht Wörter. Nicht anfassen, solange die Dokumente nicht aufgeräumt sind: Wer hier zuerst dreht, optimiert am falschen Ende. Ob Überlappung überhaupt etwas bringt, ist wissenschaftlich offen — eine Analyse vom 20.01.2026 findet „no measurable benefit", viele Praxisleitfäden empfehlen weiter 10–20 %. |
Eine Datei im Chat hochzuladen reicht nicht — sie gilt nur für diesen einen Chat („Documents uploaded in the chat are workspace and thread scoped"). Erst über „Move document to workspace" wird sie dauerhaft eingebettet. Herstellerdoku: „The LLM can only 'see' documents embedded in this workspace." Wie Ware im Wareneingang: Sie ist im Haus — aber solange sie nicht ins Regal einsortiert ist, findet sie im Verkauf niemand.
Wenn deutsche Dokumente schlecht gefunden werden: Das eingebaute Standard-Embedding-Modell all-MiniLM-L6-v2 ist laut Herstellerdoku „primarily trained on English documents". Die DSK verlangt dagegen ein Modell, das mit deutschsprachigen Texten trainiert wurde, sonst würden „dem Eingabeprompt weniger relevante Chunks zugeordnet". Der Auslieferungszustand ist also auf Englisch optimiert — ein mehrsprachiges Embedding-Modell ist dann der nächste Hebel.
Was RAG nicht kann: zählen und zusammenrechnen. „Wie viele Kunden haben wir 2025 in Bayern gewonnen?" ist keine RAG-Frage — die KI findet ein paar passende Stellen und antwortet überzeugend falsch. Faustregel: Handbuch, FAQ, Richtlinie, Angebotstexte = RAG. Lagerbestand, Bestellstatus, Kontostand, Auswertungen = Schnittstelle.
Hak ab, was du geschafft hast. Wird nicht bewertet. Du brauchst kein Abo und keinen Bezahl-Zugang: AnythingLLM ist kostenlos, die KI läuft auf deinem eigenen Rechner, und für die Texterkennung gibt es kostenlose Werkzeuge.
Beantworte die 6 Aufgaben in eigenen Worten. Kurze, ehrliche Antworten reichen — es geht um deine eigenen Dokumente.
Verantwortlicher: Daniel Wagmann · danielwagmann@amzmanager.de
Zweck: Auswertung des Lernfortschritts im Rahmen des KI-Kurses.
Erhobene Daten: Name, optionale Firmenzugehörigkeit, deine Antworten, Datum.
Weitergabe: Ausschließlich an den Kursleiter. Technische Übermittlung über Web3Forms. Keine Weitergabe an Dritte.
Speicherung: Keine dauerhafte Speicherung auf dem Server. Keine Cookies.
Rechte: Auskunft, Berichtigung, Löschung und Widerruf jederzeit per E-Mail.
Bitte keine echten Kundendaten eintragen. Für die Aufgaben reichen Dokumenttitel und allgemeine Beschreibungen — Namen, Adressen oder Bestellnummern gehören nicht ins Formular.
Lieber offline arbeiten? Speichere dieses Arbeitsblatt mit deinen Antworten als PDF.
Klicke auf den Button und wähle „Als PDF speichern".