Viele Unternehmen stehen vor demselben Dilemma: KI soll internes Dokumentenwissen zugänglich machen – aber sensible Daten dürfen das Unternehmen nicht verlassen. Die Antwort liegt in lokalen Large Language Models, die vollständig on-premise laufen, kombiniert mit einer durchdachten RAG-Architektur (Retrieval-Augmented Generation), die Dokumente semantisch durchsuchbar macht, ohne dass eine einzige Zeile in die Cloud wandert. 

In dieser Session bauen wir live eine solche Pipeline auf – mit n8n als Orchestrierungsschicht, Qdrant als Vektordatenbank und Ollama für lokal laufende LLMs auf Apple Silicon (M4Pro, 64 GB). 

Der Demo-Fall: Ein Vertriebsmitarbeiter im Außendienst schickt eine E-Mail an das System – und bekommt eine strukturierte Antwort zurück. Konkret: Fragen zu ophthalmologischen Messgeräten werden live beantwortet. Technische Anfragen ("Welche Abmessungen hat Maschine 3XY-45?") ziehen die Antwort aus Hersteller-Handbüchern, Preisanfragen für Neukunden direkt aus der Rabattstaffel. 

Die Demo ist von Anfang an interaktiv: Die Teilnehmenden können während des Vortrags selbst E-Mails an das System schicken und in Echtzeit verfolgen, wie Anfragen verarbeitet und beantwortet werden. 

Wir zeigen die typischen Fallstricke aus der Praxis und wie man sie löst: 

• Chunk-Größe: Warum die richtige Wahl darüber entscheidet, ob das System sinnvoll antwortet oder halluziniert 
• Modellauswahl: Was lokale Modelle wie qwen2.5:32b und bge-m3 können – und wo ihre Grenzen liegen 
• Thinking-Modi und CoT: Wie Chain-of-Thought-Output die Antwortqualität beeinflusst und wie man ihn kontrolliert
• Tool-Routing: Wann greift der Agent auf die technischen Handbücher, wann auf die Preisliste?

Die Session richtet sich an alle, die KI-Anwendungen datenschutzkonform und praxisnah aufbauen wollen – ohne tiefes ML-Vorwissen, aber mit Interesse an funktionierenden Systemen.

Dr. Guido Möser

Guido ist Data Scientist und Geschäftsführer der masem research institute GmbH. Er entwickelt KI-gestützte Automatisierungslösungen für Vertrieb und Außendienst – mit Fokus auf datenschutzkonforme, (nicht immer) cloud-unabhängige Systeme. Sein aktueller Schwerpunkt: RAG-Pipelines, Workflow-Automatisierung mit n8n und der produktive Einsatz lokaler LLMs im Unternehmenskontext. Er ist überzeugt, dass KI dann am besten funktioniert, wenn sie pragmatisch, erklärbar und - manchmal - ohne Cloud-Abhängigkeit auskommt.