Eine öffentliche KI kennt das Weltwissen, aber nichts über Ihr Unternehmen: nicht Ihre Verträge, nicht Ihre Prozesse, nicht die Lösung, die letztes Jahr ein erfahrener Mitarbeiter gefunden hat. Genau diese Lücke schliesst eine Technologie namens RAG. Sie macht aus verstreutem Firmenwissen einen abrufbaren Vorteil, und nebenbei ein Asset, das den Wert Ihres Unternehmens steigert.
Stellen Sie sich vor, eine neue Mitarbeiterin fragt die firmeneigene KI: «Welche Zahlungsfristen haben wir mit unserem grössten Lieferanten vereinbart?» Eine öffentliche KI wie ChatGPT würde darauf eine eloquente, plausibel klingende Antwort geben. Nur wäre sie erfunden, denn das Modell hat Ihren Vertrag nie gesehen. Es kennt Millionen allgemeiner Texte aus dem Internet, aber kein einziges Dokument aus Ihrem Haus.
Das ist die zentrale Schwäche der heute verbreiteten KI-Werkzeuge im Geschäftsalltag. Sie sind brillant im Allgemeinen und blind im Konkreten. Für ein Unternehmen ist aber genau das Konkrete entscheidend: die eigenen Produkte, die eigenen Abläufe, die eigene Historie.
Gleichzeitig liegt dieses wertvolle Wissen in den meisten Betrieben verstreut herum, in Ordnern, E-Mail-Postfächern, Protokollen und vor allem in den Köpfen einzelner Personen. Es zu finden, kostet täglich Zeit. Und es ist verletzlich, denn wenn die richtige Person das Haus verlässt, geht ein Teil davon mit. Die Technologie, die beide Probleme angeht, heisst RAG.
Das eigentliche Problem: verstreutes Wissen, das niemand schnell findet
Bevor wir zur Lösung kommen, lohnt der ehrliche Blick auf die Kosten des Ist-Zustands. Wissensarbeit besteht zu einem erstaunlich grossen Teil aus Suchen. Eine viel zitierte Analyse des McKinsey Global Institute beziffert den Anteil der Arbeitszeit, der allein für das Suchen und Zusammentragen von Informationen draufgeht, auf rund ein Fünftel. Eine Untersuchung des Software-Anbieters ABBYY kam zum Ergebnis, dass Mitarbeitende bis zu einen Tag pro Woche mit der Suche nach Dokumenten verlieren.
Dazu kommt das Risiko der Abhängigkeit von einzelnen Köpfen. Im Mittelstand ist Wissen oft an Personen gebunden statt in Systemen hinterlegt. Das Fachmagazin wissensmanagement.net berichtete, dass über die Hälfte der befragten Unternehmen Wissensverlust beklagt. Verlässt eine erfahrene Person den Betrieb, durch Kündigung, Krankheit oder Pensionierung, bleiben längere Einarbeitungszeiten, mehr Fehler und im schlimmsten Fall verärgerte Kunden zurück.
Beide Probleme verstärken sich gegenseitig. Solange Wissen nur in Köpfen und verstreuten Dateien existiert, ist die einzige verlässliche Suchmaschine oft der erfahrene Kollege, und der sitzt gerade in einer Sitzung oder ist in den Ferien. Eine eigentlich simple Frage, etwa wie ein bestimmter Sonderfall in der Abrechnung zu behandeln ist, wird so zur halbstündigen Schnitzeljagd durch Ordner, Mails und Chatverläufe. Multipliziert mit Dutzenden solcher Fragen pro Woche und über alle Mitarbeitenden hinweg ergibt sich ein stiller, aber teurer Dauerverlust, der in keiner Buchhaltung auftaucht und sich trotzdem in jedem Monatsergebnis niederschlägt.
Kurz gesagt: Das Wissen ist da, aber es ist weder schnell auffindbar noch sicher verankert. Beides lässt sich ändern.
Was RAG eigentlich ist
RAG steht für «Retrieval Augmented Generation», was sich am ehesten mit «abrufgestützte Antworterzeugung» übersetzen lässt. Der Grundgedanke ist einfacher, als der Begriff klingt. Statt eine KI mit Ihren Daten neu zu trainieren, was teuer und unflexibel wäre, gibt man ihr bei jeder Frage gezielt die passenden Ausschnitte aus Ihren eigenen Dokumenten mit auf den Weg.
Der Ablauf hat drei Schritte. Zuerst durchsucht das System Ihre angebundene Wissensbasis und holt die relevanten Stellen heraus, das ist das Retrieval. Anders als eine klassische Stichwortsuche arbeitet es dabei über Bedeutungsähnlichkeit, findet also auch dann die richtige Passage, wenn die Frage anders formuliert ist als das Dokument. Dann reichert es die Frage mit diesen Fundstellen an, das ist die Augmentation. Und erst dann formuliert die KI die Antwort, die Generation, und kann dabei sogar angeben, aus welchem Dokument sie stammt.
Das Ergebnis ist eine KI, die nicht mehr allgemein, sondern aus Ihrem Wissen antwortet: auf Basis Ihrer Handbücher, Verträge, Protokolle und Richtlinien, mit nachvollziehbarer Quelle.
Im Alltag eines Unternehmens deckt das eine erstaunliche Bandbreite ab. Im Kundensupport beantwortet ein solcher Assistent wiederkehrende Fragen anhand der eigenen Produkt- und Vertragsunterlagen, statt dass Mitarbeitende jedes Mal Dokumente durchforsten. Beim Einarbeiten neuer Mitarbeitender wird er zur geduldigen ersten Anlaufstelle, die rund um die Uhr verfügbar ist. Im Verkauf hilft er, frühere Angebote, Konditionen und Argumentationen schnell zu finden. Und in der Compliance prüft er, ob ein Vorgehen den internen Richtlinien entspricht. Allen Anwendungen gemeinsam ist, dass die Antwort aus den eigenen, geprüften Quellen stammt und nicht aus einer anonymen Internet-Datenbank.
Wichtig ist die Abgrenzung: RAG ist kein simpler Chatbot mit ein paar gespeicherten Antworten, und es ist auch kein neu trainiertes Modell. Es ist eine Brücke zwischen einer starken, allgemeinen KI und Ihrem konkreten, lebendigen Firmenwissen.
Warum RAG auch eine Frage des Datenschutzes ist
Sobald Sie internes Wissen an eine KI anbinden, betreten Sie sensibles Gebiet. In Ihren Dokumenten stehen Vertragsdaten, Personendaten, Geschäftsgeheimnisse. Hier zeigt sich ein oft übersehener Vorteil von RAG, der zugleich eine Pflicht berührt.
Der Vorteil: Bei RAG werden Ihre Daten nicht Teil des KI-Modells. Sie bleiben in Ihrer eigenen, kontrollierten Wissensbasis und werden nur im Moment der Anfrage gezielt herangezogen. Anders als beim Hochladen in ein öffentliches Gratis-Tool fliesst Ihr Wissen so nicht in das Training eines fremden Anbieters. Richtig aufgesetzt, mit einer Wissensbasis in einem Schweizer Rechenzentrum oder im eigenen Haus, lässt sich RAG nach dem Prinzip Datenschutz von Anfang an betreiben.
Die Pflicht: Das revidierte Datenschutzgesetz gilt auch hier. Besonders wichtig ist die Zugriffskontrolle. Nicht jede Person im Unternehmen darf jedes Dokument sehen, und ein gut gebautes System bildet das ab, über ein Rollenkonzept, das festlegt, wer auf welche Wissensquellen zugreifen darf. Andernfalls beantwortet die KI plötzlich der Aushilfe Fragen, deren Antworten nur die Geschäftsleitung kennen sollte. Wer dies vernachlässigt, riskiert nicht nur Vertrauen, sondern auch Sanktionen, denn Verstösse gegen das Datenschutzgesetz können nach geltender Regelung mit Bussen von bis zu 250'000 Franken geahndet werden. Dieser Abschnitt ersetzt keine Rechtsberatung, aber er macht klar: Sicherheit ist bei RAG kein Zusatz, sondern Teil des Fundaments.
Wissen, das nicht mehr mit Menschen das Haus verlässt
Kommen wir zum vielleicht unterschätztesten Effekt, der weit über die tägliche Zeitersparnis hinausgeht. Wer sein Wissen KI-ready macht, löst es aus den Köpfen einzelner Personen und verankert es im Unternehmen selbst.
Das senkt zunächst ein Betriebsrisiko: Geht eine Schlüsselperson, bleibt ihr dokumentiertes Wissen abrufbar, statt mit ihr zu verschwinden. Doch der eigentlich strategische Punkt liegt tiefer. Strukturiertes, abrufbares Unternehmenswissen ist ein Vermögenswert, und zwar ein messbarer.
Das wird spätestens bei einer Nachfolge oder einem Verkauf sichtbar. Ein erheblicher Teil des Werts eines KMU steckt nicht in Maschinen oder Immobilien, sondern in immateriellen Werten: in Kundenbeziehungen, in eingespielten Prozessen, im Know-how. Solange dieses Know-how nur in Köpfen existiert, ist es für einen Käufer schwer fassbar und entsprechend riskant bewertet. Liegt es dagegen dokumentiert und zugänglich vor, sinkt das Risiko, und der Wert steigt. Die Beratungsgesellschaft PwC Schweiz weist darauf hin, dass Käufer bei digital gut aufgestellten KMU höhere Bewertungen zahlen, weil solche Unternehmen transparenter und schneller integrierbar sind. Dokumentiertes Wissen erleichtert zudem die Due Diligence, also die Prüfung vor einem Verkauf, und stärkt damit die Verhandlungsposition des Inhabers.
Dieser Effekt wirkt aber nicht nur im Ausnahmefall eines Verkaufs, sondern im Normalbetrieb. Ein Unternehmen, dessen Wissen geordnet und abrufbar ist, wächst leichter, weil neue Standorte oder Teams auf denselben Wissensstand zugreifen. Es ist widerstandsfähiger, weil Ferien, Krankheit oder Kündigungen den Betrieb weniger ins Stocken bringen. Und es lernt schneller, weil gute Lösungen nicht in einzelnen Postfächern versickern, sondern auffindbar bleiben. Wissensordnung ist damit kein Selbstzweck, sondern eine Grundlage für Skalierbarkeit.
Anders gesagt: Wer sein Wissen KI-ready macht, baut nicht nur ein schnelleres Werkzeug für heute. Er macht sein Unternehmen unabhängiger von Einzelpersonen und wertvoller für morgen.
Der Fahrplan: Wie Sie Ihr Wissen KI-ready machen
Der Weg dorthin lässt sich in vier überschaubaren Schritten gehen.
Schritt 1: Das wertvolle Wissen identifizieren
Nicht alles muss angebunden werden, und der Versuch, mit allem zu beginnen, führt ins Chaos. Klüger ist die Frage: Welche Informationen werden am häufigsten gesucht, und welches Wissen wäre am schmerzhaftesten zu verlieren? Genau dort beginnt man.
Schritt 2: Aufräumen, was angebunden werden soll
Eine KI, die auf veraltete oder widersprüchliche Dokumente zugreift, gibt veraltete oder widersprüchliche Antworten. Vor der Anbindung steht deshalb das Ausmisten: Welche Version gilt, was ist überholt, was fehlt? Dieser Schritt ist unspektakulär, aber er entscheidet über die Qualität des Ergebnisses.
Schritt 3: Sicher anbinden mit klaren Zugriffsregeln
Jetzt wird das Wissen technisch angebunden, mit der Datenhaltung am richtigen Ort und einem Rollenkonzept, das festlegt, wer was sehen darf. Sicherheit und Datenschutz gehören in diesen Schritt, nicht nachträglich obendrauf.
Schritt 4: Klein starten an einem echten Anwendungsfall
Statt einer alles umfassenden Wissensmaschine beginnt man mit einem konkreten Fall, etwa einem Assistenten für den Kundensupport oder für das Onboarding neuer Mitarbeitender. Funktioniert er im Alltag, wird ausgebaut. So bleibt das Risiko klein und der Lerneffekt gross, und das Vertrauen der Mitarbeitenden wächst mit jedem nützlichen Ergebnis, statt an einem überladenen Grossprojekt zu zerschellen.
Was Schweizer Organisationen heute schon machen
Dass dieser Weg gangbar ist, zeigen erste Beispiele aus der Schweiz. Swisscom hat nach Berichten der Branchenplattform inside-it.ch Anfang 2026 eine Wissensmanagement-KI für Unternehmen und Verwaltungen lanciert, die in Schweizer Rechenzentren betrieben wird und Informationen aus unternehmenseigenen Dokumenten schnell auffindbar macht, ein RAG-Ansatz im Grossformat. Im akademisch begleiteten Bereich arbeitet die Fachhochschule Nordwestschweiz nach eigenen Projektangaben mit dem Energieversorger Primeo Energie an einem RAG-basierten «Knowledge Assistant», der Fragen auf Basis von unternehmens- und fachspezifischem Wissen beantwortet.
Der eigentlich interessante Teil spielt aber im Mittelstand, wo der Nutzen am unmittelbarsten ist. Ein Treuhandbüro, das seine internen Richtlinien und Vorlagen anbindet, ein Handwerksbetrieb, der seine Produkt- und Montagedokumentation abrufbar macht, eine Beratungsfirma, die das Wissen aus Hunderten Projekten zugänglich hält: In all diesen Fällen geht es nicht um Spielerei, sondern um denselben Kern. Das vorhandene Wissen soll schneller auffindbar und unabhängiger von einzelnen Personen werden.
Das verbindende Muster: Niemand begann mit der Frage «Welche KI ist die modernste?». Alle begannen mit der Frage «Welches Wissen kostet uns heute Zeit oder Sicherheit, wenn wir es nicht griffbereit haben?».
Der ehrliche Einwand: RAG ist nur so gut wie Ihr Wissen
So überzeugend die Technik ist, sie hat eine klare Grenze, die man kennen muss. RAG erfindet nichts hinzu, aber es kann auch nichts reparieren. Sind die angebundenen Dokumente unvollständig, veraltet oder widersprüchlich, liefert das System entsprechend schwache Antworten. Der oft gehörte Satz «das System halluziniert» hat hier eine unbequeme Ursache: Häufig liegt es nicht an der KI, sondern am ungepflegten Wissen, das sie vorfindet.
RAG senkt das Risiko falscher Antworten deutlich, weil die KI aus echten Quellen schöpft statt aus dem allgemeinen Training, und weil sie ihre Quelle nennen kann. Es beseitigt das Risiko aber nicht vollständig. Deshalb gehört zu jedem RAG-Vorhaben die unbequeme, aber heilsame Arbeit an der eigenen Wissensordnung. Das ist keine Schwäche der Technologie, sondern die Erinnerung an die richtige Reihenfolge: erst Ordnung, dann KI.
Die häufigsten Fehler
- Alles auf einmal anbinden wollen, statt mit dem meistgesuchten Wissen klein zu starten.
- Veraltete und widersprüchliche Dokumente anbinden und sich dann über falsche Antworten wundern.
- Die Zugriffsrechte vernachlässigen, sodass jede Person alles abfragen kann.
- Sensibles Firmenwissen in ein öffentliches Gratis-Tool eingeben, statt es in einer kontrollierten Wissensbasis zu halten.
- RAG als reines IT-Projekt behandeln, statt zuerst die strategische Frage zu klären, welches Wissen wirklich wertvoll ist.
Zum Schluss: die richtige Reihenfolge
Die Möglichkeit, das eigene Firmenwissen für eine KI nutzbar zu machen, ist für den Schweizer Mittelstand heute real und bezahlbar. Sie verspricht zweierlei zugleich: spürbar weniger Zeitverlust im Alltag und ein Unternehmen, dessen Wert weniger an einzelnen Köpfen hängt.
Doch auch hier gilt die Reihenfolge, die sich überall bewährt. Zuerst die Strategie, also die Frage, welches Wissen wirklich zählt und wer es sehen darf. Dann das System, die saubere, sichere Wissensbasis. Und erst dann die KI als der Zugang, der dieses Wissen auf Zuruf verfügbar macht. Wer in umgekehrter Reihenfolge beginnt und einfach eine KI über ein unsortiertes Datenchaos stülpt, erntet schnelle, aber unzuverlässige Antworten. Wer mit der Strategie beginnt, verwandelt verstreutes Wissen in einen bleibenden Vorteil.