Wissen mit KI nutzbar machen
AI-Hub „sparkie“
Leistungen
AI Engineering & Compound AI Systems
Web Development
Cloud Development
Technologien
RAG (Query Expansion, HyQE, Vektor-Datenbanken)
Langchain
LangGraph
Transcription (STT)
Infrastructure as Code (IaC)
Python
React
Vom KI-Hype zur KI-Strategie
Generative KI im Unternehmen datenschutzkonform und sicher nutzen
Als Ende 2022 mit ChatGPT 3.5 der Hype um generative KI einsetzte, reagierte slashwhy sofort: Eine interdisziplinäre Task Force analysierte Potenziale und Risiken der neuen Technologie, mit dem Ziel, sinnvolle Anwendungsfelder zu identifizieren – sowohl für die eigene Organisation als auch perspektivisch für Kunden.
Zwar verfügte slashwhy als Software-Dienstleister bereits über fundierte Erfahrung im Bereich KI, insbesondere mit klassischen Machine-Learning-Verfahren. Doch der offene Zugang zu leistungsfähigen Sprachmodellen eröffnete eine völlig neue Dimension: Generative KI wurde plötzlich breit zugänglich und vielseitig einsetzbar.
Schnell zeigte sich jedoch: Gerade im Projektkontext stellen rechtliche Herausforderungen – etwa beim Datenschutz, Unsicherheiten hinsichtlich der Nutzungsrechte an KI-generiertem Output oder Haftungsfragen – große Hürden für den Einsatz externer Tools dar. Um dennoch experimentieren zu können, war eine selbstgehostete Lösung notwendig.
So entstand aus einer frühen Exploration eine strategisch motivierte Plattformidee: sparkie.
sparkie als interner AI-Hub
Skalierbare KI-Plattform für Exploration & produktiven Einsatz
Aus dem Wunsch, generative KI bei slashwhy sicher, nachvollziehbar und praxisnah einzusetzen, entwickelte sich schnell eine klare Produktvision: Mit sparkie sollte ein interner AI-Hub entstehen, das zentrale KI-Funktionen bündelt und dabei technische, rechtliche und organisatorische Anforderungen berücksichtigt. Ein weiterer Impuls kam aus dem Arbeitsalltag: Die unzureichende Suchfunktion der internen Wissensplattform, basierend auf einer verbreiteten Standardlösung, erschwerte den Kolleg:innen den Zugang zu relevanten Informationen und verdeutlichte das Potenzial KI-gestützter Lösungen.
Gleichzeitig sollte sparkie Raum für eine explorative Nutzung und das gezielte Erlernen neuer Technologien bieten – eine sichere Umgebung, in der Entwickler:innen ihre Kompetenzen im Umgang mit Prompt Engineering, Vektordatenbanken oder semantischer Suche gezielt erweitern können. Parallel dazu wurde eine unternehmensweite KI-Richtlinie erarbeitet, die klare Leitplanken für den verantwortungsvollen Umgang mit generativen Tools definiert.
Als Software-Dienstleister war uns klar: Wenn wir generative KI intern nutzen, muss das sicher, datenschutzkonform und nachvollziehbar erfolgen. Deshalb setzen wir bewusst auf eine selbstgehostete Lösung in der eigenen Private Cloud.”
Dr. Joachim Wilharm
Managing Director bei slashwhy
Als Software-Entwickler wollten wir generative KI nicht einfach nur anwenden, sondern wirklich verstehen. Deshalb haben wir alles selbst gebaut – von der RAG-Architektur über das optimale Aufbreiten unseres Wissens bis zum Aufbau der RAG-Pipeline und der damit verbundenen semantischen Suche.”
Tobias Busch
Software Engineer bei slashwhy
Wir sind überzeugt, dass es gerade für die dialogbasierte Nutzung von internem Wissen in vielen Unternehmen zahlreiche relevante Use Cases mit unterschiedlichsten Datenquellen gibt – vom Chatten mit Maschinendaten bis zu Knowledge-Chats mit dem Support-System. sparkie zeigt exemplarisch, wie generative KI internes Wissen neu zugänglich macht.”
Dr. Joachim Wilharm
Managing Director bei slashwhy
Sparkie bot uns die Möglichkeit, wahnsinnig viel Know-how aufzubauen – von der Integration großer Sprachmodelle über die Optimierung von RAG-Architekturen bis hin zum Umgang mit rechtlichen Herausforderungen. Besonders hilfreich war, dass wir Bestandshardware nutzen konnten und dadurch zunächst komplett lokal blieben.”
Philipp Hebing
Software Engineer bei slashwhy
Mit unserem internen AI-Hub sparkie zeigen wir, wie sich generative KI verantwortungsvoll und zielgerichtet im Unternehmen einsetzen lässt: mit einem klaren Use Case und einem tiefen Verständnis für die Funktionsweise von Künstlicher Intelligenz und KI-Systemen. Genau das erwarten unsere Kunden von uns.”
Dr. Joachim Wilharm
Managing Director bei slashwhy
AI Engineering in Eigenregie
Tiefes Know-how im Umgang mit LLMs und KI-Systemarchitektur
Der Know-how-Aufbau im Bereich AI Engineering war für slashwhy von Anfang an ein zentrales Ziel. Daher entschied sich slashwhy bewusst für eine Eigenentwicklung. Der Anspruch war, die neuen Technologien nicht nur anzuwenden, sondern auch in ihrer Tiefe zu verstehen und inhouse weiterentwickeln zu können.
Den Anfang machte ein Prototyp für ein Transkriptionstool, der im Rahmen eines internen Hackathons entstand. Anschließend übernahm ein festes Kernteam aus zwei Entwicklern die Umsetzung – unterstützt von weiteren Kolleg:innen, die neben ihren Kundenprojekten temporär mitwirkten.
Für die iterative Weiterentwicklung wurden gezielt Alpha- und Beta-User eingebunden. Über einfache Feedback-Mechanismen konnte das Team Nutzungsmuster erfassen, Rückmeldungen priorisieren und Funktionen gezielt verbessern.
Als technische Basis wurde ein LLM (Large Lanuguage Model) zunächst auf Bestandshardware im eigenen Serverraum betrieben, später jedoch in eine private Azure-Cloud-Infrastruktur überführt, um Performance, Skalierbarkeit und einen stabilen Produktivbetrieb sicherzustellen.
Use Case
KI-basierter Knowledge-Chat
Von der statischen Suche zur dialogfähigen Wissensplattform
Viele Unternehmen nutzen eine Standard-Intranetlösung zum internen Wissensmanagement, doch gerade die Suchfunktion bleibt oft ineffizient und wenig hilfreich. Statt relevanter Treffer erhalten Nutzer:innen häufig eine lange Ergebnisliste, in der selbst Seiten mit passenden Schlagworten oder Titeln nicht weit oben erscheinen. Ursache ist meist die fehlende semantische Auswertung: Die Systeme erkennen keine inhaltlichen Zusammenhänge und bewerten Ergebnisse rein auf Basis von Textmustern. Auch bei slashwhy war das der Ausgangspunkt: Der Wunsch, Informationen schneller, kontextbezogen und übergreifend zugänglich zu machen, führte zur Entwicklung des Knowledge-Chats in sparkie.
Die technische Basis: Eine Retrieval-Augmented-Generation-Architektur (RAG), die LLMs mit einer Vektordatenbank verbindet und eine dialogfähige, semantische Suche ermöglicht.
Retrieval-Augmented Generation,
Query Expansion & HyQE
Die Lösung im Überblick:
Regelbasierte Datenaufbereitung
Inhalte mit unterschiedlichen Formatierungen – von Fließtexten über Tabellen bis hin zu Aufzählungen – werden automatisiert in eine für LLMs verarbeitbare Struktur überführt.Intelligenter Datenimport
Beim Überführen der Inhalte aus der Standard-Intranetlösung in die Vektordatenbank erzeugt das System mithilfe von HyQE (Hypothetical Query Embeddings) hypothetische Fragen zu jedem Absatz – für eine semantisch angereicherte Wissensstruktur.UX-orientierte Anfrageverarbeitung
sparkie erweitert jede Nutzeranfrage automatisch um mehrere alternative Prompts. Mithilfe von Query Expansion erhöht das System so die Trefferquote, auch bei unscharfen Formulierungen oder fehlenden Fachbegriffen.
Das Ergebnis:
Schneller Zugriff auf relevantes Wissen
Bereichsübergreifende Zusammenfassungen
Kontextsensitive Antworten statt statischer Suchtreffer
Dieser Use Case zeigt das Potenzial generativer KI weit über ein Intranet hinaus. Auch Maschinendaten, technische Dokumentationen, Produktwissen oder Support-Inhalte lassen sich über eine vergleichbare Lösung in eine leistungsfähige, dialogfähige Wissensplattform transformieren.
Know-how-Aufbau & Learnings
Lessons Learned im AI Engineering
Die Entwicklung von sparkie war für slashwhy nicht nur ein technisches Vorhaben, sondern ein intensiver Lernprozess. Das KI-Team konnte fundiertes Know-how im Umgang mit generativer KI, Vektordatenbanken und Retrieval-Systemen aufbauen – sowohl in der technischen Umsetzung als auch in der Konzeption. Besonders deutlich wurde: Die Qualität der Ergebnisse steht und fällt mit der Qualität der zugrunde liegenden Wissensbasis. Damit unstrukturierte Inhalte mit generativer KI sinnvoll genutzt werden können, ist eine gezielte Vorbereitung erforderlich. Inhalte müssen so aufbereitet werden, dass sie für Sprachmodelle verarbeitbar und semantisch erschließbar sind.
Gleichzeitig stärkte das Projekt das Verständnis für KI in der gesamten Organisation, inklusive eines verantwortungsvollen Umgangs nach dem Prinzip "Human in Command". Zum Roll-out von sparkie wurden alle Kolleg:innen in internen Onboardings für die Nutzung des Tools und den verantwortungsvollen Umgang mit generativer KI sensibilisiert. Formate wie das KI-Café bieten inzwischen regelmäßig Raum für Austausch, Fragen und Wissenstransfer – auch abseits der Entwicklungsteams.
sparkie wächst mit neuen Datenquellen
Nächste Ausbaustufe: Knowledge-Chat mit strukturierten Daten
Mit sparkie hat slashwhy eine interne KI-Plattform geschaffen, die sich gezielt weiterentwickeln und skalieren lässt. Neben UX-Optimierungen ist als Nächstes vor allem die Integration zusätzlicher interner Wissensquellen geplant. Die Anbindung der datenbankbasierten People-/Project-Matching-Platform /skills, ebenfalls eine Eigenentwicklung, befindet sich bereits in Vorbereitung. Schon jetzt ist klar: Die Anbindung strukturierter Datenquellen an ein LLM stellt ganz andere Anforderungen als die Verarbeitung unstrukturierter Inhalte – sowohl technisch als auch methodisch.
Perspektivisch soll über ein internes Data Warehouse relevantes Wissen aus verschiedenen Systemen zentral zusammengeführt und über sparkie zugänglich gemacht werden – kontextbezogen, dialogbasiert und sicher. Ziel bleibt es, sparkie als zentralen AI-Hub weiter auszubauen, unternehmensrelevantes Wissen kontextbezogen, sicher und dialogbasiert zugänglich zu machen und zusätzliche Use Cases zu erschließen.
Achievement & Outcome
Zentralen AI-Hub etabliert: sparkie bündelt zentrale KI-Funktionen in einer skalierbaren Plattform für den sicheren und produktiven Einsatz generativer KI im Unternehmen.
Datenschutzkonformer Zugang zu KI: Die Plattform ermöglicht die Nutzung leistungsfähiger Sprachmodelle, ohne sensible Daten extern preiszugeben.
Internes Wissen dialogfähig gemacht: Mit sparkie ist unternehmensweites Wissen sicher, kontextbezogen und per Chat zugänglich.
Skalierbare Cloud-Infrastruktur realisiert: Der Betrieb in der eigenen Azure-Cloud ermöglicht Performance, Flexibilität und einen stabilen Produktivbetrieb.
Schatten-IT wirksam verhindert: sparkie schafft ein sicheres Angebot im Unternehmen – als Alternative zu nicht abgesicherten KI-Tools
AI-Engineering-Kompetenz aufgebaut: Das Team erarbeitete sich tiefes Know-how im Umgang mit LLMs, Vektordatenbanken und semantischer Suche.
Basis für Kundenprojekte gelegt: Die interne Plattform dient als technologische und methodische Grundlage für zukünftige AI-Anwendungen im Kundenkontext.
FAQ
Ein Large Language Model (LLM) ist ein KI-Modell, das auf dem Verständnis und der Verarbeitung natürlicher Sprache basiert. LLMs werden mit riesigen Mengen an Textdaten trainiert und können dadurch Texte generieren, Fragen beantworten, Zusammenfassungen erstellen oder Übersetzungen anfertigen. Bekannte Beispiele für Large Language Models sind GPT-4 oder Llama. Sie kommen in vielen Anwendungen zum Einsatz, etwa in Chatbots, Suchmaschinen oder Automatisierungslösungen.
Retrieval-Augmented Generation (RAG) ist ein KI-Architekturansatz, bei dem ein Sprachmodell (LLM) mit einer externen Wissensquelle – etwa einer Vektordatenbank – kombiniert wird. Im ersten Schritt (Retrieval) werden auf Basis der Nutzerfrage relevante Textabschnitte (Chunks) aus einer Datenbank oder Dokumentensammlung ermittelt. Anschließend wird die Nutzerfrage wird durch die gefundenen Informationen angereichert (Augmentation). Im letzten Schritt (Generation) kombiniert das LLM die ursprüngliche Frage mit den bereitgestellten Textabschnitten und generiert daraus eine präzise und fundierte Antwort. Dadurch kann RAG aktuelles und domänenspezifisches Wissen einbinden und liefert deutlich relevantere Ergebnisse als reine Sprachmodelle ohne Zugriff auf externe Daten.
Große Sprachmodelle (LLMs) können nicht eine ganze Wissensbasis auf einmal lesen, sondern arbeiten am besten mit handlichen Textabschnitten – den sogenannten Chunks. Diese Aufteilung ist aus drei Gründen wichtig:
Effizienz: Damit die KI bei einer Anfrage nicht riesige Dokumente durchforsten muss, werden nur die wirklich relevanten Schnipsel aus einer Datenbank abgerufen.
Präzision (RAG): Bei der Methode „Retrieval-Augmented Generation“ (RAG) bekommt die KI genau diese passenden Häppchen als Wissensquelle serviert. Das spart Rechenkraft und liefert schnellere Antworten.
Kontext: Wichtig ist, dass die Abschnitte sinnvoll gewählt sind. Nur wenn der inhaltliche Zusammenhang in einem Chunk erhalten bleibt, kann die KI eine hochwertige und richtige Antwort erzeugen.
Die Aufteilung sorgt dafür, dass die KI auch auf umfangreiches Wissen zugreifen kann, ohne den Überblick zu verlieren oder durch zu große Datenmengen blockiert zu werden.
Query Expansion bei generativer KI ist eine Methode, die insbesondere bei der dialogbasierten Nutzung spezifischer Wissensquellen zum Einsatz kommt. Dabei wird die ursprüngliche Nutzeranfrage automatisch um zusätzliche, alternative Prompts ergänzt. Zur Verbesserung des Kontexts werden bei der Generierung dieser Prompts zusätzliche semantische Informationen berücksichtigt – etwa Synonyme, Umschreibungen oder verwandte Fachbegriffe. Ziel ist es, mehr relevante Inhalte zu finden – auch dann, wenn Nutzer:innen nicht exakt die richtigen Fachbegriffe verwenden. Query Expansion erhöht damit die Trefferquote, insbesondere bei komplexen oder mehrdeutigen Fragestellungen.
HyQE (Hypothetical Query Embeddings) ist ein Ansatz im Bereich der semantischen Suche mit künstlicher Intelligenz. Dabei analysiert die KI zunächst alle aufgeteilten Dokumente (Chunks) und generiert zu jedem Textabschnitt mögliche Fragen, die dieser Abschnitt beantworten könnte. Diese hypothetischen Fragen werden als Vektoren (Embeddings) gespeichert. Bei einer späteren Suche kann das System dadurch gezielter und umfassender relevante Treffer finden, da es bereits vorab verschiedene potenzielle Nutzeranfragen berücksichtigt hat. So wird die Auffindbarkeit von Informationen deutlich verbessert und die Suchergebnisse werden optimal auf die Nutzerintention abgestimmt.
„Human in Command“ bezeichnet ein Prinzip für den verantwortungsvollen Umgang mit generativer KI. Dabei unterstützt das KI-System zwar bestimmte Aufgaben – etwa durch Automatisierung oder Vorschläge –, doch der Mensch trifft die finale Entscheidung, prüft die Resultate und übernimmt die Verantwortung für die Ausgabe. Dieses Prinzip schützt vor sogenanntem „AI Slop“ – der unkritischen Übernahme von KI-generierten Inhalten, die fehlerhaft, unvollständig oder verzerrt sein können. „Human in Command“ sorgt dafür, dass KI-Anwendungen kontrolliert, nachvollziehbar und verantwortungsvoll eingesetzt werden.
Ein interner KI-Chat bietet Unternehmen eine datenschutzkonforme und sichere Alternativezu öffentlichen Tools wie ChatGPT oder Gemini. Auch für unternehmensinterne KI-Chats werden bestehende Large Language Models (LLMs) genutzt, werden jedoch in der eigenen Infrastruktur – on-premise oder in einer Private Cloud – betrieben. So bleiben sensible Daten jederzeit unter eigener Kontrolle. Gleichzeitig lassen sich solche Systeme flexibel auf unternehmensspezifische Anforderungen zuschneiden – etwa durch eigene Wissensquellen, individuelle Berechtigungskonzepte oder UX-Optimierungen.
Auf der Suche nach Antworten?
Du suchst einen Partner für ein gemeinsames Projekt oder möchtest unsere Experten-Meinung hören? Schreibe uns gerne eine E-Mail oder finde weitere Kontaktinformationen in unserem Kontaktbereich.
