!! Diese Seite ist in ständiger Bearbeitung! Work in Progress … !!
Willkommen beim Projekt LLMed!
Hier entsteht das erste deutsche LLM für aus der niedergelassenen Medizin!
Noch ist hier nicht viel zu sehen, wir befinden uns ganz am Anfang dieser faszinierenden Reise.
Wir aktualisieren regelmäßig - bleiben Sie interessiert und verfolgen an dieser Stelle unsere Fortschritte!
Unser Repo findet sich hier:
LLMed auf GitLab
Überblick
Künstliche Intelligenz (KI) verändert alles. Auch die Gesundheitsversorgung, gekennzeichnet durch Geld- und Personalmangel, kann profitieren. Hier sind Forschungsprojekte allerdings noch nicht in der Breite angekommen, der Praxis vor Ort: es fehlt Ärztinnen und Personal an Know-How, Zeit und validen Daten. Die „Trainingsdaten“ (LLM: Large Language Model) sind nicht transparent und in der Hand weniger (meist US-) Tech-Giganten. Unser Projekt bildet ein ergänzendes, freies und offenes Modul für jede Praxis: Über die obligatorische, offene Schnittstelle der Praxisverwaltungssysteme werden Daten lokal extrahiert, datenschutzkonform aufbereitet und einem offenen deutschsprachigem LLM zugefügt. Keine Information verlässt den Praxisrechner.
KI – schöne neue Welt? So einfach ist es nicht. Der anfängliche Hype ist inzwischen einer skeptischeren Einschätzung gewichen. Das gilt auch für den Bereich der „öffentlichen“ Gesundheit. Spezielle medizinische KI-Anwendungen funktionieren schon gut, z. B. die Befundung von Röntgenaufnahmen oder Hautveränderungen.
Es fehlen allerdings die Informationen im nichtwissenschaftlichen Bereich „aus der Praxis“, der allgemeinmedizinischen Versorgung. Problematisch sind zwei Punkte: medizinische Daten sind höchstpersönlich und extrem schutzbedürftig und dürfen daher nicht in die Modelle der Marktführer (meist US-Konzerne, sog. „Datenkraken“) einfließen – die dann auch noch Profit daraus erwirtschaften.
Zum anderen gibt es bisher keine einfach einzusetzende Software, die datenschutzkonform Praxisdaten auslesen und in einem LLM nutzbar machen kann. Darüber hinaus sind eigentlich alle etablierten LLM entweder nicht in deutscher Sprache und/oder nicht auf Gesundheitsinformationen ausgelegt.
Letztlich sind auch die Lizenzen der Nutzung von LLM in der Regel nur für den nicht-kommerziellen „Eigenbedarf“ frei. Dieser Vorteil wird aber damit erkauft, dass die Basis der LLM der Anbieter mit der Nutzung weiter verbessert wird (Daten als Währung).
Technik
Wir setzen an der „Daten-Quelle“ an: Herzstück einer Praxis ist das PVS (Praxisverwaltungssystem). Hier liegt alles: Stammdaten, Befunde, Diagnosen, Termine, Abrechnungen, Medikamente etc. Fast alle PVS sind proprietäres „Geschäftsgeheimnis“. Zur Verhinderung eines „Vendor Locks“ existiert eine verpflichtende Schnittstelle zum Auslesen der Daten, offen definiert https://update.kbv.de/ita-update/371-Schnittstellen/ angelehnt an den internationalen FHIR Standard https://hl7.org/fhir/. Die einzelnen Datensätze sind im XML-Format zu exportieren.
Unser Ansatz führt drei Schritte durch: 1. Daten aus dem PVS extrahieren, 2. diese datenschutzkonform anonymisieren. Dazu werden die kritischen Datenfelder, z. B. Name, Geb.-Datum etc. identifiziert und gelöscht bzw. mit Nulldaten überschrieben. Im nächsten Schritt werden die jetzt vorliegenden Daten im Sinne einer RAG (Retrieval Augmented Generation) einem bestehenden LLM zugefügt.
Alle Schritte werden mittels Python-Scripten ausgeführt: hier bestehen ausgebaute XML-Bibliotheken, ebenso existieren Werkzeuge zur Erstellung des GGUF-Formates (Grokking Generative Universal Format) bzw. der Indexierung für das LLMi. Alle Frameworks arbeiten mit Python-Skripten, so entsteht ein einheitlicher Workflow in einer Programmiersprache.
Bisher sind keine Projekte bekannt, die wie wir „originale“ Praxisdaten der allgemeinen deutschen Medizin KI-mäßig aufbereiten wollen. Im universitären Bereich und in Institutionen der Spitzenforschung (Fraunhofer etc.) werden (sehr) spezielle Fragestellungen untersucht. Es entstehen Insellösungen.
LLMed möchte die niedergelassene Ärztin – das Rückgrat der Gesundheitsversorgung - an die Nutzung von KI heranführen. Darüber hinaus bestehen für Zwecke des Developments dieser großen LLM enorme Anforderungen an die eingesetzte Hardware; das ist für den Anwender in der Praxis illusorisch. Wir setzen auf eine lokale Ausführung.
Linkliste
(wird erweitert, das hier ist nur der Anfang …)
KI-Werkzeuge / Frameworks
Vector-Store-Datenbank: https://milvus.io/
Was tut sich in der AI? https://huggingface.co
Llamaindex https://www.llamaindex.ai
Starte das eigene LLM: Ollama https://ollama.com/
Starte die lokale KI: eGPT4all https://gpt4all.io/