Eine KI-generierte Abweichungsbewertung liegt zur Freigabe vor: formal einwandfrei, mit passenden SOP-Zitaten, fachlich überzeugend. Doch was, wenn die zugrunde liegende Kausalitätskette fehlerhaft ist? Würden Ihre Review-Mechanismen den Fehler zuverlässig aufdecken?
Autor: Daniel Herrmann, CEO, Traqx Autor: Daniel Herrmann, CEO, Traqx
Parilov – stock.adobe.com
Anzeige
Entscheider-Facts
KI im GMP-Umfeld erfordert eine risikobasierte Validierung und wirksame Kontrollen.
Der Annex-22-Entwurf setzt kritischen Anwendungen generativer KI enge Grenzen.
Differenzierte Leistungsmetriken, kontrollierte Daten und überprüfbare menschliche Reviews sind entscheidend.
Der Einzug von Machine Learning (ML) und Large Language Models (LLMs) in das GMP-Umfeld stellt Qualitäts- und Validierungsteams vor Herausforderungen. Die Frage lautet längst nicht mehr, ob Algorithmen pharmazeutische Prozesse unterstützen können, sondern wie der Nachweis ihrer Eignung, Kontrollierbarkeit und Robustheit regulatorisch belastbar geführt wird.
Die regulatorische Lage
Die regulatorische Lage für kritische KI-Anwendungen im GMP-Umfeld gestaltet sich aktuell wie folgt:
Anzeige
Geltende GMP-Anforderungen: Maßgeblich für computergestützte Systeme im GMP-Bereich bleibt EU-GMP Annex 11 (2011). Er formuliert die Grundregeln: Validierung der Anwendung, Qualifizierung der Infrastruktur, risikobasierte Teststrategien, Datenintegrität und ein kontrolliertes Änderungsmanagement.
Die Entwürfe zur Revision (Juli 2025): Der vorgelegte Konsultationsentwurf zu Annex 22 (Artificial Intelligence) konkretisiert die vorgeschlagenen Anforderungen an Machine-Learning-Modelle. Zeitgleich adressiert der überarbeitete Entwurf von Annex 11 Cloud-Architekturen, SaaS-Modelle und kontinuierliche Anbieter-Updates. Aspekte von zentraler Bedeutung für moderne KI-Lösungen.
Diskussionsstand (Oktober 2026): Die offizielle EMA-Seite zum Workshop vom 30. Juni und 1. Juli 2026 beschreibt die Diskussion risikobasierter Kontrollmaßnahmen für adaptive, probabilistische und generative Modelle. Eine beschlossene Änderung der Einsatzgrenzen des Annex-22-Entwurfs ergibt sich daraus noch nicht.
Für CSV- und QA-Teams bedeutet dies: Die Validierungsdokumentation muss auf dem Fundament von Annex 11 und dem risikobasierten Ansatz nach ICH Q9(R1) stehen. GAMP 5 (2. Edition) bietet ergänzende Orientierung. Zugleich sollten die vorgeschlagenen Anforderungen von Annex 22 berücksichtigt werden, denn GAMP ist ein Branchenleitfaden, keine Einsatzfreigabe.
Betrachtet man klassische Machine-Learning-Anwendungen (etwa ein Kamerasystem zur automatisierten Erkennung von Bruchstellen bei Tabletten), offenbart sich schnell das Risiko einer oberflächlichen Metriken-Auswahl.
Wird die Gesamtgenauigkeit als 99 % ausgewiesen, klingt dies im Validierungsbericht zunächst exzellent. Beträgt der reale Defektanteil nur 1 %, erreicht selbst ein trivialer Dummy-Klassifikator, der jede Tablette ungeprüft als „gut“ einstuft, dieselbe Genauigkeit. Die tatsächlich defekten Tabletten blieben vollständig unerkannt.
Eine fundierte Validierung verlangt den Verzicht auf isolierte Pauschalmetriken und fordert die differenzierte Betrachtung anhand der Konfusionsmatrix:
Anzeige
Sensitivität: Welcher Anteil tatsächlich defekter Tabletten wird als defekt erkannt? Hohe Sensitivität trägt zum Schutz der Produktqualität und Patientensicherheit bei.
Spezifität: Welcher Anteil tatsächlich einwandfreier Tabletten wird korrekt als gut erkannt? Unzureichende Spezifität kann zu Fehlalarmen und unnötigem Verwurf führen.
Der Annex-22-Entwurf sieht für kritische GMP-Anwendungen deterministische und statische Modelle vor: Bei identischen Eingangsdaten muss das System das identische Ergebnis liefern. Für nichtkritische generative Anwendungen soll qualifiziertes und geschultes Personal die Eignung der Ergebnisse sichern. Ein menschlicher Review hebt den Ausschluss generativer KI in kritischen Anwendungen nicht auf. Ersetzt das Modell einen bestehenden Prozess, sollen seine Akzeptanzkriterien mindestens dessen bekannte Leistungsfähigkeit erreichen.
Generative KI und RAG
Anzeige
Während optische Klassifikatoren Eingaben vorgegebenen Klassen zuordnen, erzeugen Large Language Models (LLMs) Text anhand Wahrscheinlichkeiten für aufeinanderfolgende Tokens. Der Entwurf des Annex 22 zieht hier eine deutliche Grenze: Generative KI und Modelle mit nicht-deterministischen Ausgaben sollen in kritischen GMP-Anwendungen mit direktem Einfluss auf Patientensicherheit, Produktqualität oder Datenintegrität nicht eingesetzt werden.
Um Sprachmodelle im betrieblichen Qualitätsmanagement zu nutzen, etwa zur Unterstützung bei Abweichungsberichten oder SOP-Recherchen, setzen moderne Architekturen auf Retrieval-Augmented Generation (RAG). Dabei werden dem Modell Dokumentenausschnitte als zusätzlicher Kontext bereitgestellt; im GMP-Umfeld sollten diese aus kontrollierten, aktuellen Quellen stammen.
RAG kann das Risiko freier Halluzinationen verringern, stellt aber keine fachlich richtigen Antworten sicher:
Anzeige
Unvollständige Informationssuche: Findet die Suche relevante Ausnahme-SOPs oder Randbedingungen nicht, arbeitet das Modell auf einer unvollständigen Basis.
Fehlerhafte Schlussfolgerungen: Das Modell kann korrekt zitierte Fakten unzulässig miteinander verknüpfen oder plausibel klingende, falsche Kausalitäten ableiten.
Scheinbare Reproduzierbarkeit: Eine Temperatureinstellung von null allein garantiert keine identischen Ausgaben. Zudem ist eine reproduzierbare Antwort nicht zwingend korrekt.
Für nichtkritisch Anwendungen können vorgeschaltete, deterministische Kontrollmechanismen die RAG-Ausgaben zusätzlich absichern. Eine vorbereitende Verwendung macht eine Anwendung noch nicht nichtkritisch.
Schematische Kontrollstrecke für RAG-Ausgaben in nichtkritischen GMP-Prozessen. Deterministische Prüfregeln fangen formale Fehler ab, ersetzen aber nicht die menschliche Endverantwortung.TragX
Kritische Datenpunkte wie Chargennummern, analytische Grenzwerte oder Freigabespezifikationen dürfen nicht ungeprüft aus Freitextgenerierungen übernommen werden. Abgleich mit maßgeblichen, freigegebenen Datenquellen kann beispielsweise über validierte Schnittstellen zum führenden ERP- oder LIMS-System oder durch dokumentierte unabhängige Prüfung erfolgen.
Anzeige
Human-in-the-Loop
In Validierungskonzepten für KI-Systeme findet sich oft das Argument: „Das System generiert lediglich Entwürfe; die Entscheidung trifft der Mensch (Human-in-the-Loop), folglich liegt das GMP-Risiko nicht bei der Software.“
Diese Argumentation greift regulatorisch und psychologisch zu kurz. Das spezialisierte Beratungsunternehmen Qfinitiy weist darauf hin, dass die menschliche Kontrollinstanz einer Kontrollillusion unterliegen kann:
Automation Bias: Anwender können dazu neigen, automatisiert generierten Vorschlägen unkritisches Vertrauen entgegenzubringen, insbesondere wenn sprachlich ausgefeilt und mit formalen Quellenbelegen.
Review-Ermüdung: Bei hohem Arbeitsaufkommen kann die kognitive Prüftiefe sinken. Wenn KI-Textvorschläge überwiegend korrekt sind, kann die Wachsamkeit für subtile, folgenschwere Fehler nachlassen.
Eine Unterschrift auf einem KI-generierten Dokument belegt keine wirksame Kontrolle. Werden Modelltests wegen menschlicher Kontrolle reduziert, sieht Annex 22 vor, die Verantwortlichkeiten zu beschreiben, Schulung und gleichbleibende Prüferleistung zu überwachen und den Review zu dokumentieren. Abhängig von Kritikalität und Testumfang kann jede Ausgabe zu prüfen sein. Validierungsteams sollten Review-Prozesse empirisch prüfen: Werden bewusst eingesteuerte Fehlzuordnungen oder unvollständige Kausalitäten in einer Testumgebung vom Prüfer erkannt?
Handlungsempfehlungen
Intended Use und Operational Design Domain (ODD): Definieren Sie nicht nur, was das Modell leisten soll, sondern grenzen Sie Einsatzbedingungen exakt ein (z.B. visuelle Inspektion: Beleuchtung, Bandgeschwindigkeit, etc.). Definieren Sie Fail-Safe-Mechanismen: Welcher Rückfallpfad greift, wenn Eingangsdaten außerhalb der Spezifikation liegen?
Akzeptanzkriterien mit differenzierten Metriken begründen: Verzichten Sie auf isolierte Gesamtgenauigkeiten. Legen Sie für Defekt- und Risikoklassen geeignete Akzeptanzkriterien, etwa für Sensitivität und Spezifität, fest. Bei Ersatz bestehender Prozesse sollen die Kriterien nach dem Annex-22-Entwurf mindestens deren bekannte Leistungsfähigkeit erreichen. [2]
Testdaten-Governance und strikte Datentrennung: Trainings- und Validierungsdaten zur Modellentwicklung sind von Daten abschließender Prüfungen zu trennen. Der Testdatensatz zur Leistungsbewertung muss repräsentativ sein, seltene Randfälle abdecken und unabhängig von Modellentwicklung, -training und -auswahl bleiben. Für abgetrennte Testdaten sieht Annex-22 Zugriffsschutz und Audit-Trails vor; an Entwicklung und Training beteiligte Personen sollen zuvor keinen Zugang haben. [2]
Drift-Monitoring und Lebenszyklusüberwachung implementieren: Ein KI-Modell altert anders als klassische Software. Änderungen vorgelagerter Rohstoffe, Alterung von Kamerasensoren oder Modifikationen im Prozess führen zu Data Drift oder Concept Drift. Definieren Sie statistische Schwellenwerte, bei deren Überschreitung eine Warnung, eine manuelle Sonderprüfung oder eine formale Revalidierung ausgelöst wird. [2]
Lieferantenmanagement und Cloud-Governance für KI schärfen: Die Nutzung externer Modelle oder KI-gestützter Cloud-Dienste entbindet nicht von GMP-Verantwortung. Bereits Annex 11 (2011) verlangt geregelte Lieferantenbeziehungen und kontrollierte Änderungen. Der Revisionsentwurf konkretisiert Vereinbarungen zur Einführung neuer Systemversionen und zur Prüfung vor dem Einsatz. Modell-Updates durch SaaS-Anbieter müssen hinsichtlich Auswirkungen bewertet und in das Änderungsmanagement eingebunden werden. [1, 4]
Fazit
Ein regulatorisch belastbarer Einsatz von KI verlangt statistische Präzision, verifizierte Software-Architektur und eine kritische Review-Kultur. Bevor aus einer plausiblen KI-Ausgabe eine GMP-Entscheidung wird, müssen Quality und CSV die Frage beantworten können: Verhindern unsere Kontrollen Fehler verlässlich oder dokumentieren sie lediglich deren Eintritt?