Seite 3: Kritikalitätseinstufung bestimmter KI-Anwendungen

Inhaltsverzeichnis

Wäre eine Regulierung des Einsatzes aus Sicherheitsgründen notwendig?

Das ist sicherlich etwas, was man regulieren soll. Im Zuge der europäischen Diskussion zur KI-Verordnung wurde eine Kritikalitätseinstufung diskutiert, im Ergebnis wird diese Einstufung von der Anwendung abhängen. Bestimmte Anwendungen oder Anwendungsbereiche werden dann wohl als hochkritisch oder als zu verbieten gekennzeichnet.

Ein digitales Produkt lässt sich ja leicht reglementieren, aber müssten bei einem Sprachmodell nicht entsprechende Safeguards direkt implementiert werden?

Das stimmt. Darum bemühen sich jetzt Anbieter wie Microsoft oder Google hier viele Safeguards – Sicherheitsvorkehrungen – einzubauen, da das Modell viel zu viel gelesen hat und damit auch Dinge kennt, die es nicht wiedergeben soll. Daher wird das System so trainiert, dass es lernt, was es sagen darf und was nicht. Klar, das ist absolut notwendig.

Haben Sie getestet, ob BioGPT und BioMedML diese Safeguards haben? Es gibt ja auch Forschung in Virenlaboren, die dokumentiert wird und in PubMed veröffentlicht werden könnte.

In BioGPT und BioMedML sind solche Safeguards nicht enthalten. Ich kann diese Modelle alles fragen und erhalte die Antworten auf Basis der Trainingsdaten. Wenn es wissenschaftliche Artikel gibt, die den Bau von tödlichen Viren beschreiben, dann erhalte ich auch eine Antwort. Diese Modelle sind aber auch nicht für die allgemeine Nutzung verfügbar.

Wie nehmen Sie die wissenschaftliche Debatte zu diesen Safeguards im biomedizinischen Bereich wahr?

Dazu wird aktuell sehr viel diskutiert, teilweise auch ein bisschen alarmistisch, wie ich meine. Aber es ist in der Community, als auch in der Politik und in den Firmen klar, dass wenn ich ein Modell zur allgemeinen Nutzung freigebe, dass es Safeguards haben muss. Sonst ist es schädlich oder gefährlich.

Gibt es bereits Ansätze, um Modelle hier methodisch sauber zu prüfen?

Nein, im medizinischen Bereich ist dazu noch Arbeit notwendig. BioGTP ist gerade Ende 2022 als Forschungsmodell herausgekommen, BioMedLM wurde im Februar auch als Forschungsmodell veröffentlicht. Beide Modelle sind also jetzt nicht für den realen Einsatz etwa als Chatbot auf einem Ärzteportal gedacht: Erstens lassen sich die Referenzen noch nicht prüfen, zweitens müssten schädliche Antworten durch entsprechende Guardrails noch geblockt werden. Das heißt, beide Modelle befinden sich noch im Frühstadium der Entwicklung, bis zu einer allgemeinen Nutzbarkeit wird es noch dauern.

Wir haben jetzt im politischen Raum eine große Diskussion um die Bereitstellung von Gesundheitsdaten für die Sekundärforschung.

Prinzipiell finde ich das eine gute Entwicklung. Wir können ja auch nur darum mit den Patientendaten arbeiten, weil die Betroffenen hier ihre Einwilligung im Sinne eines "Broad Consent für die Forschung erteilt haben. Wenn das in Deutschland auf Basis der aktuell laufenden Initiativen noch leichter möglich ist, dann ist das gut.

Wie würde Ihre Forschung von diesen Plänen profitieren?

Ich kann eben besser medizinische Therapien entwickeln, wenn ich Zugriff auf mehr Daten habe. Auf der Basis von zehn oder hundert Patienten können wir keine allgemeinen gültigen Therapien entwickeln – das ist anders, wenn ich Zugriff auf Tausende oder Zehntausende habe.

(mack)