TÜV-Verband und TÜV AI.Lab legen Konzept zur Prüfung von Frontier-KI vor

Leistungsfähige KI-Modelle vor der Markteinführung eigenständig bewerten und digitale Souveränität sichern. Zum Digital-Gipfel legen TÜV AI.Lab und TÜV-Verband einen Vorschlag für den Aufbau einer unabhängigen Sicherheitsinfrastruktur für Frontier-KI vor.

Zum Digital-Gipfel der Bundesregierung legen TÜV-Verband und TÜV AI.Lab einen Vorschlag für den Aufbau einer unabhängigen Prüf- und Aufsichtsstruktur für Frontier-KI und autonome KI-Agenten vor. Deutschland und Europa müssen in der Lage sein, die Sicherheit dieser KI-Systeme eigenständig zu bewerten, unabhängig davon, wo diese entwickelt wurden. Nach Ansicht der TÜV-Organisationen sollten die KI-Modelle vor ihrer Markteinführung geprüft werden. Eine zentrale Rolle sollte künftig das deutsche KI-Sicherheitsinstitut (AISI) in Zusammenarbeit mit unabhängigen Prüforganisationen übernehmen. Ihren Vorschlag erläutern TÜV-Verband und TÜV AI.Lab in einem gemeinsamen Whitepaper.

„Europa muss natürlich den Anspruch haben, eigene leistungsfähige KI-Modelle zu entwickeln. Aber wir müssen uns darauf einstellen, dass auch künftig ein erheblicher Teil der bei uns eingesetzten KI aus den USA und anderen Weltregionen kommen wird“, sagt Dr. Joachim Bühler, Geschäftsführer des TÜV-Verbands. „Und bei deren Sicherheitsbewertung dürfen wir nicht allein auf die Angaben der Hersteller vertrauen, besonders wenn kritische Infrastrukturen und die nationale Sicherheit betroffen sind. Wir müssen selbst beurteilen können, welche Risiken mit ihrem Einsatz verbunden und welche Schutzmaßnahmen nötig sind. Digitale Souveränität bedeutet also nicht nur, eigene Technologien zu entwickeln, sondern auch, fremde Technologien unabhängig prüfen und beherrschen zu können.“

Bewährte Prüfstrukturen auch für KI schaffen

Für Technologien, die Menschen oder Umwelt gefährden können, sind unabhängige Prüfstrukturen in Europa seit Langem etabliert – etwa bei Fahrzeugen, Industrieanlagen und Medizinprodukten. TÜV AI.Lab und TÜV-Verband fordern, nach diesem Vorbild auch für Frontier-KI unabhängige Prüfstrukturen aufzubauen. Denn KI wird leistungsfähiger und zunehmend in digitale und physische Systeme integriert. Die Prüfungen sollen bereits während der Entwicklung beginnen und den gesamten Lebenszyklus eines Modells begleiten. Untersucht werden sollen seine Fähigkeiten, die Wirksamkeit seiner Schutzmechanismen und sein Verhalten unter realistischen Einsatzbedingungen. Dafür benötigen unabhängige Prüfer Zugang zu den Modellen, ihren Trainingsprozessen und sicherheitsrelevanten Informationen zum Entwicklungsprozess. Hinzu kommen verbindliche Anforderungen an Prüfmethoden, Qualifikation und Unabhängigkeit der beteiligten Stellen.

„Unabhängige Prüfer müssen den Sicherheitsversprechen der Entwickler auf den Grund gehen können“, sagt Franziska Weindauer, Geschäftsführerin des TÜV AI.Lab. „Dafür brauchen sie Zugang zu den Modellen und Einblick in Training und Schutzmaßnahmen. Sie müssen unabhängig bewerten können, ob bestehende Risiken ausreichend mitigiert wurden. Und wenn KI eine Maschine steuert, müssen Fachleute für Maschinensicherheit mitprüfen. Sie können beurteilen, welchen Einfluss KI auf bestehende Sicherheitsmechanismen hat.“

Staatliche Verantwortung und unabhängige Prüfung verbinden

Das AISI sollte nach dem Vorschlag schrittweise zu einer eigenständigen Institution mit klarem Mandat und ausreichenden Ressourcen ausgebaut werden. Es sollte eigene Kompetenzen für die Sicherheitsbewertung von Frontier-KI aufbauen und zugleich unabhängige Prüforganisationen mit Fachwissen aus Industrie, Mobilität und Energieversorgung einbinden. So könnte das Institut schnell handlungsfähig werden.

Das Institut könnte die Entwicklung geeigneter Prüfmethoden unterstützen, den notwendigen Modellzugang gewährleisten und Ergebnisse für Entscheidungen der Bundesregierung und zuständiger Behörden aufbereiten. Qualifizierte unabhängige Prüforganisationen könnten die technischen Evaluationen übernehmen und insbesondere prüfen, ob die Sicherheitsnachweise für den Einsatz von KI in technischen Systemen belastbar sind. Die staatliche Verantwortung und Aufsicht bleiben erhalten.

Internationale Zusammenarbeit mit verbindlichen Regeln

Die nationale Sicherheitsinfrastruktur muss aus Sicht der TÜV-Organisationen in einen europäischen und internationalen Rahmen eingebunden sein. Auf EU-Ebene fordern sie einheitliche Sicherheitsanforderungen und den Ausbau unabhängiger Prüfkapazitäten. Gemeinsam mit Partnerstaaten wie Großbritannien, Kanada und Japan sollten Deutschland und die EU Prüfverfahren abstimmen und gegenüber den Entwicklern gemeinsam über den Zugang zu Modellen und sicherheitsrelevanten Informationen verhandeln.

Langfristiges Ziel ist ein verbindliches internationales Abkommen mit Prüfungen während der Entwicklung und vor der Bereitstellung sowie klaren Grenzen für nicht beherrschbare Risiken. Werden vereinbarte Risikoschwellen überschritten oder zentrale Sicherheitsanforderungen nicht hinreichend nachgewiesen, sollen Entwicklung oder Bereitstellung ausgesetzt werden. Eine internationale Aufsichtsstruktur soll die Einhaltung überwachen. Ein weltweites Meldesystem für schwerwiegende KI-Sicherheitsvorfälle soll den Austausch über neue Gefahren ermöglichen.

Das gemeinsame Whitepaper „Frontier-KI-Sicherheit: Wirksame Governance-Strukturen etablieren, internationalen Prüfrahmen aufbauen“ ist online verfügbar.