AIC4 des BSI: wann der KI-Katalog passt und was er nicht leistet

Diese Seite erklärt, wofür der AIC4 gedacht ist, wo er aufhört und wie er zum C5 steht. Wie ein KI-SaaS-Anbieter C5 und AIC4 im Projekt verbindet, zeigt die Seite C5 für KI-SaaS; für KI-Software im Gesundheitswesen gibt es eine eigene Seite KI im Gesundheitswesen.

Was ist AIC4?

AIC4 steht für „Artificial Intelligence Cloud Service Compliance Criteria Catalogue“. Das BSI beschreibt ihn als Katalog, der Mindestanforderungen an die sichere Verwendung von Methoden des maschinellen Lernens in Cloud-Diensten festlegt, konzipiert als Erweiterung des C5. Ziel ist eine transparente Darstellung der Informationssicherheit eines KI-Cloud-Dienstes auf Grundlage einer standardisierten Prüfung, die Kunden in ihrer eigenen Risikoanalyse verwenden können.

Vier Eckdaten, die Sie vor jeder Planung kennen sollten:

• Stand: Das PDF trägt den Vermerk „© Federal Office for Information Security 2021“. Das BSI schreibt auf seiner Seite, es habe sich entschieden, die aktuelle Version nicht unmittelbar fortzuschreiben und nicht zu übersetzen, weil die internationale Entwicklung von Prüfkriterien noch andauert.
• Sprache: nur Englisch.
• Kein Zertifikat: Ein Zertifizierungsverfahren für AIC4 gibt es nach Angabe des BSI derzeit nicht. Ergebnis einer Prüfung ist ein Prüfbericht, wie beim C5.
• Bezug auf C5:2020: Der Katalog verweist auf den C5 in der Fassung von 2020 und nutzt dessen Kriteriennummern (siehe unten).

Für welche Dienste ist AIC4 gedacht?

Für Cloud-Dienste, die Verfahren des maschinellen Lernens nutzen und ihre Leistung mit Trainingsdaten verbessern. Der Katalog nennt als Schwerpunkt Gradient-Boosting-Verfahren, Random Forests und tiefe neuronale Netze, typische Anwendungen sind etwa Bildklassifikation und -segmentierung, Zeitreihenprognosen, Verarbeitung natürlicher Sprache, Spracherkennung und Scoring (AIC4, Kapitel 2). Federated Learning und Reinforcement Learning deckt er ausdrücklich nicht ab.

Die Anwendung ist freiwillig; das BSI betont, dass es sich bei den Kriterien um keine Regulierung handelt. Als Anhaltspunkt nennt es zwei Fragen: Werden ML-Verfahren besonders intensiv oder in Bereichen eingesetzt, die die Informationssicherheit des Dienstes beeinflussen können? Brauchen Kunden Informationen zur Verwendung der ML-Verfahren, um die Eignung des Dienstes in ihrer Risikoanalyse zu bewerten? Ist eine davon mit Ja zu beantworten, empfiehlt das BSI, die Anwendung des AIC4 zu prüfen.

Unsere Einordnung für Dienste, die ein fremdes, großes Sprachmodell nur per Schnittstelle aufrufen: Der Katalog nennt solche Modelle nicht eigens, und viele seiner Kriterien setzen voraus, dass der Anbieter Training, Validierung und Daten selbst steuert. Ob AIC4 dann zielführend ist, ist eine Einzelfallfrage; bei eigenem Training oder eigener Feinabstimmung liegt er näher.

Gibt es eine Pflicht zu AIC4?

Aus dem Katalog und der BSI-Seite folgt keine. Auch § 393 SGB V verlangt für Cloud-Dienste im Gesundheitswesen ein aktuelles C5-Testat für die Basiskriterien und nennt den AIC4 nicht (§ 393 SGB V). Eine Pflicht kann sich aber aus Verträgen oder Ausschreibungen Ihrer Kunden ergeben. Das BSI selbst schreibt, ein Kunde benötige zur Bewertung eines KI-Cloud-Dienstes „in der Regel sowohl“ einen C5- als auch einen AIC4-Prüfbericht. Das ist eine Empfehlung an Kunden; ob Ihre Kunden sie übernehmen, klären Sie im Vertrieb.

Die acht Bereiche des AIC4

Der Katalog gliedert sich in acht Bereiche mit zusammen 41 Kriterien (eigene Zählung). Die Bezeichnungen in der Tabelle sind die englischen des Katalogs (die Grafik unten übersetzt sie), die Beschreibung ist unsere Zusammenfassung.

Zusätzlich verlangt der AIC4 eigene Angaben zu den Rahmenbedingungen des KI-Dienstes in der Systembeschreibung (BC-01 bis BC-06), etwa zur Trainingshäufigkeit, zum Grad automatisierter Entscheidungen und zu den Grenzen der Robustheit. Zusatzkriterien wie im C5 kennt der AIC4 nicht.

Wie hängen AIC4 und C5 zusammen?

Der C5 ist Voraussetzung. Das Kriterium PC-01 verlangt, dass der KI-Dienst die C5-Kriterien erfüllt und ein C5-Bericht das belegt; das BSI nennt den C5 auf seiner Seite das übergeordnete Rahmenwerk. Der AIC4 wiederholt die C5-Kriterien nicht, er ergänzt KI-spezifische Anforderungen und erweitert einzelne C5-Kriterien, etwa das Risikomanagement um KI-spezifische Angriffe (SR-02). An den C5-Bericht stellt PC-01 sechs Anforderungen, die der Katalog mit „Scope“, „Coverage Period“, „Report Type“, „Qualified Service Auditor“, „Opinion“ und „Timing“ überschreibt. Die linke Spalte gibt sie sinngemäß und verkürzt wieder; maßgeblich ist der englische Wortlaut von PC-01.

Die Prüfung folgt laut Kapitel 4 der Methodik des C5:2020: ISAE 3000 (Revised) oder IDW PS 860, hinreichende Sicherheit, Typ 1 nur bei der Erstprüfung; wegen der schnellen Änderungen von KI-Diensten empfiehlt der Katalog, mindestens jährlich zu prüfen. Neu gegenüber dem C5 ist eine Anforderung an das Prüfungsteam: Mindestens eine Person, die den KI-Dienst selbst testet, soll drei Jahre Berufserfahrung als Data Scientist oder in der Entwicklung von ML-Modellen haben. Abschnitt 4.4.9 formuliert das als Empfehlung, die Übersicht in Kapitel 7.1 als Anforderung; fragen Sie Ihren Prüfer, wie er es handhabt.

Verweise auf C5:2020 richtig lesen

Weil der AIC4 von 2021 ist, nennt er Kriterien des C5:2020. Seit C5:2026 sind viele davon umnummeriert, und dieselbe Nummer kann ein anderes Kriterium bezeichnen. Die Zuordnung steht in der Änderungshistorie des BSI zu C5:2026. Einige Beispiele:

Prüfen Sie jeden Verweis im AIC4 auf diese Weise, bevor Sie Kontrollen zuordnen. Sonst verknüpfen Sie eine AIC4-Anforderung mit dem falschen C5:2026-Kriterium. Welche C5-Fassung für Ihre nächste Prüfung gilt, steht auf der Seite C5:2026.

Was AIC4 nicht leistet

• Keine Eignungszusage: Nach dem Katalog bedeutet ein erfolgreicher Bericht nicht, dass Robustheit, Leistung, Zuverlässigkeit, Datenqualität, Erklärbarkeit oder das Fehlen unerwünschter Verzerrungen für eine bestimmte Anwendung ausreichen. Das bewerten die Kunden selbst; Restrisiken tragen sie nach Angabe des BSI selbst.
• Keine Datenschutzprüfung: Eine AIC4-Prüfung sagt laut BSI nichts darüber, ob personenbezogene Daten, etwa Trainings- oder Eingabedaten, rechtskonform verwendet werden.
• Keine Ethikprüfung: Beim Thema Bias betrachtet der AIC4 nur Aspekte, die die Informationssicherheit betreffen.
• Kein Ersatz für C5: Ohne C5-Bericht nach PC-01 lässt sich AIC4 nicht erfüllen.
• Keine laufende Fortschreibung: Das BSI schreibt den Katalog derzeit nicht unmittelbar fort. Für die Prüfung von KI-Systemen entwickelt das BSI mit A5 einen eigenen, modularen Prüfrahmen; Stand und Aufbau beschreibt die Seite BSI A5.

Beispiel: zwei KI-Dienste, zwei Antworten

Fiktive Beispiele, keine Kunden.

• Schadensfotos für Versicherer: Ein Anbieter trainiert ein eigenes Bildklassifikationsmodell, das Fotos von Kfz-Schäden vorsortiert. Die Versicherer wollen wissen, wie das Modell trainiert, getestet und überwacht wird. Beide Fragen des BSI sind mit Ja zu beantworten. Der Anbieter plant zuerst einen C5-Typ-2-Bericht mit dem KI-Dienst im Scope und legt den AIC4-Zeitraum auf denselben Zeitraum.
• Textassistent mit fremdem Sprachmodell: Ein anderer Anbieter fasst E-Mails zusammen und ruft dafür ein Sprachmodell eines Dritten auf, ohne eigenes Training. Seine Kunden fragen nach dem C5-Testat und nach dem Modellanbieter. Er konzentriert sich auf C5, behandelt den Modellanbieter als Subdienstleister (Subservice-Organisation) und prüft AIC4 erst, wenn Kunden ihn verlangen.