AI Act: KI-Modelle zeigen Mängel in Cybersicherheit und Diskriminierungsfreiheit

Die Europäische Union hat Anfang Dezember 2023 ein Regelwerk für den Einsatz künstlicher Intelligenz (KI) verabschiedet, das in den kommenden zwei Jahren schrittweise in Kraft treten soll. Der sogenannte AI Act soll die EU als Vorreiter in der Regulierung von KI-Technologien positionieren. Doch erste Tests zeigen, dass viele der bekanntesten KI-Modelle derzeit noch nicht den europäischen Vorschriften entsprechen.

Ergebnisse des LLM Checkers

Ein Test des „Large Language Model (LLM) Checkers“, entwickelt vom Schweizer Startup LatticeFlow AI in Zusammenarbeit mit der ETH Zürich und dem bulgarischen INSAIT, hat ergeben, dass KI-Modelle von Unternehmen wie Meta und OpenAI in wichtigen Bereichen wie Cybersicherheit und Diskriminierungsfreiheit Defizite aufweisen. Das Tool bewertet die Modelle in Dutzenden von Kategorien mit einer Note zwischen 0 und 1.

Diskriminierungsprobleme bei KI-Modellen

Ein zentrales Problem vieler KI-Modelle ist die Diskriminierung. Algorithmen lernen von historischen Daten, die oft bestehende gesellschaftliche Ungerechtigkeiten widerspiegeln. Dies kann zu unfaire, sexistischen oder rassistischen Ergebnissen führen. Bei der Prüfung auf diskriminierende Ergebnisse erhielt das Modell „GPT-3.5 Turbo“ von OpenAI eine niedrige Punktzahl von 0,46. Das Modell „Qwen1.5 72B Chat“ von Alibaba Cloud schnitt mit einem Wert von 0,37 sogar noch schlechter ab.

Mängel in der Cybersicherheit

Auch in der Cybersicherheit bestehen erhebliche Mängel. Bei der Prüfung auf „Prompt-Hijacking“, eine Art von Cyberangriff, erhielt das Modell „Llama 2 13B Chat“ von Meta eine Bewertung von 0,42. Das Modell „8x7B Instruct“ des französischen Start-ups Mistral erzielte in derselben Kategorie nur einen Wert von 0,38. Das Modell „Claude 3 Opus“ von Anthropic, unterstützt von Google, schnitt mit einer Durchschnittsnote von 0,89 am besten ab.

Reaktionen und Ausblick

Die Europäische Kommission begrüßte die Studie und die Plattform zur Bewertung von KI-Modellen als einen „ersten Schritt“ zur Umsetzung des AI Acts. Eine Sprecherin der Kommission sagte: „Die Kommission begrüßt diese Studie und die Plattform zur Bewertung von KI-Modellen als einen ersten Schritt zur Umsetzung des EU-KI-Gesetzes in technische Anforderungen.“

Petar Tsankov, CEO und Mitbegründer von LatticeFlow, erklärte, die Testergebnisse seien insgesamt positiv und böten Unternehmen einen Fahrplan zur Feinabstimmung ihrer Modelle im Einklang mit dem KI-Gesetz. „Die EU ist noch dabei, alle Benchmarks für die Einhaltung der Vorschriften auszuarbeiten, aber wir können bereits einige Lücken in den Modellen erkennen“, sagte er. „Wir glauben, dass die Modellanbieter mit einem stärkeren Fokus auf die Optimierung für die Einhaltung der Vorschriften gut vorbereitet sein können.“

Die Modelle von Meta und Mistral erhielten keine Stellungnahmen, während Alibaba, Anthropic und OpenAI nicht sofort auf Anfragen reagierten. Es bleibt abzuwarten, wie die Unternehmen auf die neuen Herausforderungen reagieren und ihre Modelle anpassen werden, um den strengen Anforderungen des AI Acts gerecht zu werden.

Fazit

Der AI Act der EU stellt hohe Anforderungen an die Cybersicherheit und Diskriminierungsfreiheit von KI-Modellen. Die ersten Tests zeigen jedoch, dass viele Modelle diese Anforderungen noch nicht erfüllen. Es bleibt abzuwarten, wie die betroffenen Unternehmen ihre Technologien anpassen werden, um den neuen Vorschriften gerecht zu werden. Klar ist, dass die EU mit dem AI Act einen wichtigen Schritt in Richtung einer sicheren und fairen Nutzung von KI-Technologien unternimmt.