Content-Moderation und der EU AI Act
Wir moderieren nutzergenerierte Inhalte mit KI
Wir moderieren nutzergenerierte Inhalte mit KI: Diese Anwendung fällt voraussichtlich unter die Kategorie mit begrenztem Risiko. Im Vordergrund stehen Transparenzpflichten nach Art. 50 EU AI Act. Betroffen sind insbesondere die breite Öffentlichkeit.
Zuletzt geprüft: 5. Juni 2026 · 3 Min. Lesezeit · Herausgeber: Innopulse Consulting GmbH, Zug
Warum diese Einstufung?
- ▸Das System trifft oder stützt automatisierte Entscheidungen mit Rechts- oder ähnlich erheblicher Wirkung.
- ▸Das System baut auf einem GPAI-Modell auf; Kapitel-V-Pflichten der Modell-Anbieter wirken mittelbar.
Rechtliche Grundlage
Artikel
Welche Pflichten gelten?
- Transparenzhinweis, dass Nutzer mit einem KI-System interagieren (Art. 50(1))
- Kennzeichnung synthetischer Inhalte, sofern erzeugt (Art. 50(2))
- KI-Kompetenz der mit dem System befassten Personen (Art. 4)
Zusätzliche Rechtsrahmen in der DACH-Region
Der EU AI Act steht nicht allein. Je nach Einsatz greifen in der Schweiz, Deutschland und Österreich weitere Vorgaben — hier die für diesen Fall relevanten:
Bei Plattform-Kontext können Digital Services Act und Digital Markets Act zusätzlich greifen.
Bei automatisierten Entscheidungen über natürliche Personen greift insbesondere Art. 22 DSGVO (Recht auf menschliches Eingreifen).
Praxis-Beispiele
Hochrisiko
Content-Moderation steuert eine Entscheidung über Zugang, Preis oder Beschäftigung einer Person — mögliche Annex-III-Hochrisiko-Einstufung.
Grenzfall
Content-Moderation erzeugt personenbezogene Scores, die in Entscheidungen einfliessen könnten — Einzelfallprüfung nötig.
Unkritisch
KI markiert potenziell verbotene Beiträge zur menschlichen Prüfung — limited.
Pflicht-Trigger für diesen Fall
- Wirkt direkt auf natürliche Personen
- Automatisierte Entscheidungen
- Entscheidungsunterstützung (Mensch im Loop)
- Nutzt General-Purpose AI (GPAI)
Zusätzliche regulatorische Overlays
Neben dem AI Act greifen für diesen Fall sektorale Vorschriften, die zusätzliche Pflichten auslösen können.
Was muss konkret geklärt werden?
Ob Dein konkreter Use-Case unter Begrenztes Risiko fällt, hängt von folgenden Detailfragen ab:
- Content-Moderation ist primär DSA-reguliert. Unter dem AI Act meist limited/minimal; Transparenz gegenüber Nutzern empfohlen.
Häufige Fragen
Ist „Content-Moderation" ein Hochrisiko-KI-System nach dem EU AI Act?
Voraussichtlich nein. Die Anwendung ist als begrenztes Risiko einzustufen. Es können jedoch Transparenz- und KI-Kompetenz-Pflichten gelten.
Content-Moderation ist primär DSA-reguliert. Unter dem AI Act meist limited/minimal; Transparenz gegenüber Nutzern empfohlen.
Diese Abgrenzung entscheidet häufig über die Risikoklasse. Die genaue Ausgestaltung im Einzelfall ist entscheidend; ein Assessment ordnet die Faktoren strukturiert ein.
Was sind die nächsten konkreten Schritte?
Transparenz- und KI-Kompetenz-Pflichten umsetzen und die Einstufung dokumentieren, damit sie bei Audits oder Änderungen belastbar ist.
Verwandte Anwendungsfälle
Klassifiziere Deinen konkreten Fall
Der Sector-First Wizard nimmt diesen Use-Case als Vorlage und stellt nur die wirklich relevanten Rückfragen — Du bekommst Risikoklasse, Pflichten-Liste und Audit-Package in unter 5 Minuten.
Assessment starten