KI-Companion-Chatbots und der EU AI Act
Wir bieten einen KI-Companion-Chatbot für emotionale/soziale Interaktion
Wir bieten einen KI-Companion-Chatbot für emotionale/soziale Interaktion: Diese Anwendung fällt voraussichtlich unter die Kategorie mit begrenztem Risiko. Im Vordergrund stehen Transparenzpflichten nach Art. 50 EU AI Act. Betroffen sind insbesondere Kundinnen und Kunden, Kinder und Minderjährige und Menschen mit Behinderungen.
Zuletzt geprüft: 5. Juni 2026 · 3 Min. Lesezeit · Herausgeber: Innopulse Consulting GmbH, Zug
Warum diese Einstufung?
- ▸Es findet Profiling im Sinne der DSGVO statt.
- ▸Es können besonders schutzbedürftige Gruppen betroffen sein — ein erschwerender Faktor.
- ▸Es kommt Emotionserkennung zum Einsatz — am Arbeitsplatz und in Bildungseinrichtungen nach Art. 5(1)(f) grundsätzlich verboten, mit eng auszulegender Ausnahme für medizinische oder Sicherheitszwecke.
- ▸Das System baut auf einem GPAI-Modell auf; Kapitel-V-Pflichten der Modell-Anbieter wirken mittelbar.
Rechtliche Grundlage
Artikel
Erwägungsgründe
Welche Pflichten gelten?
- Transparenzhinweis, dass Nutzer mit einem KI-System interagieren (Art. 50(1))
- Kennzeichnung synthetischer Inhalte, sofern erzeugt (Art. 50(2))
- KI-Kompetenz der mit dem System befassten Personen (Art. 4)
Zusätzliche Rechtsrahmen in der DACH-Region
Der EU AI Act steht nicht allein. Je nach Einsatz greifen in der Schweiz, Deutschland und Österreich weitere Vorgaben — hier die für diesen Fall relevanten:
Bei automatisierten Entscheidungen über natürliche Personen greift insbesondere Art. 22 DSGVO (Recht auf menschliches Eingreifen).
Das revidierte Schweizer Datenschutzgesetz verlangt bei automatisierten Einzelentscheidungen Information und die Möglichkeit, den eigenen Standpunkt darzulegen (Art. 21 revDSG).
Praxis-Beispiele
Verboten
Bot, der Minderjährige durch manipulative Bindungstechniken zu schädlichem Verhalten bewegt → Art. 5.
Grenzfall
Companion-Chatbot könnte den Eindruck menschlicher Kommunikation erwecken — Offenlegungspflicht nach Art. 50(1).
Unkritisch
Begleiter-Chatbot mit klarer KI-Kennzeichnung und Schutzmechanismen für Minderjährige.
Pflicht-Trigger für diesen Fall
- Wirkt direkt auf natürliche Personen
- Profiling natürlicher Personen
- Erkennt Emotionen
- Nutzt General-Purpose AI (GPAI)
- Verletzliche Gruppen betroffen möglich
Zusätzliche regulatorische Overlays
Neben dem AI Act greifen für diesen Fall sektorale Vorschriften, die zusätzliche Pflichten auslösen können.
Was muss konkret geklärt werden?
Ob Dein konkreter Use-Case unter Begrenztes Risiko fällt, hängt von folgenden Detailfragen ab:
- Companion-Bots, die schutzbedürftige Nutzer manipulieren oder ausnutzen → Art. 5(1)(a)/(b) Verbot prüfen.
- Emotionserkennung am Arbeitsplatz/in Bildung ist verboten (Art. 5(1)(f)); im Consumer-Kontext nur transparenzpflichtig (Art. 50(3)).
- Sieht der Endnutzer den KI-Output direkt?
- In welchem Kontext erfolgt die Emotionserkennung?
Häufige Fragen
Ist „Companion-Chatbot" ein Hochrisiko-KI-System nach dem EU AI Act?
Voraussichtlich nein. Die Anwendung ist als begrenztes Risiko einzustufen. Es können jedoch Transparenz- und KI-Kompetenz-Pflichten gelten.
Companion-Bots, die schutzbedürftige Nutzer manipulieren oder ausnutzen → Art. 5(1)(a)/(b) Verbot prüfen.
Diese Abgrenzung entscheidet häufig über die Risikoklasse. Die genaue Ausgestaltung im Einzelfall ist entscheidend; ein Assessment ordnet die Faktoren strukturiert ein.
Emotionserkennung am Arbeitsplatz/in Bildung ist verboten (Art. 5(1)(f)); im Consumer-Kontext nur transparenzpflichtig (Art. 50(3)).
Diese Abgrenzung entscheidet häufig über die Risikoklasse. Die genaue Ausgestaltung im Einzelfall ist entscheidend; ein Assessment ordnet die Faktoren strukturiert ein.
Gilt das auch für Unternehmen in der Schweiz?
Der EU AI Act wirkt extraterritorial (Art. 2): Erreichen die KI-Outputs Personen in der EU, gilt er auch für Schweizer Anbieter und Betreiber. Zusätzlich greifen in der Schweiz das revDSG und — im Finanzbereich — die Erwartungen der FINMA. Genau diese DACH-Doppelperspektive prüfen wir mit.
Was sind die nächsten konkreten Schritte?
Transparenz- und KI-Kompetenz-Pflichten umsetzen und die Einstufung dokumentieren, damit sie bei Audits oder Änderungen belastbar ist.
Verwandte Anwendungsfälle
Klassifiziere Deinen konkreten Fall
Der Sector-First Wizard nimmt diesen Use-Case als Vorlage und stellt nur die wirklich relevanten Rückfragen — Du bekommst Risikoklasse, Pflichten-Liste und Audit-Package in unter 5 Minuten.
Assessment starten