Mental-Health-Chatbot: EU AI Act Pflichten
Wir bieten einen Chatbot für mentale Gesundheit / Therapie-Begleitung an
Wir bieten einen Chatbot für mentale Gesundheit / Therapie-Begleitung an: Diese Anwendung fällt voraussichtlich unter die Kategorie mit begrenztem Risiko. Im Vordergrund stehen Transparenzpflichten nach Art. 50 EU AI Act. Betroffen sind insbesondere Patientinnen und Patienten, die breite Öffentlichkeit und Kinder und Minderjährige.
Zuletzt geprüft: 5. Juni 2026 · 3 Min. Lesezeit · Herausgeber: Innopulse Consulting GmbH, Zug
Warum diese Einstufung?
- ▸Das System unterstützt Entscheidungen, ohne sie automatisiert mit erheblicher Wirkung zu treffen.
- ▸Es findet Profiling im Sinne der DSGVO statt.
- ▸Es können besonders schutzbedürftige Gruppen betroffen sein — ein erschwerender Faktor.
- ▸Das System baut auf einem GPAI-Modell auf; Kapitel-V-Pflichten der Modell-Anbieter wirken mittelbar.
- ▸Es werden synthetische Inhalte erzeugt — Kennzeichnungspflicht nach Art. 50(2).
- ▸Das System kann Sicherheitskomponente eines regulierten Produkts sein (Annex-I-Pfad, Art. 6(1)).
Rechtliche Grundlage
Artikel
Erwägungsgründe
Welche Pflichten gelten?
- Transparenzhinweis, dass Nutzer mit einem KI-System interagieren (Art. 50(1))
- Kennzeichnung synthetischer Inhalte, sofern erzeugt (Art. 50(2))
- KI-Kompetenz der mit dem System befassten Personen (Art. 4)
Zusätzliche Rechtsrahmen in der DACH-Region
Der EU AI Act steht nicht allein. Je nach Einsatz greifen in der Schweiz, Deutschland und Österreich weitere Vorgaben — hier die für diesen Fall relevanten:
Bei automatisierten Entscheidungen über natürliche Personen greift insbesondere Art. 22 DSGVO (Recht auf menschliches Eingreifen).
Das revidierte Schweizer Datenschutzgesetz verlangt bei automatisierten Einzelentscheidungen Information und die Möglichkeit, den eigenen Standpunkt darzulegen (Art. 21 revDSG).
Als Sicherheitskomponente eines Medizinprodukts greift zusätzlich die MDR — und damit Annex-I-Pfad statt Annex III (Art. 6(1) EU AI Act).
Praxis-Beispiele
Verboten
Bot zielt auf suizidgefährdete Jugendliche und manipuliert in schadhafte Richtung — Art. 5(1)(b).
Hochrisiko
Chatbot diagnostiziert Depression und schlägt Medikamente vor — MDR + Annex I.
Grenzfall
Chatbot bietet kognitive Übungen + Stimmungs-Tracking — limited mit Vulnerable-Group-Review.
Unkritisch
Mental-Health-Bot kennzeichnet KI-Interaktion klar und erzeugt keine täuschenden Inhalte — Art. 50 erfüllt.
Pflicht-Trigger für diesen Fall
- Wirkt direkt auf natürliche Personen
- Profiling natürlicher Personen
- Entscheidungsunterstützung (Mensch im Loop)
- Nutzt General-Purpose AI (GPAI)
- Generiert synthetische Inhalte
- Verletzliche Gruppen betroffen möglich
- Sicherheits-Komponente (Annex I) möglich
Zusätzliche regulatorische Overlays
Neben dem AI Act greifen für diesen Fall sektorale Vorschriften, die zusätzliche Pflichten auslösen können.
Was muss konkret geklärt werden?
Ob Dein konkreter Use-Case unter Begrenztes Risiko fällt, hängt von folgenden Detailfragen ab:
- Bot mit Therapie-Empfehlung → Medizinprodukt-Schwelle erreicht (MDR + Annex I).
- Exploitation vulnerable Gruppen (Suizidalität) kann Art. 5(1)(b) Verbot triggern.
- Sieht der Endnutzer den KI-Output direkt?
Häufige Fragen
Ist „Mental-Health-Bot" ein Hochrisiko-KI-System nach dem EU AI Act?
Voraussichtlich nein. Die Anwendung ist als begrenztes Risiko einzustufen. Es können jedoch Transparenz- und KI-Kompetenz-Pflichten gelten.
Bot mit Therapie-Empfehlung → Medizinprodukt-Schwelle erreicht (MDR + Annex I).
Diese Abgrenzung entscheidet häufig über die Risikoklasse. Trifft ein Mensch die Entscheidung eigenständig und überstimmt das System nachweislich regelmässig, kann die Ausnahme nach Art. 6(3) greifen — das ist dokumentationspflichtig.
Exploitation vulnerable Gruppen (Suizidalität) kann Art. 5(1)(b) Verbot triggern.
Diese Abgrenzung entscheidet häufig über die Risikoklasse. Die genaue Ausgestaltung im Einzelfall ist entscheidend; ein Assessment ordnet die Faktoren strukturiert ein.
Gilt das auch für Unternehmen in der Schweiz?
Der EU AI Act wirkt extraterritorial (Art. 2): Erreichen die KI-Outputs Personen in der EU, gilt er auch für Schweizer Anbieter und Betreiber. Zusätzlich greifen in der Schweiz das revDSG und — im Finanzbereich — die Erwartungen der FINMA. Genau diese DACH-Doppelperspektive prüfen wir mit.
Was sind die nächsten konkreten Schritte?
Transparenz- und KI-Kompetenz-Pflichten umsetzen und die Einstufung dokumentieren, damit sie bei Audits oder Änderungen belastbar ist.
Verwandte Anwendungsfälle
Klassifiziere Deinen konkreten Fall
Der Sector-First Wizard nimmt diesen Use-Case als Vorlage und stellt nur die wirklich relevanten Rückfragen — Du bekommst Risikoklasse, Pflichten-Liste und Audit-Package in unter 5 Minuten.
Assessment starten