KI ist weder Ihr Anwalt noch Ihr Arzt: New Yorker Gesetzgeber sagen, es sei an der Zeit, Grenzen zu setzen

Die Gesetzgeber des Bundesstaates New York treiben einen viel beachteten Gesetzentwurf voran, der darauf abzielt, die Aussagen und Handlungen von KI-Chatbots in Bereichen, die traditionell lizenzierte Fachleute erfordern – wie Rechtsberatung und medizinische Beratung –, streng zu beschränken.

Wichtige Punkte:

• Der Gesetzentwurf würde KI-Chatbots daran hindern, Rechts- oder medizinische Beratung anzubieten.
• Unternehmen müssten klar offenlegen, wenn Nutzer mit einem KI-System interagieren.
• Verbraucher, die durch das Vertrauen auf verbotene KI-Ratschläge geschädigt wurden, könnten auf Schadensersatz klagen.

„Unbefugte Verwendung einer Berufsbezeichnung”

Der von der Senatorin Kristen González eingebrachte Gesetzentwurf S7263 würde das allgemeine Wirtschaftsrecht von New York dahingehend ändern, dass KI-Chatbots keine „substanziellen Antworten, Informationen oder Ratschläge” mehr geben dürfen, die im Wesentlichen die Dienste eines zugelassenen Berufs ersetzen würden.

„Dieser Gesetzentwurf würde es einem Chatbot verbieten, substanzielle Antworten, Informationen oder Ratschläge zu geben oder Maßnahmen zu ergreifen, die, wenn sie von einer natürlichen Person ergriffen würden, eine unbefugte Ausübung oder unbefugte Verwendung eines Berufsnamens als Straftat in Bezug auf Berufe darstellen würden, deren Zulassung durch das Bildungsgesetz oder das Justizgesetz geregelt ist“, so der Senat des Bundesstaates New York.

Dazu gehören Bereiche wie Recht und Medizin, Zahnmedizin, Krankenpflege, Ingenieurwesen und psychologische Gesundheitsdienste.

Gemäß der Gesetzgebung müssen KI-Betreiber deutlich darauf hinweisen, dass Nutzer mit einem KI-System interagieren – in derselben Sprache wie der Chatbot und in einer gut sichtbaren Schriftart. Dennoch schützen sie Haftungsausschlüsse allein nicht vor der Haftung.

Chatbot-Antworten, die die Handlungen von zugelassenen Fachleuten nachahmen, wie z. B. die Diagnose eines Gesundheitszustands, die Erstellung maßgeschneiderter Rechtsdokumente oder die Auslegung spezifischer Rechtsansprüche, wären damit verboten.

Personen, die durch das Vertrauen auf verbotene KI-Ratschläge geschädigt wurden, könnten eine Zivilklage gegen den Chatbot-Betreiber auf Schadenersatz und Erstattung der Rechtskosten einreichen.

Der Gesetzentwurf wurde einstimmig vom Internet- und Technologieausschuss des Senats des Bundesstaates verabschiedet und wartet nun auf eine umfassendere legislative Prüfung.

Warum der Gesetzgeber handelt

Befürworter argumentieren, dass KI-Tools mittlerweile so leistungsfähig sind, dass sie Entscheidungen in der realen Welt beeinflussen können, und dass viele Nutzer die Grenzen maschinell generierter Antworten möglicherweise nicht erkennen.

Politiker auf staatlicher Ebene äußern Bedenken, dass irreführende KI-Ratschläge Verbraucher in ernsthafte rechtliche Schwierigkeiten bringen oder Gesundheitsrisiken verursachen könnten, insbesondere wenn die Ratschläge autoritär wirken, aber ungenau sind.

Unter Berufung auf eine Studie der American Psychological Association warnt Senatorin Kristen Gonzalez, dass Bots „die Überzeugungen der Nutzer nicht in Frage stellten, selbst wenn diese gefährlich wurden; im Gegenteil, sie bestärkten sie sogar noch“. Würden diese Ratschläge von einem menschlichen Therapeuten gegeben, könnten diese Antworten „zum Verlust der Zulassung oder zu zivil- oder strafrechtlicher Haftung führen“.

Dieser Schritt ist eines der bislang konkretesten Beispiele für staatliche Regulierung, die versucht, Innovation und Verbraucherschutz in der sich schnell entwickelnden Welt der generativen KI in Einklang zu bringen.

Einige Experten lehnen den Gesetzentwurf ab

Rechtsexperten warnen jedoch davor, dass solche Vorschriften den nützlichen Zugang zu Informationen für normale Nutzer einschränken könnten – insbesondere für diejenigen, die sich die traditionellen Honorare für Fachleute nicht leisten können.

Gegner warnen auch davor, dass dieser Ansatz unbeabsichtigt Innovationen behindern oder zu uneinheitlichen Vorschriften in den verschiedenen Bundesstaaten führen könnte.

Wie FastCompany hervorhebt, ergab eine aktuelle Studie des JAMA Network, dass 13 % der Befragten Chatbots für psychologische Beratung nutzten. Unter den 18- bis 21-Jährigen waren es sogar 22 %.

Andere unterstützen den Gesetzentwurf

Einige argumentieren, dass psychologische Beratung durch einen Chatbot besser ist als gar keine Beratung, aber die American Psychological Association sagt, dass Chatbots sogar schädlich sein könnten.

Der Grund: Viele KI-Modelle sind darauf trainiert, sich Menschen gegenüber unterwürfig zu verhalten und das Denken des Nutzers zu bestätigen, anstatt es zu hinterfragen – was letztendlich „gefährdete Menschen dazu bringen könnte, sich selbst oder anderen Schaden zuzufügen”.

Ratschläge für Verbraucher

Unabhängig davon, ob Sie in New York leben oder einfach nur ein KI-Nutzer sind, sollten Sie folgende wichtige Punkte beachten:

KI eignet sich hervorragend für allgemeine Informationen, kann jedoch keine qualifizierte Fachkompetenz ersetzen. Chatbots können rechtliche Konzepte oder medizinische Zustände auf hohem Niveau erklären, sind jedoch kein qualifizierter Ersatz für einen Anwalt, Arzt oder anderen Fachmann. Behandeln Sie KI-Antworten stets nur als Informationen.

Wenn Sie Zweifel haben, überprüfen Sie die Informationen anhand vertrauenswürdiger Quellen. Bei Fragen, die Ihre Rechte oder Ihr Wohlergehen betreffen könnten – wie z. B. Rechtsstrategien oder Gesundheitsentscheidungen – lassen Sie sich von einem zugelassenen Fachmann oder einer offiziellen Aufsichtsbehörde beraten.

Machen Sie sich die Grenzen von Haftungsausschlüssen bewusst. Selbst wenn ein Chatbot Ihnen sagt, dass er „nur eine KI“ ist, reicht das rechtlich oder praktisch möglicherweise nicht aus, um Sie zu schützen, wenn Sie aufgrund eines schädlichen Ratschlags handeln.

Bewahren Sie Aufzeichnungen wichtiger Interaktionen auf. Wenn Sie KI-Tools zur Unterstützung Ihrer Recherchen oder Entscheidungsfindung einsetzen, protokollieren Sie Ihre Fragen und die erhaltenen Antworten. Dies kann später nützlich sein, wenn Probleme auftreten.

Beobachten Sie die sich entwickelnden Trends in der KI-Politik. Der Vorschlag aus New York könnte ähnliche Gesetze in anderen Bundesstaaten oder auf Bundesebene nach sich ziehen. Wenn Sie sich auf dem Laufenden halten, können Sie Ihren Umgang mit KI verantwortungsbewusst anpassen.

Lesen Sie auch:

Tag gegen Betrug 2026: Der Aufstieg KI-gestützter Identitätsdiebstähle

KI-Gesichter sehen „menschlicher“ aus als menschliche Gesichter

Welchen großen Technologieunternehmen vertrauen Sie? Wir haben Internetnutzer gefragt