KI im Pflegedienst: wo sie heute hilft und wo Grenzen liegen

Wobei hilft KI in Tourenplanung und Verwaltung?

In Tourenplanung und Verwaltung hilft KI vor allem mit Vorschlägen und Entwürfen, über die ein Mensch entscheidet. In der Tourenplanung berechnet Software eine Reihenfolge der Einsätze, Fahrzeiten und eine Verteilung auf die Mitarbeitenden, die Zeitfenster und Qualifikationen beachtet. Ob dahinter ein KI-System im Sinne von Art. 3 Nr. 1 der KI-Verordnung steht, hängt von der Technik ab. Nach den Leitlinien der EU-Kommission zur Definition (C(2025) 5053) können Systeme zur Verbesserung mathematischer Optimierung und Systeme auf Basis klassischer Heuristiken außerhalb der Definition liegen. Die Leitung prüft, was ein Vorschlag nicht kennt, etwa Wünsche der Klienten, feste Bezugspersonen oder die Belastung einzelner Kräfte, und veröffentlicht den Plan erst danach.

In der Verwaltung hilft KI vor allem bei Texten, etwa bei Entwürfen für E-Mails oder bei Zusammenfassungen langer Schreiben. Was den Dienst verlässt, etwa eine Rechnung oder eine Antwort an die Kasse, verantwortet ein Mensch. Beim Personal ist Vorsicht geboten. Anhang III Nr. 4 der KI-Verordnung führt KI-Systeme als hochriskant, die Bewerbungen sichten, filtern oder Bewerber bewerten, Aufgaben nach individuellem Verhalten, persönlichen Merkmalen oder Eigenschaften zuweisen oder Leistung und Verhalten von Beschäftigten beobachten und bewerten. Die Datenschutzkonferenz wertet es als Verstoß gegen Art. 22 Abs. 1 DSGVO, wenn eine KI alle Bewerbungen auswertet und selbstständig zu Vorstellungsgesprächen einlädt.

Was leistet KI bei Dokumentation und Wissensfragen?

Bei Dokumentation und Wissensfragen liefert KI Entwürfe und schnelle Antworten, die ein Mensch prüft. Aus Stichworten oder einem Diktat kann sie einen gegliederten Berichtsentwurf erstellen; zum Eintrag wird er erst, wenn die dokumentierende Kraft ihn geprüft und freigegeben hat. Für die Pflegeplanung gilt eine feste Grenze: Erhebung und Feststellung des Pflegebedarfs, Planung der Pflege, Steuerung des Pflegeprozesses sowie Analyse, Evaluation, Sicherung und Entwicklung der Qualität der Pflege dürfen nach § 4 Abs. 1 und 2 PflBG beruflich nur Personen mit einer Erlaubnis nach § 1 PflBG durchführen. Ein KI-Vorschlag für SIS oder Maßnahmenplan ist Arbeitsmaterial, keine Planung. Datenschutz und typische Fehler der Spracherkennung behandelt der Beitrag zur Spracherkennung in der Pflegedokumentation.

Bei Wissensfragen, etwa zu Leistungsbeträgen, Fristen oder Abläufen, liefert KI schnell eine verständliche Antwort. Ob sie stimmt, zeigt erst der Abgleich mit der Quelle. Lassen Sie sich die Fundstelle nennen und öffnen Sie sie selbst, denn auch Quellenangaben können erfunden sein. Ob eine Kasse im Einzelfall zahlt, klärt weiterhin die Kasse. Fragen zu Medikation oder Wundbehandlung einzelner Klienten klärt die Pflegefachperson im Rahmen ihrer Befugnisse oder mit der behandelnden Ärztin oder dem behandelnden Arzt, nicht mit einem Sprachmodell.

Warum müssen KI-Ergebnisse immer geprüft werden?

KI-Ergebnisse müssen geprüft werden, weil Sprachmodelle Fehler machen, die man ihnen nicht ansieht. Das Bundesamt für Sicherheit in der Informationstechnik beschreibt, dass Modelle Inhalte erfinden, die weder in der Eingabe noch in den Trainingsdaten standen, und dass solche Ausgaben meist glaubhaft erscheinen, besonders wenn sie auf Quellen verweisen, die selbst frei erfunden sein können. Ohne Zugriff auf aktuelle Daten kennt ein Modell zudem nur den Stand seiner Trainingsdaten. Die Datenschutzkonferenz verlangt, Ergebnisse mit Personenbezug vor der Weiterverarbeitung zu überprüfen, weil unrichtige Ergebnisse zu unzulässigen Verarbeitungen führen können.

Prüfen heißt nicht abnicken. Nach der Datenschutzkonferenz dürfen Entscheidungen mit Rechtswirkung gemäß Art. 22 Abs. 1 DSGVO grundsätzlich nur Menschen treffen; dem entscheidenden Menschen muss ein tatsächlicher Entscheidungsspielraum bleiben, eine lediglich formelle Beteiligung genügt nicht. Auch Zeitdruck und knappe Personalressourcen dürfen nach der Datenschutzkonferenz nicht dazu führen, dass Ergebnisse ungeprüft übernommen werden. Die KI-Verordnung benennt das Risiko für Hochrisiko-Systeme ausdrücklich: Sie sind so bereitzustellen, dass die Aufsichtspersonen sich der Neigung bewusst bleiben können, der Ausgabe automatisch oder übermäßig zu vertrauen (Automatisierungsbias, Art. 14 Abs. 4 lit. b). Hilfreich sind einfache Prüfregeln:

• Nur übernehmen, was Sie selbst beobachtet oder getan haben. KI ergänzt mitunter plausible Angaben wie „Haut intakt“ oder „Medikamente eingenommen“, die niemand erhoben hat. Die Dokumentation dient später als Nachweis, etwa in der Qualitätsprüfung oder bei einer Haftungsfrage, und abgerechnet wird nur, was tatsächlich erbracht wurde.
• Zahlen, Dosierungen, Einheiten, Uhrzeiten und Verneinungen gezielt gegenlesen, denn ein fehlendes „nicht“ kehrt die Aussage um
• Prüfen, ob der Text wirklich diesen Klienten und diesen Einsatz betrifft, vor allem bei ähnlichen Namen
• Bei Rechts- und Fachfragen die genannte Fundstelle öffnen und deren Stand prüfen
• Nur mit eigener Anmeldung oder eigenem Handzeichen freigeben, damit erkennbar bleibt, wer geprüft hat
• Auffällige Fehler der KI an die Leitung melden, damit Regeln und Schulung nachgeschärft werden

Wer haftet, wenn ein KI-Vorschlag falsch ist?

Gegenüber dem Klienten bleibt der Pflegedienst Vertragspartner und haftet nach den allgemeinen Regeln. Verletzt er eine Pflicht aus dem Pflegevertrag, kann der Klient nach § 280 Abs. 1 BGB Ersatz des Schadens verlangen, es sei denn, der Dienst hat die Pflichtverletzung nicht zu vertreten. Zu vertreten hat er Vorsatz und Fahrlässigkeit; fahrlässig handelt, wer die im Verkehr erforderliche Sorgfalt außer Acht lässt (§ 276 BGB). Das Verschulden seiner Beschäftigten muss er nach § 278 BGB wie eigenes vertreten. Eine Ausnahme für Fehler aus einem KI-Vorschlag enthalten diese Vorschriften nicht. Wie ein Gericht die Übernahme eines falschen Vorschlags bewertet, hängt vom Einzelfall ab; eine dokumentierte Prüfung hilft, die Sorgfalt zu belegen.

Fachlich bleibt die Verantwortung bei Menschen. § 4 Abs. 3 PflBG verbietet Arbeitgebern, die vorbehaltenen Aufgaben Personen ohne Erlaubnis zu übertragen oder deren Durchführung durch sie zu dulden. Ein Pflegedienst arbeitet nach § 71 Abs. 1 SGB XI unter ständiger Verantwortung einer ausgebildeten Pflegefachperson. Für KI folgt daraus nach unserer Lesart: Sie darf Vorschläge machen, eine pflegefachliche Entscheidung darf ihr nicht überlassen werden. Wer einen KI-Entwurf übernimmt und freigibt, verantwortet ihn; den Pflegeprozess verantwortet die Pflegefachperson. Die Leitung verantwortet, welche Werkzeuge im Dienst zugelassen sind und dass es für ihren Einsatz Regeln und Schulungen gibt.

Neu geregelt wird die Haftung der Hersteller. Die Produkthaftungsrichtlinie (EU) 2024/2853 zählt Software ausdrücklich zu den Produkten (Art. 4 Nr. 1) und gilt für Produkte, die nach dem 9. Dezember 2026 in Verkehr gebracht oder in Betrieb genommen werden (Art. 2 Abs. 1). Deutschland hat sie mit dem Gesetz zur Modernisierung des Produkthaftungsrechts umgesetzt (BGBl. 2026 I Nr. 321 vom 27.10.2026). Schäden an ausschließlich beruflich genutzten Sachen und Daten erfasst die Richtlinie nicht (Art. 6 Abs. 1). Ansprüche nach nationalem Vertrags- oder Deliktsrecht aus anderen Gründen als der Fehlerhaftigkeit des Produkts bleiben unberührt (Art. 2 Abs. 4 lit. b). Regeln Sie im Vertrag mit dem Anbieter, wer bei Fehlern der Software wofür einsteht.

Was gilt beim Datenschutz?

Beim Datenschutz gelten für KI dieselben Regeln wie für jede andere Software, nur sind die Daten oft heikler. Gesundheitsdaten von Klienten dürfen nach Art. 9 Abs. 1 DSGVO nur verarbeitet werden, wenn eine Ausnahme nach Abs. 2 greift, in der Pflege meist lit. h, die Versorgung im Gesundheits- oder Sozialbereich. Gibt jemand Namen und Diagnose eines Klienten in ein KI-Werkzeug ein, ist das eine solche Verarbeitung. Verarbeitet der Anbieter die Daten in Ihrem Auftrag, brauchen Sie einen Vertrag nach Art. 28 Abs. 3 DSGVO und müssen nach Abs. 1 prüfen, ob er hinreichende Garantien für geeignete technische und organisatorische Maßnahmen bietet. Klären Sie, ob Eingaben zum Training genutzt werden; die Datenschutzkonferenz hält Anwendungen ohne diese Nutzung für vorzugswürdig.

Eine Datenschutz-Folgenabschätzung verlangt Art. 35 Abs. 1 DSGVO, wenn eine Verarbeitung, insbesondere mit neuen Technologien, voraussichtlich ein hohes Risiko zur Folge hat; Abs. 3 lit. b nennt die umfangreiche Verarbeitung besonderer Kategorien wie Gesundheitsdaten. Die Muss-Liste der Datenschutzkonferenz führt unter Nr. 11 den Einsatz von KI zur Steuerung der Interaktion mit Betroffenen oder zur Bewertung persönlicher Aspekte auf. Ein Chat-Assistent, der Klienten oder Angehörige berät, entspricht dem Beispiel der Liste; ob ein internes Werkzeug für Textentwürfe darunter fällt, bewerten Sie mit Ihrem Datenschutzbeauftragten. Seit dem 2. August 2026 muss für Klienten und Angehörige erkennbar sein, dass sie mit einer KI sprechen (Art. 50 Abs. 1).

Für den Alltag folgt daraus eine einfache Regel: Klientendaten gehören nur in Werkzeuge, die der Dienst geprüft und zugelassen hat. Die Datenschutzkonferenz rät, für die berufliche Nutzung Geräte und Accounts des Arbeitgebers bereitzustellen, statt Beschäftigte mit privaten Accounts arbeiten zu lassen. Die DSGVO gilt dabei in ihrer bisherigen Fassung weiter. Ein weiterer Digital-Omnibus, der sie ändern soll (Verfahren 2025/0360(COD)), war am 29. Oktober 2026 nicht beschlossen. Der Rat hat seine Verhandlungsposition am 21. Oktober 2026 festgelegt; im Europäischen Parlament stand die Entscheidung der Ausschüsse noch aus.

Was verlangt die KI-Verordnung heute schon?

Heute verlangt die KI-Verordnung von Pflegediensten vor allem KI-Kompetenz des Personals. Wer ein KI-System beruflich in eigener Verantwortung verwendet, ist Betreiber im Sinne von Art. 3 Nr. 4 der Verordnung (EU) 2024/1689. Für Betreiber gilt seit dem 2. Februar 2025 Art. 4. In der ursprünglichen Fassung mussten sie Maßnahmen ergreifen, um nach besten Kräften sicherzustellen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt. Die Digital-Omnibus-Verordnung (EU) 2026/1744 vom 8. Juli 2026 hat Art. 4 neu gefasst. Sie ist am 24. Juli 2026 im Amtsblatt erschienen und am 27. Juli 2026 in Kraft getreten.

Nach der neuen Fassung ergreifen Betreiber Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen, die in ihrem Auftrag mit Betrieb und Nutzung von KI-Systemen befasst sind, zu unterstützen. Zu berücksichtigen sind technische Kenntnisse, Erfahrung, Aus- und Fortbildung, der Einsatzkontext und die Personen, bei denen das System eingesetzt wird. Ein bestimmtes Kompetenzniveau müssen Sie nicht garantieren. Kommission und Mitgliedstaaten unterstützen und fördern dabei Anbieter und Betreiber, insbesondere kleine und mittlere Unternehmen (Art. 4 Abs. 2). Ein Zertifikat schreibt Art. 4 nicht vor; eine dokumentierte Einweisung vor der ersten Nutzung ist ein naheliegender Nachweis.

Seit dem 2. Februar 2025 gelten auch die Verbote des Art. 5; zwei durch die Verordnung (EU) 2026/1744 eingefügte Verbote gelten ab dem 2. Dezember 2026. Für Arbeitgeber wichtig ist Abs. 1 lit. f: Verboten ist die Verwendung von KI-Systemen, die Emotionen einer Person am Arbeitsplatz ableiten, es sei denn, das System soll aus medizinischen Gründen oder Sicherheitsgründen eingesetzt werden. Eine Auswertung der Stimmungslage von Pflegekräften scheidet damit aus. Systeme, die Emotionen von Klienten aus biometrischen Daten wie Mimik oder Stimme ableiten, führt Anhang III Nr. 1 lit. c als hochriskant; über ihren Einsatz müssen Betreiber die Betroffenen seit dem 2. August 2026 informieren (Art. 50 Abs. 3).

Ab wann gelten die Pflichten für Hochrisiko-KI?

Die Pflichten für Hochrisiko-KI-Systeme nach Anhang III gelten ab dem 2. Dezember 2027, für Systeme nach Anhang I ab dem 2. August 2028. Ursprünglich sollten die Regeln für Anhang III mit dem allgemeinen Geltungsbeginn am 2. August 2026 greifen, die für Anhang I am 2. August 2027 (Art. 113). Die Digital-Omnibus-Verordnung hat Art. 113 Abs. 3 lit. c entsprechend geändert, nach dem Standpunkt des Europäischen Parlaments vom 16. Juni 2026 und dem Beschluss des Rates vom 29. Juni 2026. Die Verschiebung ist damit geltendes Recht und kein Entwurf mehr. Für Systeme, die schon vor diesen Tagen in Verkehr gebracht oder in Betrieb genommen wurden, gilt die Verordnung nach Art. 111 Abs. 2 nur, wenn sie danach in ihrer Konzeption erheblich verändert werden.

Für Pflegedienste sind zwei Nummern des Anhangs III relevant. Nr. 4 erfasst KI im Personalbereich: Auswahl von Bewerbern, Zuweisung von Aufgaben nach individuellem Verhalten, persönlichen Merkmalen oder Eigenschaften sowie Beobachtung und Bewertung von Leistung und Verhalten. Verteilt eine KI-Tourenplanung Einsätze nach solchen Merkmalen, kann sie darunter fallen. Nr. 5 lit. a erfasst die Prüfung von Ansprüchen auf öffentliche Unterstützungsleistungen einschließlich Gesundheitsdiensten, aber nur durch Behörden oder in deren Namen. Textentwürfe und Wissensfragen nennt Anhang III nicht. Ein dort genanntes System gilt nach Art. 6 Abs. 3 nicht als hochriskant, wenn es kein erhebliches Risiko birgt; nimmt es ein Profiling vor, gilt es immer als hochriskant.

Ist ein System hochriskant, hat der Dienst als Betreiber die Pflichten aus Art. 26: Verwendung nach der Betriebsanleitung, menschliche Aufsicht durch Personen mit der nötigen Kompetenz, Ausbildung und Befugnis, Überwachung des Betriebs, Aufbewahrung der automatisch erzeugten Protokolle für mindestens sechs Monate und vorherige Information der Beschäftigten und ihrer Vertretung beim Einsatz am Arbeitsplatz. Private Einrichtungen, die öffentliche Dienste erbringen, müssen vor der ersten Nutzung zudem eine Grundrechte-Folgenabschätzung durchführen (Art. 27 Abs. 1); Erwägungsgrund 96 nennt dafür unter anderem Gesundheitsversorgung und Sozialdienste. KI-Medizinprodukte mit Konformitätsbewertung durch Dritte fallen unter Art. 6 Abs. 1 und Anhang I; für sie gelten die Pflichten ab dem 2. August 2028.

Wie führen Sie KI im Team ein?

Führen Sie KI mit schriftlichen Regeln ein, bevor das erste Werkzeug genutzt wird. Die Datenschutzkonferenz empfiehlt, klar und dokumentiert festzulegen, ob, unter welchen Voraussetzungen und zu welchen konkreten Zwecken welche KI-Anwendungen eingesetzt werden dürfen, mit Beispielen für zugelassene und untersagte Einsätze. In die Regel gehören mindestens die zugelassenen Werkzeuge mit den Daten, die dort eingegeben werden dürfen, und die Festlegung, wer welche Ergebnisse freigibt. Die Schulung nach Art. 4 der KI-Verordnung knüpft daran an und erklärt Fehlerbilder und Prüfregeln an Ihren eigenen Abläufen.

Starten Sie mit einem Pilot in einem klar umrissenen Einsatz, etwa Textentwürfen in der Verwaltung, und mit wenigen Personen. Gleichen Sie in dieser Zeit stichprobenartig KI-Entwürfe mit den freigegebenen Fassungen ab und notieren Sie wiederkehrende Fehler. Erst danach erweitern Sie den Kreis oder nehmen Einsätze mit Klientenbezug hinzu. In den Regelbetrieb geht ein Werkzeug mit einer Freigabe durch die Leitung, nachdem Vertrag und Datenschutzprüfung vorliegen und der Pilot ausgewertet ist.

Hat Ihr Dienst einen Betriebsrat, beteiligen Sie ihn früh. Nach § 90 Abs. 1 Nr. 3 BetrVG muss der Arbeitgeber ihn über die Planung von Arbeitsverfahren und Arbeitsabläufen einschließlich des Einsatzes von Künstlicher Intelligenz rechtzeitig unterrichten. Muss er KI beurteilen, gilt die Hinzuziehung eines Sachverständigen als erforderlich (§ 80 Abs. 3 Satz 2 BetrVG). Mitbestimmen kann er nach § 87 Abs. 1 Nr. 6 BetrVG bei technischen Einrichtungen zur Überwachung von Verhalten oder Leistung; dafür genügt nach dem Bundesarbeitsgericht die objektive Eignung (Beschluss vom 16. Juli 2024, 1 ABR 16/23). Für kirchliche Träger gilt das BetrVG nicht (§ 118 Abs. 2); dort bestimmt die Mitarbeitervertretung mit, im Geltungsbereich des MVG-EKD etwa nach § 40 lit. k.

So bilden wir das ab

In ITbuddy.Care arbeitet die KI-Assistentin Viki nur, wenn das Modul freigeschaltet ist. Schreibaktionen, die Viki vorschlägt, etwa eine Wiedervorlage anlegen oder einen Tourenplan veröffentlichen, kann nur die Leitung auslösen. Viki führt sie erst aus, wenn die Leitung bestätigt. Der Bestätigungsdialog zeigt die Angaben, die geschrieben werden, und bei Personen den aus der Datenbank ermittelten Namen. Passen mehrere Personen, wählt die Leitung aus einer Liste; die Auswahl führt die Aktion aus. Der Monatslauf über Viki erzeugt nur Rechnungsentwürfe; Freigabe und Versand der Rechnungen bleiben in der Oberfläche. Bei Konflikten zwischen Tourenplänen verweist Viki auf die Tourenplanung, wo die Leitung über den Vorrang entscheidet. Ausgeführte Aktionen und vom System abgewiesene Versuche hält das Audit-Protokoll fest.

Pflegekräfte erhalten im Chat keine Klientenliste, sondern den Kontext ihrer eigenen, heute veröffentlichten Tour. Ist die Spracheingabe eingerichtet, gliedert Viki einen diktierten Bericht in Beobachtung, Maßnahme sowie Bewertung und weiteres Vorgehen und zeigt ihn als Entwurf zusammen mit dem Wortlaut des Diktats. In die Akte des gewählten Klienten gelangt er erst mit dem Knopf „Prüfen und freigeben“; die Karte weist darauf hin, dass die Freigabe immer durch die Pflegekraft erfolgt.

Für Fachfragen erhält Viki einen gepflegten Wissensblock zu SGB XI und SGB V mit Stand-Datum. Sie ist angewiesen, Beträge mit diesem Stand zu nennen, nicht zu raten und bei verbindlichen Einzelfallentscheidungen die Klärung mit der Pflegekasse zu empfehlen. Welche Funktionen Viki Pflegekräften erklären darf, steht in einer Liste, deren Belege ein automatischer Test gegen den Quelltext prüft. Anweisungen an ein Sprachmodell sind keine Garantie; die Prüf- und Freigaberegeln dieses Beitrags gelten deshalb auch für Viki.

Häufige Fragen