Qualitätssicherung

Qualitätsergebnisse richtig berechnen und darstellen

Dezember 2017

Jedes Jahr im Herbst wird der Qualitätsreport des IQTIG veröffentlicht. Nicht jede daraus abgeleitete Meldung über die Behandlungsqualität in deutschen Krankenhäusern ist stimmig. Oftmals liegt dann eine falsche Interpretation von Zahlen zugrunde.

„Von über 2,5 Millionen Datensätzen gibt es lediglich bei 1.761 qualitative Auffälligkeiten. Das heißt, wir haben eine qualitativ hochwertige Quote von über 99 Prozent“ (Pressemitteilung der Deutschen Krankenhausgesellschaft (DKG) vom 28.09.2017).

Solche alle Jahre wieder gleichlautenden Meldungen sind bei Vorlage des Qualitätsreports zu lesen, den das Institut für Qualitätssicherung und Transparenz im Gesundheitswesendes (IQTIG) im Rahmen der QS-Konferenz des Gemeinsamen Bundesausschusses (G-BA) veröffentlicht. Die verkürzte Darstellung in dieser Meldung ist jedoch leider falsch:

Problemfall Datengrundlage

Richtig ist, dass bei den Qualitätsindikatoren in Krankenhäusern 1.761 qualitative Auffälligkeiten festgestellt worden sind. Qualitative Auffälligkeit bedeutet: Die von den Krankenhäusern übermittelten Zahlen zeigen am Ende aller Datenüberprüfungen, dem sogenannten strukturierten Dialog, ein echtes Qualitätsproblem auf. Ursprünglich rein statistisch festgestellte, aber nach Dialog mit dem Krankenhaus als unbedeutend eingestufte Auffälligkeiten sind darin nicht mehr enthalten.

Eine einzelne qualitative Auffälligkeit berechnet sich aus einer ganzen Reihe der insgesamt 2,5 Mio. erhobenen Datensätze. Ein Beispiel: Ein Krankenhaus übermittelt 200 Datensätze mit der Information, ob alle seine Patientinnen und Patienten mit Oberschenkelhalsbruch schnell genug versorgt worden sind. Wenn aber nur 120 von diesen 200 Patienten schnell versorgt worden sind, resultiert daraus, dass bei diesem Indikator lediglich eine Auffälligkeit angezeigt wird – obwohl 200 Patientinnen und Patienten in die Berechnung eingeflossen sind. Hinter einer qualitativen Auffälligkeit stehen also praktisch immer viele - in diesem Fall 200 - Patientinnen und Patienten bzw. Datensätze.

Da also insgesamt nicht bekannt ist, wie viele Datensätze jeweils zur Berechnung der Auffälligkeiten bei einem Indikators eingegangen sind - es können 10, 100, 1.000 oder auch mehr sein – ist es weder methodisch zulässig noch fachlich richtig, diese beiden Zahlen zu einem Prozentwert zu verrechnen, wie es beispielsweise die DKG in ihrer Pressemitteilung getan hat.

Welche Zahlen finden sich im Qualitätsreport?

Das IQTIG selbst legt die Zahlen und Berechnungen in seinem Qualitätsreport transparent und nachvollziehbar dar.

„Für dieses Erfassungsjahr haben bundesweit 1.538 Krankenhäuser an insgesamt 1.834 Standorten 3.179.246 Datensätze dokumentiert. Es ergaben sich daraus 15.858 rechnerische Auffälligkeiten bei 208 Qualitätsindikatoren mit Referenzbereich. Von diesen Auffälligkeiten wurden im Jahr 2016 9.797 (62 %) im Strukturierten Dialog überprüft. Nach Abschluss des Strukturierten Dialogs zum Erfassungsjahr 2015 wurden 1.761 Ergebnisse – d. h. 11,1 % der rechnerischen Auffälligkeiten – als qualitativ auffällig eingestuft und 6.021 Ergebnisse – d. h. 38,0 % der rechnerischen Auffälligkeiten – als qualitativ unauffällig bewertet (30,6 % qualitativ unauffällig und 7,4 % ohne Hinweise auf Mängel der medizinischen Qualität, jedoch mit vereinzelten Dokumentationsproblemen). Bei 1.655 Ergebnissen – d. h. bei 10,4 % der rechnerischen Auffälligkeiten – war die Bewertung wegen fehlerhafter Dokumentation nicht möglich.“ (vgl. S. 5 des Qualitätsreports)

Umso mehr erstaunen daraus abgeleitete, nicht korrekte Berechnungen und Aussagen.

Falsche Methodik führt zu falschen Zahlen

Zusammengefasst ist somit festzustellen, dass die der Aussage, es läge eine „qualitativ hochwertige Quote von über 99 %“ vor, zugrundliegende Berechnung aus methodischer Sicht nicht zulässig und damit auch inhaltlich falsch ist. Festgestellt werden kann demgegenüber, dass bezogen auf 1.834 Krankenhausstandorte insgesamt 1.761-mal die Anforderungen bei einem einzelnen Qualitätsindikator nicht erreicht worden sind. Die Zahl der davon betroffenen Patientinnen und Patienten ist um ein vielfaches höher.

Hier soll nicht infrage gestellt werden, dass bei der ganz überwiegenden Zahl der in Krankenhäusern behandelten Patientinnen und Patienten eine gute, qualitativ hochwertige Versorgung geleistet wird. Eine methodisch unzulässige Berechnung und eine darauf basierende, fehlleitende öffentliche Darstellung macht jedoch eine Klarstellung erforderlich: Die veröffentlichten Ergebnisse der Qualitätssicherung belegen gerade nicht, dass nur in einer verschwindend geringen Anzahl von 1 % der Fälle am Ende der Prüfung noch Qualitätsprobleme bestanden haben. Es gibt also weiterhin sichtbaren Handlungsbedarf – sowohl in Bezug auf eine Verbesserung von Wirksamkeit und Aussagekraft der Qualitätssicherung als auch in Bezug auf die Darstellung von Qualitätsverbesserungen im Interesse der Patientinnen und Patienten.

Die wichtigsten Kennzahlen aus dem Qualitätsreport 2016

  • 1.538 Krankenhäuser an insgesamt 1.834 Standorten
  • 3.179.246 Datensätze wurden dort dokumentiert
  • für 25 QS-Verfahren
  • zur Berechnung von 266 Indikatoren (238 stationäre QS, 28 sektorenübergreifende QS)
  • Es ergaben sich 15.858 rechnerische Auffälligkeiten bei 208 Qualitätsindikatoren mit Referenzbereich
  • Von diesen Auffälligkeiten wurden 9.797 (62 %) im Strukturierten Dialog überprüft
  • rechnerische Auffälligkeiten, bei denen keine Überprüfung stattfand: 38%
  • nach Abschluss des Strukturierten Dialogs wurden 1.761 Ergebnisse – d. h. 11,1% der rechnerischen Auffälligkeiten – als qualitativ auffällig eingestuft
  • 6.021 Ergebnisse – d. h. 38,0% der rechnerischen Auffälligkeiten wurden als qualitativ unauffällig eingestuft
  • bei 10,4 % der rechnerischen Auffälligkeiten – war die Bewertung wegen fehlerhafter Dokumentation nicht möglich