Ergibt die Analyse von Sicherheitsklima-Befragungen beim Einsatz einer anderen Methode ein anderes Resultat? Eine Studie hat sich damit auseinandergesetzt.
Der Einschätzung des Sicherheitsklimas durch die Mitarbeitenden eines Spitals kommt eine wichtige Bedeutung zu. Der Hospital Survey on Patient Safety (HSOPS) ist eines der international häufig eingesetzten Fragebogen-Instrumente. Der HSOPS beinhaltet 42 Fragen, die 12 verschiedenen Dimensionen zugeordnet sind wie zum Beispiel „Teamwork in der Abteilung“ oder „Unterstützung durch die Spitalleitung“. Die Fragen werden auf einer fünf-stufigen Skala beantwortet, die von „stimme gar nicht zu“ bis „stimme voll zu“ verläuft. Für die Aggregation der Antworten einer Gruppe existieren verschiedene Methoden wie beispielsweise der Durchschnitt der individuellen Mittelwerte. Basierend auf der Aggregation können dann Daten – etwa Dimensions-Mittelwerte zwischen Abteilungen – verglichen werden.
Giai et al. untersuchten die Frage, ob unterschiedliche Verfahren der Aggregation der Sicherheitsklima Daten zu unterschiedlichen Ergebnissen führen (Hospital survey on patient safety culture (HSOPS): variability of scoring strategies; International Journal for Quality in Health Care 2017). Diese Frage ist wichtig, da jeder Vergleich von aggregierten Klima-Daten davon betroffen sein kann. Wenn beispielsweise die Aussage, ob sich das Klima einer Abteilung aus Sicht der Mitarbeitenden verbessert oder verschlechtert hat, stark von der Auswertungsmethode abhängt, sind solche Vergleiche ohne Normierung der Methode zweifelhaft. Die Autoren verwendeten für ihre Untersuchung die Befragungsdaten der Mitarbeiter eines großen französischen Universitätsspitals mit 14 Abteilungen (n = 3.978). Sie wendeten drei verschiedene Methoden an, um die Antworten der Mitarbeitenden auszuwerten: 1) der Anteil der Mitarbeitenden, die eine positive Antwort gaben, gemittelt über die Fragen einer Dimension. Dieses Verfahren beruht auf der Dichotomisierung der fünf-stufigen Antwort-Skala und gilt als leichter interpretierbar; 2) der Durchschnitt der individuellen arithmetischen Mittelwerte über die Fragen einer Dimension; 3) die Summe der individuellen Antworten zu den Fragen einer Dimension, gemittelt über die Individuen. Alle Ergebnisse wurden dann auf Prozent-Punkte normalisiert, um die Werte direkt vergleichbar zu machen. Im zweiten Schritt erstellten die Autoren anhand der Resultate mitjeder dieser Methoden und für jede Dimension eine Rangliste der Abteilungen. So ergeben sich beispielsweise drei Ranglisten für die Dimension „Teamwork“, die jeweils die 14 Abteilungen anführen. Theoretisch sollten alle Methoden das gleiche Ranking ergeben.
Die Autoren analysierten auch, ob die Unterschiede zwischen den Methoden innerhalb einer Abteilung von Bedeutung sind: beispielsweise wenn sich die Verhältnisse der Dimensionen zueinander verändern. So könnte etwa eine Dimension gegenüber einer zweiten Dimension mit der einen Methode deutlich positiver ausfallen als mit einer anderen. Dies würde die Ableitung von Problemfeldern in Frage stellen. Die Autoren zeigen, dass die Bedeutung der Ergebnisse erheblich und in vielfältiger Hinsicht von der gewählten Aggregationsmethode abhängt. Methode 1 führt zu grundsätzlich höheren Bewertungen als die anderen Verfahren. So gibt es für die Dimension „Unterstützung durch die Spitalleitung“ für eine Abteilung mit Methode 1 einen Wert von 14,6 Prozent, mit Methode 3 von 47,5 Prozent. Die Unterschiede zwischen den Methoden fallen je nach Bewertungs-Niveau unterschiedlich stark aus. Es handelt sich also nicht um eine einfache lineare Verschiebung. Die Ranglisten der Abteilungen unterschieden sich erheblich zwischen den Methoden. So erzielte eine Abteilung mit Methode 1 den Rang 4/14, mit Methode 2 den Platz 13/14. Besonders große Unterschiede ergeben sich zwischen Methode 1 und 2 oder 3, was auf die Reduktion der Varianz durch die Dichotomisierung in Methode 1 zurückzuführen ist. Zwischen den Methoden 1 und 2 gab es im Median 14 absolute Rangunterschiede.
Diese Untersuchung macht deutlich, dass die Art der Auswertung von Sicherheitsklima-Daten einen erheblichen Einfluss auf die Resultate und Interpretation derselben hat. Besonders die Auswertung als Anteil positiver Antworten (Dichotomisierung) ist kritisch zu sehen. Zunehmend werden die Ergebnisse von Sicherheitsklima-Befragungen für interne Vergleiche aber auch für externe Vergleiche eingesetzt. Es ist vorstellbar, dass die Bewertung des Sicherheitsklimas durch die Mitarbeitenden – wie in einigen Ländern bereits üblich – öffentlich publiziert wird. Für die Praxis heißt das vor allem, dass ein spezifisches Auswertungsverfahren festgelegt und ein Wechsel vermieden werden sollte. Dabei sind die hier vorgestellten Erkenntnisse unbedingt zu berücksichtigen.
Prof. Dr. Dieter Schwappach, MPH, Patientensicherheit Schweiz
© Österreichische Ärztezeitung Nr. 20 /25.10.2017