Search

Zusammenfassung Hintergrund Empfehlungen aus S3-Leitlinien (S3-LL) stellen eine wichtige Grundlage fur die Entwicklung von Qualitatsindikatoren (QI) dar. Ein einheitliches methodisches Vorgehen zur Entwicklung von QI im Kontext von S3-LL existiert in Deutschland bisher nicht. Aus diesem Grund wurde ein methodischer Standard fur die leitlinienbasierte Entwicklung von QI (QI-Standard) anhand eines strukturierten Konsensprozesses unter Einbezug der relevanten Experten- und Interessengruppen erarbeitet. Methoden Die Inhalte des QI-Standards wurden evidenzgeleitet zusammengestellt, basierend auf den Ergebnissen von Ubersichtsarbeiten und qualitativen Studien sowie unter Berucksichtigung der bereits existierenden Manuale zur leitlinienbasierten QI-Entwicklung. Fur die Abstimmung des QI-Standards wurde ein multiperspektivisches Panel mit breiter Reprasentanz von Experten- und Interessengruppen aus dem deutschen Gesundheitssystem und Expertise in Leitlinienarbeit und/oder Qualitatsmanagement nominiert. Das iterative, strukturierte Konsensverfahren beinhaltete eine zweistufige Onlinebefragung angelehnt an das Delphi-Verfahren („vorlaufige Abstimmung“) sowie eine moderierte Abschlusskonferenz, bei der diejenigen Empfehlungen in den QI-Standard aufgenommen wurden, die eine Zustimmung von >75% (Konsens-Kriterium) des Expertenpanels erhielten. Ergebnisse Der erarbeitete QI-Standard sieht als QI-Entwicklungsschritte zuerst die kriteriengestutzte Auswahl „potenzieller QI“ vor, die nach ihrer Verabschiedung als „vorlaufige QI“ in der S3-LL veroffentlicht werden und schlieslich nach erfolgreicher Testung den Status „finale QI“ erlangen. Der QI-Standard setzt sich aus insgesamt 30 Empfehlungen zusammen, die sich auf sechs Bereiche verteilen: A) Vorbereitende Arbeitsschritte fur die leitlinienbasierte Empfehlung von QI, B) Zusammensetzung der QI-Entwicklergruppe und Zusammenarbeit mit der LL-Gruppe, C) Entwicklung der potenziellen QI, D) Bewertung der potenziellen QI, E) Verabschiedung und Publikation sowie F) Pilotierung/Testung der vorlaufigen und Uberfuhrung in finale QI. Diskussion Bevor der QI-Standard bei kunftigen S3-LL-Erstellungen oder Aktualisierungen zur Implementierung empfohlen werden kann, sollte dieser in ausgewahlten S3-Leitlinienprojekten erfolgreich erprobt worden sein. Neben methodischen Anforderungen an die QI-Entwicklung muss sichergestellt sein, dass den LL-Gruppen adaquate Ressourcen fur die Umsetzung des QI-Standards zur Verfugung stehen. Schlussfolgerung Vom Einsatz des QI-Standards durch Leitliniengruppen konnen wissenschaftlich fundierte und fur die Versorgung relevante QI erwartet werden.

Zusammenfassung Hintergrund S3-Leitlinien bieten grundsatzlich Potenzial fur die Entwicklung qualitativ hochwertiger Qualitatsindikatoren (QI). Obwohl QI im Rahmen von S3-Leitlinien empfohlen werden, fehlt ein anerkannter Goldstandard fur den spezifischen Entwicklungsprozess von leitlinienbasierten QI. Ziel dieser Ubersichtsarbeit, eingebettet in ein Mixed-Methods Forschungsprojekt, war es, die in S3-Leitlinien angewendete QI-Entwicklungsmethodik zu analysieren, um Erkenntnisse fur die Erstellung eines evidenzgeleiteten und konsensbasierten Standards fur die leitlinienbasierte Entwicklung von QI in Deutschland zu generieren. Methode Zur Identifizierung gultiger S3-Leitlinien, die Empfehlungen zu QI enthalten, wurde eine Recherche (31.07.2016) in der Leitlinien-Datenbank der Arbeitsgemeinschaft der Wissenschaftlichen Medizinischen Fachgesellschaften (AWMF) durchgefuhrt. Anhand einer geschichteten Zufallsstichprobe pro Leitlinienprogramm (der Wissenschaftlichen Medizinischen Fachgesellschaften nach dem AWMF-Regelwerk (FG-Programm); Nationale VersorgungsLeitlinien (NVL-Programm); Leitlinien des Leitlinienprogramms Onkologie (OL-Programm)) wurden 11 S3-Leitlinien einer Analyse unterzogen, indem die spezifische Entwicklungsmethodik der enthaltenen QI, Angaben zur psychometrischen Gute sowie Hinweise zur Uberprufung der Versorgungsqualitat aus den Leitliniendokumenten extrahiert und vergleichend gegenubergestellt wurden. Ergebnisse In 35 von 109 (16/85 FG, 4/8 NVL, 15/16 OL) (32%) zum Zeitpunkt der Recherche gultigen S3-Leitlinien wurden 372 QI formuliert. Die Analyse der 11 zufallig ausgewahlten Leitlinien (5 FG, 1 NVL, 5 OL; insgesamt 109 QI) ergab, dass die QI-Entwicklungsmethodik bei den funf eingeschlossenen Leitlinien des FG-Programms im Vergleich zu den Programmen NVL und OL inkonsistent war (u.a. in Bezug auf Darstellung der QI sowie Nutzung und Auswahl von Leitlinienempfehlungen fur die QI-Ableitung). Bezogen auf alle 109 QI wurden 2 (2%) als quantitatives Mas mit Referenzbereich aufbereitet und fur 17 (16%) wurden Qualitatsziele formuliert. Keine Leitlinie berichtete explizit uber Ergebnisse einer Pilotierung oder datenbasierten Analyse der psychometrischen Gute der empfohlenen QI. Angaben zur Uberprufung der Versorgungsqualitat anhand der empfohlenen QI erfolgten ausschlieslich in den Leitlinien des OL-Programms. Diskussion Die Anwendung von QI-Manualen fuhrt im NVL- und OL-Programm zu einer weitgehend standardisierten Entwicklung von leitlinienbasierten QI. In den S3-Leitlinien des FG-Programms wurden – wenn uberhaupt – QI uneinheitlich und in weiten Teilen keiner nachvollziehbaren Systematik folgend entwickelt. Mit den identifizierten QI lassen sich aufgrund weitgehend fehlender Referenzbereiche und Qualitatsziele potenzielle Qualitatsdefizite in der Versorgungspraxis noch nicht transparent aufzeigen. Hierzu bedarf es publizierter Pilotierungen und Weiterentwicklungen der leitlinienbasierten QI. Schlussfolgerung Ein methodischer Standard zur QI-Entwicklung ist fur deutsche Leitliniengruppen notwendig, um die Chance zu nutzen, im Leitlinienentwicklungsprozess klinisch relevante, breit akzeptierte und evidenzbasierte QI zu entwickeln. Zusatzlich ist sicherzustellen, dass Strukturen genutzt oder geschaffen werden, um die empfohlenen QI tatsachlich einsetzen zu konnen.

Recommendations of evidence- and formally consensus-based clinical practice guidelines (CPGs) represent a valuable source of quality indicators (QIs). Nevertheless, a standardized methodological procedure for developing QIs in the context of CPGs does not yet exist in Germany for all CPGs. For this reason, a methodological standard for the guideline-based development of QIs (QI Standard) was developed based on a structured consensus process involving multiple key stakeholders.The proposed content of the QI Standard was derived from evidence, drawing upon results of reviews and qualitative studies, and considered German manuals for guideline-based QI development of two guideline programs. A multi-perspective consensus panel, broadly representing key stakeholders from the German healthcare system with expertise in CPGs and/or quality management, was nominated to vote on recommendations for guideline-based development of QIs. The iterative, structured consensus process included a two-stage online survey based on the Delphi method ("preliminary voting") and a moderated final stakeholder conference where all those recommendations were definitely included in the QI Standard that received approval of more than 75 % (consensus criterion) of the consensus panel.Based on the agreed QI Standard, the QI development process starts with a criteria-based selection of "potential" QIs which - in case of adoption - are published in CPGs as "preliminary" QIs and can achieve the status "final" after successful testing. The QI Standard is composed of a total of 30 recommendations, which are allocated to six areas: A) preparatory work steps for the guideline-based recommendation of QIs, B) QI development group and cooperation with the CPG group, C) development of potential QIs, D) critical appraisal of potential QIs, E) formal adoption and publication as well as F) piloting/testing of preliminary QIs and conversion into final QIs.Before the QI Standard can be recommended for implementation in future CPGs, it should have been successfully tested in selected German CPG projects. In addition to methodological requirements for the QI development, it must be ensured that guideline groups have adequate resources for the implementation of the QI Standard.By using the QI Standard, scientifically sound and healthcare-relevant QIs can be expected.

Background Evidence-based clinical practice guidelines (CPGs) are relevant sources for generating quality indicators (QIs). The objective of this study was to compare guideline-based QIs of German and international CPGs and their underlying methodological approaches. Methods We conducted systematic searches in the guideline databases of G-I-N (Guidelines International Network) and NGC (National Guideline Clearinghouse) between February and June 2017 to identify international CPGs matching the topics of German evidence-based CPGs (n = 35) that report QIs, which were identified in a preceding study. Additionally, we searched the websites of the particular CPG providers for separate documents with regard to QIs. We included evidence-based CPGs which report QIs. Reported QIs, the underlying guideline recommendations, and information on methods of development were extracted. The selection and extraction of CPGs were conducted by one reviewer and checked by another. For each matched pair of CPGs, we assessed whether the suggested QIs matched or were not directly comparable. Results Twenty-five international CPGs, originating from seven CPG providers in total, met the criteria for inclusion. They matched the topics of 18 German CPGs. This resulted in 30 CPG pairs for the comparison of QIs (some of the international CPGs matched the topic of more than one German CPG). We found 27 QI pairs with QIs “not different or slightly different”, corresponding to 13% (27 of 212) of the QIs in German CPGs and 16% (27 of 166) in international CPGs. Only two QI pairs were judged to be “different/inconsistent”. For 183 of 212 (86%) QIs from German CPGs and 137 of 166 (83%) QIs from international CPGs, no direct comparison could be made. An explicit link to one or more guideline recommendations was found for 136 of 152 (89%) QIs from German CPGs and 82 of 166 (49%) QIs from international CPGs. Some information on methods for the development of QIs existed for 12 of 18 (67%) German CPGs and 8 of 25 (32%) international CPGs. Conclusions The majority of QIs in German and international CPGs were not comparable. Various reasons for this are conceivable. More transparent reporting of the underlying methods for generating guideline-based QIs is needed.