Search

Meta-analysis is the main tool to statistically summarize research findings with it roots tracing back in 1972. While there is a range of software available that helps in performing the meta-analyses itself, researchers frequently face issues during the preparation phase. Individual studies may not report specific measures that are required for meta-analysis, such as standard deviation, and instead may only report, for instance, confidence intervals. Despite the transformation for these measures into each other’s being statistically relatively simple, research suggests that errors during these calculations might be one of several reasons for lack of replicability of meta-analyses. Additionally, researchers might confuse certain terms in their analysis like standard error (SE) and standard deviation (SD) or overlook certain steps in their calculations. For instance, they might only calculate a simple within-group SD for a single group while a between-group SD might be required. Errors in these calculations can not only compromise reproducibility, but also potentially result in biased measures. As meta-analyses are considered to have the highest level of evidence, such biases could have negative consequences for decision making in the healthcare field, potentially leading to worse outcomes for patients. To improve the replicability of these calculations, we are developing the web application metaHelper (prototype available at www.metahelper.eu) based on our R package with the same name (https://github.com/RobertEmprechtinger/metaHelper). The web application provides the user with an accessible user interface to transform statistical measures for meta-analysis. Additionally, the application allows registered users to save previous calculations. The research project at hand should examine whether the use of metaHelper can reduce the risk of errors and the time needed to conduct these calculations.

To identify predicting factors on study-, abstract- and journal-level of studies falsely excluded during single-reviewer abstract screening.

Hintergrund/Fragestellung: In diesem HTA wurde der Einsatz von Phytotherapeutika (PT) zur Behandlung von Frauen mit unkomplizierter rezidivierender Urozystitis (rUZ) untersucht. Die Bewertung der gesundheitsökonomischen, ethischen, sozialen, organisatorischen und rechtlichen Aspekte erfolgte [zum vollständigen Text gelangen Sie über die oben angegebene URL]

Einführung und Relevanz des Themas: Die Zahl der Initiativen, die sich mit einer Reduktion einer medizinischen Überversorgung zusammenfassen lassen („low-value“, „wasteful care“ oder „inappropriate care“), steigt weltweit. 2013 wurde – mit wenig[zum vollständigen Text gelangen Sie über die oben angegebene URL], Brücken bauen – von der Evidenz zum Patientenwohl; 19. Jahrestagung des Deutschen Netzwerks Evidenzbasierte Medizin

Ein wichtiger Schritt bei der Entwicklung neuer psychologisch-diagnostischer Testverfahren ist die als Itemkalibrierung bezeichnete Prüfung der Verrechnungsfairness der konstruierten Items. Ein Problem bei der Itemkalibrierung ist die zufällige Itemvorgabe (zufällig bedeutet in diesem Kontext, dass jedes Item stets die selbe Wahrscheinlichkeit hat, vorgegeben zu werden). Dementsprechend erhalten Testpersonen, bei denen sich bereits aufgrund ihres bisherigen Antwortverhaltens zum Beispiel eine besonders hohe Fähigkeit erkennen lassen würde, auch weiterhin (zufällig) sehr leichte Items zur Bearbeitung. Das Problem hierbei ist, dass die Information, die über die vorgegeben Items in der Testkalibrierung gewonnen werden könnte, nicht optimal ausgeschöpft wird. Deshalb wurde im Rahmen dieser Arbeit ein Algorithmus zur Itemkalibrierung mittels adaptiver Itemauswahl im Rasch-Modell entwickelt. Dieser ist in der Lage ein Verfahren mit gleichverteilten Itemparametern und standardnormalverteilten Personenparameter zu kalibrieren. Außerdem führt der Algorithmus bereits im Rahmen der Testkalibrierung die Modellprüfung auf Gültigkeit des Rasch-Modells mittels Fischer und Scheiblechner z-Test durch. Bei der Itemauswahl berücksichtigt der Algorithmus nicht nur die Item- und Personenparameter, sondern auch die bereits vorhandene Information zu jedem Item. Mittels einer Simulationsstudie wurde die Genauigkeit und Präzision nach abgeschlossener Kalibrierung sowie die Präzision zu unterschiedlichen Kalibrierungszeitpunkten erhoben und jene der adaptiven Kalibrierungsstrategie mit zufälliger Itemauswahl verglichen. Außerdem wurde überprüft, ob der Fischer und Scheiblechner z-Test überzufällig häufig Items mit Differential Item Functioning erkennt. Bei 37 von 60 Items war die Präzision der Itemparameter nach 500 zur Kalibrierung eingesetzten Personen bei den adaptiv kalibrierten Tests signifikant höher als bei den zufällig kalibrierten Tests. Bei den Kalibrierungsstadien nach 100 Personen schnitt hingegen die zufällige Itemkalibrierung besser ab, nach 250 Personen zeigte sich kein Unterschied zwischen den beiden Kalibrierungsstrategien. Beim Einsatz der fertig kalibrierten Tests zur Messung der Personenparameter war kein Unterschied in der Präzision der adaptiven zur zufälligen Vorgabestrategie feststellbar. Der Fischer und Scheiblechner z- Test konnte 95.0% der Items mit Differential Item Functioning erkennen und gab bei 2.9% der Items ein falsch positives Ergebnis aus und kann überzufällig häufig Items mit Differential Item Function erkennen. In Zukunft könnte die adaptive Itemkalibrierung eine alternative zur Itemkalibrierung mittels, An important step during the development of psychological assessment tests is the scaling of the items or the so called item calibration. The Item selection during the item calibration is at random (random means that every item in the pool hast the same chance to be selected). Accordingly, very easy items are still (randomly) admitted to subjects from whom is already known that they are very competent or vice versa. This is a problem, because information is not optimally exploited. Hence an adaptive item selection algorithm for test calibration has been developed. The algorithm is able to calibrate a test with normal distributed person parameters and evenly distributed item parameters. The algorithm is also able to conduct model testing with the Fischer and Scheiblechner z-Tetst during the item calibration process. Not only person and item parameters are considered for item selection but also the previously gathered information. The algorithm has been tested in a simulation study to measure the accuracy and precision of this calibration method compared with a random item calibration strategy. Furthermore, it was verified if the Fischer and Scheiblechner z-Test is able to find more often items with differential item than by simply random chance. 37 of 60 items showed a higher precision in the adaptive calibration procedure compared with the random item calibration strategy after the test has been administered to 500 examinees. At earlier calibration stages the precision in the random calibration strategy was higher (after 100 examinees) or even (after 250 examinees). There was no detectable difference in the precision of the person parameters after the calibration was completed (500 eximanees). The Fisher and Scheiblechner z-Test is able to detect items with differential item functioning. 95.0% of the Items with differential item functioning have been recognized and 2.9% were rated false positive. Because the information of each examinee is used in an optimal manner, the adaptive item calibration strategy could be an option for test calibration in the near future.