Qualitätsstandards bei der Prüfung von Ergebnissen biowissenschaftlicher Forschung
Das Projekt Reproducibility Project: Cancer Biology sollte über einen Zeitrahmen von acht Jahren experimentelle Versuche aus renommierten, zwischen 2010 und 2012 veröffentlichten Forschungsbeiträgen replizieren. Wie die Studie zeigte, ergaben sich bei 193 Versuchen, die in 53 Beiträgen veröffentlicht wurden, Probleme bei deren Wiederholung. So waren Protokolle mitunter nicht eindeutig nachvollziehbar, und nur bei 2 % aller experimentellen Versuche war die Datenaufzeichnung vollständig. Beim Wiederholen der Experimente wichen die Ergebnisse häufig vom ursprünglichen Ergebnis ab. „Ein Grund dafür ist u. a. die Art und Weise der Konzeption, Durchführung, Analyse und Berichterstattung“, sagt Malcolm Macleod von der Universität Edinburgh, die Koordinator des Projekts EQIPD war. Das EU-finanzierte Projekt EQIPD erstellte für eine europaweite multizentrische Studienreihe eine Zusammenfassung bisheriger Empfehlungen zur Durchführung von Tierversuchen. Das Team entwickelte ein „System zur Qualitätssicherung“, mit dem Laboreinrichtungen die Rückverfolgbarkeit und Sicherheit von Daten, aber auch Aspekte wie Versuchsaufbau überprüfen können. Entsprechendes Schulungsmaterial soll Forschenden zudem grundlegende Prinzipien und deren optimale Umsetzung erläutern. „Wir konnten belegen, dass standardisierte Studien dazu beitragen können, Abweichungen bei Laborergebnissen zu verringern und die Reproduzierbarkeit zu erhöhen. Unser Qualitätssicherungssystem wurde bereits in mehreren Labors eingeführt, und Feedbacks zufolge ist das Verhältnis von Arbeitsaufwand zu Mehrwert optimal“, ergänzt Macleod.
Entwicklung des Qualitätssicherungssystems
Über systematische Prüfung der Leitlinien zu Tierversuchen erarbeitete die Projektgruppe grundsätzliche Regeln zu Aufgabenverteilung innerhalb des Forschungsteams, Qualitätsverständnis, Datenintegrität, Forschungsabläufen, fortlaufender Optimierung und Nachhaltigkeit. Diese wurden vom Team in mehreren Diskussionsrunden weiter spezifiziert, u.a. mit einer Interessengruppe von mehr als 100 Teilnehmenden, wobei auch Feedback aus der breiteren wissenschaftlichen Forschung integriert wurde. Informelle Gesprächsrunden wurden abgelöst von strukturierten mehrstufigen Befragungen mit dem Ziel der Konsensbildung etwa der Delphi-Methode. Nachdem die wichtigsten Qualitätskriterien herausgearbeitet waren, wurde in Experimenten untersucht, ob der standardisierte Ansatz die Reproduzierbarkeit erhöhen kann. Die Experimente waren jeweils repräsentativ für verschiedenste Versuchsanordnungen und Zielstellungen: etwa ein Tierversuch in freiem Gelände für das Bewegungs- und Explorationsverhalten von Nagetieren, ein Schlaf-/Wach-EEG für Merkmale von Alzheimer-Demenz bei Tiermodellen und der Irwin-Test für Merkmale für Arzneimitteltoxizität. Diese Pilotstudien in fünf Forschungs- und kommerziellen Laboreinrichtungen in Europa und dem Vereinigten Königreich zeigten, wie diese unterschiedlichen Umgebungen konzipiert sein sollten und welche Anforderungen das System erfüllen muss. Die externen Prüfungen werteten nicht nur die Leistung, sondern hinterfragten auch, ob die Strategien der Forschenden geeignet waren, um qualitativ hochwertige Forschung zu liefern. Mit dem Ansatz konnten verdrängte oder versteckte Probleme aufgezeigt, aber auch neue Möglichkeiten identifiziert werden. „Eine systematische Überprüfung von Alzheimer-Krankheitsmodellen führte zu Hunderttausenden von Beiträgen, die potenziell relevant sein könnten. Daher entwickelten wir eine automatisierte Methode, die redundante Suchergebnisse entfernt und unter folgender Webseite zur Verfügung steht, wenn unabhängige Gutachten durchgeführt werden“, bemerkt Macleod.
Konsolidierung und Erweiterung der Zielsetzung
Abgesehen davon, dass wissenschaftliche Genauigkeit in den Biowissenschaften oberste Priorität haben muss, besteht hier auch eine praktische Verantwortung, Leiden zu reduzieren. „Präklinische Forschung ist die Grundvoraussetzung für neue medikamentöse Strategien. Je eher klar ist, welche Wirkstoffkandidaten ausscheiden, desto schneller kommen wir voran und können auch Kosten senken, was medizinisch wie ökonomisch relevant ist“, bemerkt Macleod. Das EQIPD-Qualitätssystems wird in einem eLife-Beitrag beschrieben, und einige Organisationen wie Scientist.com empfehlen ihren Forschungsanbietern bereits die Bewertungskriterien von EQIPD. Das Team gründete schließlich die gemeinnützige Organisation GoEQIPD, die für EQIPD die Gewährleistung und die formelle Laborzertifizierung übernimmt. „Die nächste Aufgabe ist, diese Ansätze auch in der biowissenschaftliche In-vitro-Forschung anzuwenden, um Forschungsprobleme und mögliche Lösungsansätze zu identifizieren“, schließt Macleod.
Schlüsselbegriffe
EQIPD, Forschung, Prüfung, Biowissenschaften, Medikamente, Therapien, präklinisch, experimentell, Daten, Replikation
