Kundenerfahrungen

Datendetektive kämpfen gegen verfälschte Daten in klinischen Studienberichten

Ein zukunftsorientiertes statistisches Überwachungsprogramm hilft, korrekte und präzise Zulassungsunterlagen sicherzustellen

Der zeitlose literarische Lieblingsheld Sherlock Holmes gab dereinst einen weisen Rat für Ermittlungen: „Es ist ein verhängnisvoller Fehler, Theorien zu erstellen, bevor man die Daten hat. Man beginnt unmerklich, die Fakten zu verdrehen, um sie seinen Theorien anzupassen, anstatt seine Theorien an den Fakten auszurichten.“ Wenngleich Sherlock Holmes für die Anwendung seines Grundsatzes in einer Vielzahl spannender viktorianischer Skandale bekannt ist, so hat sein Ansatz dennoch nach wie vor Gültigkeit. In gewisser Weise liegt es in der Natur des Menschen, Fakten zu verdrehen. Dies gilt nicht nur für Detektive, wenn sie das Fehlverhalten von Personen detektivisch unter die Lupe nehmen, sondern auch für jene, die sich selbst des Fehlverhaltens schuldig machen.  

Bei Zulassungsanträgen werden klinische Daten und Analysen intensiven Prüfungen unterzogen

In der Welt der Arzneimittelentwicklung ist die Datenintegrität ebenso wie in der Kriminologie eine ernsthafte Angelegenheit. Die von Aufsichtsbehörden wie der EMA oder der FDA vorgegebenen strengen Regelungen zielen darauf ab, Patienten vor Arzneimitteln zu schützen, die ihnen schaden könnten. Die Beweislast liegt bei den Pharmaunternehmen, die statistisch fundierte klinische Studiendaten als Belege vorlegen müssen, bevor sie neue Therapieformen auf den Markt bringen dürfen. Um einen reibungslosen Zulassungsantrags- und Genehmigungsprozess sicherzustellen, haben die innovativeren Unternehmen – wie beispielsweise Roche – neue bewährte Praktiken für die statistische Überwachung eingeführt.

Ein robustes Überwachungsprogramm geht weit über die herkömmliche Datenbereinigung hinaus, sagt Chris Wells, Statistikerin und Teamleiterin der Centralized Statistics Monitoring Group von Roche. Sie erklärt: „Wir müssen die Qualität und die Integrität unserer Daten bewahren, indem wir dafür sorgen, dass wir alle Fälle von Änderungen und Verfälschungen von Daten erkennen können. Dies gilt für alle Kalibrierungs- oder Schulungsprobleme innerhalb und zwischen klinischen Studienzentren, alle Normalwerte sowie alle schweren Ausreißer und alle anderen Probleme, die die Qualität beeinträchtigen oder das Programm gefährden können.

Wir überprüfen jede Studie von Roche auf ihre Datenintegrität. Wir müssen sicherstellen, dass unsere Daten weltweit einem hohen Standard entsprechen. Die Ergebnisse müssen korrekt und genau sein und widerspiegeln, welche Auswirkungen die Arzneimittel tatsächlich auf die Patienten haben.“ Bessere Daten und eine höhere Qualität der Anträge, so sagt Wells, verbessern die Wahrscheinlichkeit, dass ein neues Arzneimittel zugelassen wird und den Patienten schneller zur Verfügung steht.

Funktionen zur Datenintegrität in JMP^® Clinical verwenden Algorithmen zur Identifikation von Fehlverhalten in Studienzentren und bei Patienten

Zur Erreichung der bestmöglichen Datenqualität in allen seinen klinischen Studien hat Roche innovative statistische Überwachungsverfahren der nächsten Generation eingeführt, in deren Rahmen JMP Clinical als grundlegendes Werkzeug genutzt wird. JMP Clinical identifiziert nicht nur einfache Datenanomalien (z. B. fehlende Informationen), sondern wendet auch moderne statistische Algorithmen auf klinische Daten an, um Ausreißer und nicht-zufällige Fehler zu erkennen, die zu einem möglichen Fehlverhalten führen.

JMP Clinical erlaubt es Wells und ihrem Team, nach zweifelhaften Ähnlichkeiten oder Duplikaten in demografischen Verteilungen und Geburtsdaten zu suchen, Probanden einzelner Studienzentren und zentrumsübergreifend zu clustern ebenso wie unwahrscheinliche Dosierungspläne für Wochen- oder Feiertage, perfekte Teilnahmepläne, nicht variable Ergebnisse, doppelte Datensätze, Auf- und Abrundungen (ein Vergleich zwischen Zentren, der hilft, Datenqualitätsprobleme zu identifizieren) und multivariate Normalwerte sowie Ausreißer zu finden. Spezielle statistische Tests in JMP Clinical markieren laut Wells potenziell problematische Datenmuster, die ohne statistische Auswertungsverfahren nicht erkannt würden.

„Wenn wir alle diese Tests durchgeführt haben, liefert uns JMP Clinical entsprechende Markierungen. Wir müssen dann die Daten nur noch genauer untersuchen und herausfinden, was genau hier los ist“, sagt Wells. „Anschließend geben wir die Ergebnisse dieser Markierungen zurück an die Studienteams, die sie überprüfen. Wir sehen uns die Patientenaufzeichnungen und die Verfahren der Zentren an und versuchen zu ermitteln, ob wir Veränderungen vornehmen müssen.

Mit JMP Clinical werden Sie zum Detektiv. Sie müssen wie Sherlock Holmes arbeiten. Welche Aktionen einer Person könnten Einfluss auf Ihre Daten haben? JMP Clinical versetzt Sie in die Lage, das zu tun. Die einzige Beschränkung ist Ihre eigene Vorstellungskraft.“

Eine fruchtbare Partnerschaft mit Prism hilft Roche, das volle Potenzial von JMP^® Clinical auszuschöpfen

Da jeder gute Detektiv einen Partner braucht, wandte sich Wells an Prism Training & Consultancy, ein erfahrenes britisches Statistikunternehmen mit Sitz in Cambridge, das über umfassende Erfahrung in der Unterstützung von kleinen und mittleren Unternehmen und großen Pharmaunternehmen weltweit verfügt. Drei Berater aus dem Prism-Team, alle mit langjähriger Erfahrung im Bereich klinischer Studien, arbeiteten mit Wells und ihren Kollegen in einer Partnerschaft zusammen. Roche konnte somit sein zentrales internes Team durch die Expertise von Prism ergänzen und Statistikschulungen sowie die Analyse von Studiendaten mithilfe von JMP Clinical kurzfristig bereitstellen.  

„Prism hat seinen Sitz in Cambridge und ist einer der führenden Anbieter Großbritanniens, der auf JMP Clinical-Schulungen für Unternehmen spezialisiert ist. Seine Unterstützung in dieser Entwicklungsphase war für Roche unverzichtbar“, erklärt Wells.

Diese Strategie änderte sich jedoch auf längere Sicht, und Roche begann mit der Suche eines externen Anbieters, auf den dieser Aufgabenbereich ausgelagert werden sollten. In diesem Zeitraum übernahm Prism in Zusammenarbeit mit Roche eine Analyse- und Schulungsrolle. Nachdem ein externer Partner gefunden war, arbeiten nun Berater von Prism sowohl mit dem Anbieter als auch mit Roche bei der Schulung von Analysten in ihren jeweiligen neuen Rollen eng zusammen. Wenn das Team des Anbieters voll einsatzfähig ist, wird der Aufgabenumfang von Prism abnehmen und nur noch die jeweils erforderlichen Schulungen und die laufende Unterstützung umfassen. Außerdem wird Prism weiterhin auf Anforderung des internen Teams von Roche Skripten und System-Add-ins erstellen.

Statistische Tests weisen auf Probleme hin, die weitere Prüfungen erfordern

Durch das Markieren problematischer klinischer Daten, die in einen Antrag für die Arzneimittelzulassung aufgenommen werden sollen, hat das Team von Wells die Möglichkeit, Korrekturmaßnahmen durchzuführen. In der überwiegenden Mehrzahl der Fälle, so Wells, liegt bei der Verfälschung von Daten keine Täuschungsabsicht vor. In diesen Fällen hilft das frühzeitige Markieren von Problemen den klinischen Studienzentren, ihre Berichtspraktiken für laufende und zukünftige Studien zu korrigieren. „Die Teams wollten ihre Daten anfangs nicht herausgeben“, erinnert sich Wells. „Wir mussten wirklich dafür kämpfen, um sie von ihnen zu bekommen. Mittlerweile geben Sie uns ihre Daten gerne ... wir haben viele positive Rückmeldungen erhalten. Je mehr wir tun können und je mehr wir von JMP Clinical lernen können, umso mehr Vorteile können wir alle daraus ziehen.“

Das Verfälschen von Daten ist ein komplexes Problem. Es gibt zahllose Gründe, wie es dazu kommen kann – sowohl absichtlich als auch unbeabsichtigt. Studienadministratoren und Patienten weltweit melden daher alle Daten, die ihnen verdächtig vorkommen. Es kommt zwar nicht häufig vor, aber Fehler an den Studienstandorten, wie etwa das Vertauschen von Patientenakten oder das Verwechseln von Probanden, kann durchaus einen verzerrenden Einfluss auf Studienergebnisse haben. Wenn klinische Studienadministratoren auf diese Fehler aufmerksam gemacht werden, können sie lokale Qualitätsprüfungen einrichten.

Administratoren sind nicht die einzigen Schuldigen, wenn es um Datenverfälschungen geht. Auch unzulässiges Verhalten von Patienten kann die Integrität klinischer Daten beeinträchtigen. Es gibt beispielsweise Fälle, in denen Patienten an mehreren Studien gleichzeitig teilgenommen haben, sei es, um mehr medizinische Behandlungen zu erhalten oder wegen finanzieller Vorteile. Außerdem können auch kulturelle oder religiöse Gründe Patienten dazu motivieren, falsche Symptome zu berichten.

JMP^® Clinical bietet sowohl Sicherheit als auch erhebliche Einsparungen

„Die statistische Überwachung ist ein relativ neuer Bereich“, sagt Wells. „Sie ermöglicht es uns, die Daten aus einem anderen Blickwinkel zu sehen und nicht nur nach Ausreißern zu suchen, sondern mithilfe von statistischen Algorithmen erkennbare Trends aufzudecken.“ Mit einem Werkzeug wie JMP Clinical, das einen großen Teil des Prozesses automatisiert, kann sie sicherstellen, dass über alle weltweiten Studien von Roche hinweg die gleichen Überwachungsverfahren eingesetzt werden.

Die langfristigen Vorteile von einheitlichen und qualitativ hochwertigen Berichten und Arzneimittelzulassungsanträgen sind für Wells klar. Zum Einen „hat man, wenn man eine Studie bei der FDA oder der EMA einreicht, die Sicherheit, dass man weiß, was genau die eigenen Daten enthalten. Im Allgemeinen hat man einen anderen Blick auf Daten. Aber mit JMP Clinical können wir die gesamten Studiendaten überblicken und Probleme identifizieren, die mit den früheren Methoden wahrscheinlich nicht erkannt worden wären.“ Interessant ist für Wells auch, dass nicht nur Roche JMP Clinical verwendet. Auch die FDA besitzt Lizenzen. Indem Wells die Studienberichte in einem übersetzbaren Format vorbereitet, kann sie sicherstellen, dass die Ergebnisse absolut transparent sind. Die Graphiken von JMP helfen zudem, den Inhalt hochwertiger Analysen besser zu kommunizieren.

Darüber hinaus können teure Verzögerungen innerhalb des behördlichen Prüfungsprozesses vermieden werden, wenn neue statische Überwachungsverfahren eingesetzt werden, wenngleich hierfür bislang nur minimale Ergebnisse vorliegen. Wells schätzt, dass die Kosten möglicher Verzögerungen zwischen 6 Millionen und 15 Millionen US-Dollar pro Medikament pro Tag liegen können – keine kleine Zahl, selbst für ein Unternehmen mit einem beträchtlichen F&E-Budget wie Roche. Außerdem verschaffen absolut sichere Arzneimittelzulassungsanträge, da das Unternehmen neue Arzneimittel vor seinen Mitbewerbern auf den Markt bringen kann, Roche Vorteile wie Patente und Exklusivverträge mit langfristigen finanziellen Auswirkungen.