고객 사례

임상 시험 보고에서 위조를 가려내는 데이터 탐정

미래 지향적인 통계 모니터링 프로그램이 원활하고 정확한 규제 절차를 약속합니다

명탐정 셜록 홈즈는 수사 방법에 관해 다음과 같이 충고했습니다. "데이터를 갖기 전에 이론을 세우지 말라. 무의식적으로 이론을 사실에 맞추기보다 이론에 맞게 사실을 왜곡하려 들기 때문이다." 홈즈의 이 신조는 영국 빅토리아 왕조때 나온 것이지만 오늘날에도 유효합니다. 어떤 면에서 사실의 왜곡은 인간 본성입니다. 위법 행위를 조사하는 형사뿐만 아니라 범죄를 저지르는 사람도 마찬가지입니다.  

임상 데이터와 분석은 철저한 조사의 대상

의약품 업계에서는 범죄학과 마찬가지로 데이터 무결성이 심각한 문제입니다. EMA, FDA와 같은 규제 기관에서 시행하는 엄격한 규제는 환자들에게 유해할 수도 있는 의약품으로부터 환자를 보호하는 역할을 합니다. 따라서 제약회사는 새로운 치료법을 발표하기 전에 통계적으로 유효한 임상실험 증거를 제공할 책임 있습니다. Roche와 같은 혁신적인 기업에서는 원활한 의약품 제출과 승인을 위해 새로운 통계 모니터링을 방식을 도입했습니다.

Roche의 중앙 통계 모니터링 그룹(Centralized Statistics Monitoring Group)의 통계 전문가 겸 팀장인 Chris Wells에 따르면 강력한 모니터링 프로그램의 역할은 데이터 클리닝에 머물지 않습니다. 그녀는 "저희는 [임상 시험] 기관 전체에서 품질에 영향을 미치거나 프로그램을 위험에 빠뜨리는 부정 행위나 데이터 조작, 교정 또는 교육 문제, 심각한 특이치를 식별하여 데이터의 품질과 무결성을 확보해야 합니다."라며

"이에 Roche에서 진행되는 연구 모두를 데이터 무결성의 관점에서 검토하고 있습니다. 저희 데이터는 전체적으로 높은 수준을 유지해야 합니다. 그리고 결과는 참이고 정확하며 환자가 실제로 경험하고 있는 것을 반영해야 합니다."라고 말했습니다. Wells는 데이터와 제출의 질이 좋으면 신약이 승인되어 환자에게 더 빨리 제공될 가능성을 높아진다고도 했습니다.

JMP^® Clinical의 데이터 무결성 애플리케이션은 시험기관 및 환자의 부정 행위를 찾아내는 알고리즘을 활용하고 있다

Roche는 다수의 글로벌 임상 시험에서 최고의 데이터 품질을 확보하기 위해 차세대 통계 모니터링 방식을 개발하였습니다. 여기서는 JMP Clinical이 없어서는 안 될 존재입니다. JMP Clinical은 단순한 데이터 이상(예: 누락된 정보)을 찾아낼 뿐만 아니라, 고급 통계 알고리즘을 적용하여 위법 행위로 연결될 수도 있는 특이치나 비 랜덤 오류의 발견을 돕습니다.

Wells와 담당팀은 JMP Clinical을 이용하여 인구통계학적 분포와 생일, 연구기관들 내부 뿐 아니라, 연구기관들 간의 환자 분류, 예상 밖의 주중 또는 휴일 투여 일정, 완벽한 참석 일정, 비가변 연구 결과, 중복 레코드, 끝수 선호도(데이터 품질 문제의 규명을 위한 시험기관 간 비교), 다변량의 특이치에서 의심스러운 유사점 또는 중복을 찾아냅니다. Wells에 따르면 JMP Clinical의 전문 통계 테스트는 비통계적 평가 방법에서는 발견되지 않을 수도 있는 데이터 패턴을 표시합니다.

Wells는 "저희가 테스트를 보고 나면 JMP Clinical에서 플래그를 줍니다. 그러면 해당 데이터를 면밀하게 살펴 어떤 상황인지 파악합니다. "그리고 플래그에서 나온 결과를 연구팀으로 다시 보내 검토를 받습니다. 환자 메모와 기관 실무를 살펴 변경이 필요한지 확인합니다.

“JMP Clinical을 사용하면 마치 탐정이 된 것 같습니다. 셜록 홈즈처럼 되어야 합니다. 누가 어떻게 했기에 데이터가 달라졌을까? JMP Clinical은 그것을 밝혀내는 능력이 있습니다. 어떻게 활용하느냐는 오롯이 사용자의 몫입니다."

Roche는 Prism과의 유익한 파트너십을 통해 JMP^® Clinical의 잠재력을 최대한 활용하고 있습니다.

좋은 탐정에게는 파트너가 필요하기에, Wells는 영국 캠브리지에서 오랫동안 전세계 중소기업과 주요 제약 회사를 지원하며 경험을 쌓은 통계업체 Prism Training & Consultancy에게 도움을 청했습니다. 수년 간 임상 시험을 지원하며 경험을 쌓은 Prism 팀의 컨설턴트 3명이 단기적으로 Wells와 동료들을 도와 인력을 교육하고 JMP Clinical을 이용해 연구 데이터를 분석했습니다.  

Wells는 "Prism은 영국 캠브리지에서 인기 있는 교육 공급업체로 기업에게 JMP Clinical 활용 방법을 지도하는 일을 전문으로 합니다. 이 프로젝트에서 Prism은 Roche에게 매우 큰 도움을 주었습니다."라고 말했습니다.

그러나 장기적으로 전략이 바뀌었고 Roche는 필요한 작업을 아웃소싱할 외부 공급업체를 찾아 나섰습니다. 이 기간에 Prism은 Roche와 함께 분석 및 지원 업무를 맡았습니다. 이제 아웃소싱 파트너가 확정된 후에는 공급업체 및 Roche와 긴밀히 협력하여 신규 분석가의 교육을 지원하고 있습니다. 공급업체 팀이 완전히 자리를 잡으면 Prism은 한 걸음 물러나 필요에 따라 교육과 지원을 제공합니다. 주요 업무는 스크립팅 개선 사항과 사내 팀에서 식별한 시스템에 대한 추가 기능 등입니다.

통계 테스트에서 추가 조사가 필요한 문제 확인

문제가 있는 임상 데이터는 표시가 되므로 제출 전에 Well의 팀에서 수정할 수 있습니다. Wells는 대부분의 경우 위조에 악의가 없다고 했습니다. 그러한 경우 문제를 조기에 발견하면 임상 시험 기관이 진행 중인 연구와 향후 연구에 대한 보고 절차를 바로 잡을 수 있습니다. Wells는 "처음에는 각 팀에서 데이터를 매우 소중하게 여겼습니다. 그래서 데이터를 얻기 위해 무진 애를 써야 했습니다. 그러나 지금은 각 팀에서 저희에게 먼저 데이터를 주고 싶어 합니다. 고맙다는 말과 함께. 저희가 일을 더 많이 하고 JMP Clinical에서 더 많이 배울 수록 모두에게 돌아가는 혜택도 커집니다."라고 말했습니다.

데이터 위조는 의도 여부를 떠나 복잡하고 동기도 워낙 많아서 전 세계 임상 관리자와 환자에게 의심스러운 데이터를 모두 보고하게 할 수는 없습니다. 흔하진 않지만, 시험기관에서 환자 파일이 섞이거나 응답자를 혼란스럽게 하면 연구 결과가 왜곡될 수도 있습니다. 임상 관리자가 이러한 오류를 인지하면 로컬에서 품질 검사를 시행할 수 있습니다.

위조의 원인이 관리자에게만 있는 것은 아닙니다. 환자도 임상 데이터 무결성에 영향을 미치는 위법 행위에 관여하기도 합니다. 실제로, 환자가 의료 혜택을 받거나 금전적 이득을 얻기 위해 여러 차례 연구에 등록한 사례가 확인된 바 있습니다. 또한 문화적 또는 종교적 신념 때문에 환자가 증상을 부정확하게 보고할 수도 있습니다.

JMP^® Clinical은 상당한 비용 절감과 함께 마음의 평화를 제공

Wells는 "통계 모니터링은 비교적 새로운 분야입니다. "이 방법을 통해 특이치에 얽매이지 않고 데이터를 다른 관점에서 볼 수 있습니다. 통계 알고리즘은 주목할 만한 추세를 탐지하는 데 유용합니다."라고 말했습니다. JMP Clinical처럼 프로세스 대부분을 자동화하는 도구를 이용하면 Roche의 글로벌 연구 전반에서 모니터링을 일관되게 유지할 수 있습니다.

Wells에 따르면 꾸준히 좋은 품질로 보고하면서 의약품을 제출했을 때 나타나는 효과는 분명합니다. Wells는 "일단, FDA나 EMA가 우리 데이터의 내용을 알고 있는 상태에서 연구 결과를 제출하므로 안심할 수 있습니다. 대개 데이터는 다른 방식으로 보게 되지만, [JMP Clinical]을 이용하면 연구 데이터를 살펴보고 이전 방법으로 관찰하지 않아도 되는 문제를 찾아낼 수 있습니다."라고 말했습니다. Wells는 또 Roche만 JMP Clinical을 사용하는 것은 아니라고 했습니다. FDA도 이용권을 확보했습니다. Wells는 전환 가능한 형식으로 보고서를 하기 때문에 결과의 투명성도 최대한 확보할 수 있습니다. JMP 그래픽은 또 고급 분석을 전달하는 데에도 유용합니다.

둘째로, 현재까지의 연구 결과가 미미하더라도, 새로운 통계 모니터링 방식을 채택할 때 심사 과정에서 값비싼 지연을 피할 수 있습니다. Wells는 지연이 하루만 발생해도 약 6백만 달러에서 1천5백만 달러의 의약품 비용이 발생한다고 추산합니다. Roche만큼 R&D 예산이 큰 회사에게도 결코 적은 비용이 아닙니다. 게다가, 제출 시 기밀이 유지되므로 Roche로서는 특허, 독점 라이센스 등 장기간 수익을 보장하는 선점자의 우위도 누릴 수 있습니다.