Invariabilmente, anche il migliore studio basato sul campionamento delle cartelle cliniche e l’analisi a due stadi della documentazione di tipo retrospettivo, porta con sé dei limiti.
Uno di questi potrebbe essere la sensibilità dello staff infermieristico nell’evidenziare l’evento avverso. Visto che lo staff medico esamina solo le cartelle che le infermiere ritengono rivelino un possibile evento avverso, è possibile che alcuni di essi possano sfuggire all’esame nel secondo stadio.
Alcune analisi rivelano che però questa possibilità, pur esistendo è relativamente modesta e non modifica significativamente i risultati finali.
Non va innanzitutto dimenticato che tali studi vengono effettuati anche grazie alla collaborazione delle istituzioni e degli ospedali prescelti. Non è infrequente assistere ad una collaborazione piena da parte di questi ospedali. Ad esempio, nello studio INAES, dei trenta ospedali scelti per l’analisi delle cartelle sanitarie solo 18 hanno partecipato, 6 hanno rifiutato e 6 non hanno neppure risposto ai ripetuti inviti.
Che ciò abbia determinato un “selection bias” non è dato sapere, ma certamente una percentuale alta di non partecipazione può in qualche modo determinare variazioni sulla percentuale di eventi avversi se chi non partecipa ha una maggiore presenza di tali eventi o se la cultura interna alla organizzazione non è aperta e collaborativa come in altre strutture.
Un altro elemento è l’estrema variabilità che gli esaminatori si possono trovare di fronte in termini di completezza della documentazione clinica. Paradossalmente chi riporta maggiori dettagli nella cartella clinica può rivelare molti più particolari che possono determinare una analisi più approfondita per la verifica di un evento avverso rispetto ad una documentazione troppo sintetica o addirittura carente.
L’aspetto meglio studiato, in termini di limiti dello studio, è invece rappresentato dal grado di concordanza tra i componenti dello staff, nel giudicare il medesimo caso.
Malgrado l’addestramento, la variabilità di giudizio esiste sempre ed anche negli studi fortemente standardizzati che sono stati esaminati l’indice kappa di concordanza varia dallo 0.25 allo 0.78 (nello studio INAES era dello 0.78)[1]. L’indice kappa misurando la concordanza nei giudizi dati tra due o più osservatori evidenzia pertanto che è piuttosto difficile, anche per operatori sanitari opportunamente addestrati, ottenere una stessa valutazione di giudizio per un medesimo caso.
Utilizzare i dati campionari sugli eventi avversi per estrapolare e quindi stimare il numero di eventi avversi totali e il numero di decessi o il numero di giornate di degenza aggiuntive che possono avvenire nella nazione dove è stato effettuato lo studio è una tentazione inevitabile ed è stato messo in atto da tutti gli autori degli articoli scientifici pubblicati.
Come noto la pubblicazione “To Err is Human”, utilizzando i dati derivati da due studi, stimava che il numero di decessi causati da errori sanitari potesse variare da:
- 44.000 sulla base dello studio effettuato in Utah ed in Colorado[2] basato su cartelle del 1997
- fino a 98.000 sulla base dello studio nello Stato di New York (il noto Harvard Medical Practice Study) basato su cartelle del 1984[3]
E’ indubbio che, malgrado lo studio HMPS sia stato pubblicato nel 1991 e quello dello Utah e Colorado poco prima del report, è stata la estrapolazione dei dati dei decessi, dedotti proporzionalmente al numero di ricoveri ospedalieri dell’epoca negli USA (33 milioni e 600 mila) che ha colpito le istituzioni governative di tutto il mondo, i media e, di conseguenza, l’opinione pubblica. Per gli americani tale dato significava che, utilizzando anche solo la stima inferiore, i decessi causati da errori sanitari si collocavano all’8° posto delle cause di morte.
Tali estrapolazioni sono molto facili da effettuare e rendono in maniera quasi brutale l’impatto del fenomeno, ma sono cionondimeno da utilizzare con cautela.
Nello stesso anno in cui fu pubblicato il report “To Err is Human” comparvero sulla medesima rivista due posizioni diametralmente opposte a riguardo delle stime a livello nazionale del numero di decessi[4]. Erano due prese di posizione molto importanti in quanto la critica proveniva dagli Autori che avevano lavorato allo studio dello Stato di New York (l’HPMS), mentre il sostegno alle stime era del famoso Lucian L. Leape, uno degli autori del report ed autorità indiscussa nel campo del risk management[5].
Una delle critiche più rilevanti riguardava la metodologia utilizzata in particolar modo nell’HPMS. Lucian Leape riconosce che lo studio di Harvard non era impostato per individuare i fattori di rischio che potevano determinare eventi avversi ma intendeva far emergere quanti potessero essere i casi che potevano essere oggetto di un contenzioso medico-legale. Come ricordato in precedenza ciò era dovuto sia alla particolare situazione giuridico-assicurativa e medico-legale degli USA con continui incrementi dei contenziosi e dei premi assicurativi in capo ai medici con costi esorbitanti in termini di medicina difensiva. Lo studio infatti utilizzava una metodologia (poi affinata e migliorata) inaugurata per la prima volta dalla California Medical Association nel 1976: utilizzare medici per rivedere le cartelle cliniche allo scopo di individuare gli eventi avversi che erano determinati da cure e atti negligenti ovvero da attività ben al di sotto dello standard atteso.
Il fatto che lo studio fosse di tipo retrospettivo è sicuramente una grossa limitazione in quanto non tutte le informazioni rilevanti potevano essere state trascritte nei “clinical records” dei pazienti ed alcuni errori di valotazione potevano anche non emergere in quanto sconosciuti agli stessi medici che avevano in gestione il paziente. Ciò poteva tuttalpiù sottostimare e non sovrastimare il numero di errori e eventi avversi.
La limitazione maggiore di tali studi è il fatto che poggiano sul giudizio implicito di medici e che, malgrado gli sforzi sulla accuratezza e riprodicibilità dei giudizi, esiste una variabilità non marginale in questo tipo di valutazione. Il cosiddetto “Hindsight bias” (la tendenza ad imputare ad una determinata azione l’esito infausto come se fosse la causa diretta solo in quanto conosciamo l’esito negativo dei fatti) può determinare una sovrastima degli eventi avversi.
Lucian Leape dà però una lettura convincente della valutazione effettuata dal report “To Err is Human” e dalle estrapolazioni ad esse conseguenti:
- In primo luogo, pur con i limiti della valutazione retrospettiva e della riproducibilità di giudizio è improbabile che i valutatori abbiano catalogato come eventi avversi ricoveri in cui non vi erano atti negligenti. Piuttosto è vero il contrario ovvero che eventi avversi non siano stati registrati per mancanza o non adeguatezza dei dati necessari o per un difetto nella valutazione stessa. Oltretutto, pur essendo stati rilevati eventi avversi post-dimissione (circa un 6%) essi erano stati esclusi dalla analisi che era incentrata solo sugli eventi avvenuti all’interno dei nosocomi.
- Il numero di eventi avversi al di fuori del ricovero ospedaliero non è stato adeguatamente studiato anche per la eterogeneità dei dati da cui estrarre le informazioni. Si tratta di un numero non quantificabile ma che sicuramente aumenterebbe il totale dei danni provocati da inappropriati interventi sanitari
- Cosa ancora più importante, quando sono stati utilizzati metodi prospettici e non retrospettivi di analisi, il tasso di eventi avversi e di morti evitabili è risultato ancora maggiore[6].
Se quindi la valutazione del numero di decessi dovuti ad eventi avversi prevenibili può essere adeguata o addirittura sottostimata a seconda degli studi effettuati, è importante riconoscere che esiste questo problema senza focalizzare esclusivamente l’attenzione sulle statistiche.
Il numero reale di danni seri o decessi prevenibili è impossibile da conoscere. E tutte le stime effettuate anche successivamente non sono state di grande aiuto per la causa del risk management ma piuttosto un ostacolo.
Due delle più clamorose stime effettuate negli anni successivi hanno addirittura ampliato la dimesione del fenomeno.
Un lavoro del 2013, basato su 4 ricerche che utilizzavano una nuova metodologia di indagine retrospettiva[7] degli eventi avversi, ha stimato il numero di decessi prevenibili negli USA tra i 210.000 ed i 400.000 per anno[8]. E’ indubbio che tali numeri determinino un enorme impatto sui media e sulla opinione pubblica.
Leggendo l’articolo emerge però che la stima si basa per l’appunto su 4 studi estratti tramite una strategia di ricerca bibliografica per identificare solo quelli che utilizzavano questa metodologia di indagine (peraltro da alcuni criticata per la concordanza non elevata tra valutatori diversi). Questi 4 studi erano riferiti a:
- 278 cartelle di pazienti che accedevano al programma Medicare in due Stati americani (su una settimana di ricoveri ad Agosto 2008)
- 838 cartelle di pazienti rappresentativi che accedevano al programma Medicare (sul mese di ottobre 2008)
- 795 cartelle estratte da strutture residenziali per anziani o comunque di assistenza terziaria (ottobre 2004)
- 2.341 cartelle esaminate da gennaio 2002 al dicembre 2017 in 10 ospedali del North Carolina
Facendo una valutazione “pesata” dei decessi prevenibili (la prevenibilità variava da non specificato al 100%) si è arrivati alla stima di decessi prevenibili negli USA tra i 210.000 ed i 400.000/anno.
Questo studio viene riportato qui giusto per ricordare che è possibile fare stime su tutto e con qualsiasi dato. Va sottolineato che il numero totale di decessi rilevati da questi 4 studi da cui si è partiti per ricavare le stime di cui sopra era pari a 38 (Tabella 12)
In questo caso limite la estrapolazione a dati nazionali appare quantomeno velleitaria. Ma questo non è neppure il caso più eclatante. Nel maggio del 2016 sulla prestigiosa rivista British Medical Journal è apparso un articolo di M. Makary del John Hopkins di Baltimora[9] in cui i decessi per eventi avversi venivano quantificati in 251.000/annui ovvero alla terza causa di morte negli USA .
Anche in questo caso la metodologia di calcolo “a tavolino” o meglio, al computer si basava su estrapolazioni basate su pochi studi di varia metodologia e su diverse tipologie assistenziali che hanno scatenato polemiche sulla scientificità e sui metodi statistici assai dubbi di tale risultato.
Ciò che sicuramente ha “impattato” è stato il titolo sensazionalistico (più adatto ad un giornale che ad un articolo scientifico) e la rappresentazione dei decessi per varie cause che è possibile visualizzare in Figura 5.
Esulando dagli approfondimenti legati alla metodologia di questo articolo, molti esperti hanno evidenziato che l’analisi e la disputa sul numero di decessi o di danni è di poca utilità in primo luogo sia per l’ampia variabilità tra le varie modalità assistenziali che per la difficile sistematizzazione dei metodi di valutazione applicati.
Che il problema esista è indubbio. Più che continuare a lambiccarsi sui numeri, cercando di aumentare la visibilità dei propri lavori scientifici con stime sempre più roboanti, è necessario focalizzarsi sulle soluzioni al problema stessa. La variabilità (o lo scarso o addirittura nullo impatto) di queste soluzioni sono il vero problema da affrontare.
E’ indubbio però che, malgrado l’enorme attenzione sui “numeri” grezzi o estrapolati, la sicurezza almeno negli ospedali sia progressivamente aumentata dai primi decenni del secolo scorso. Come lo stesso Brennan, autore dello studio HMPS, afferma[10], quando si iniziarono a effettuare le prime craniotomie nei casi di tumore cerebrale la mortalità era dell’80%. In 20 anni la mortalità precipitò al 20%. Oggi è meno dell’1%. Questo è solo un esempio ma è indubbio che non solo in chirurgia ma in molte altre attività sanitarie gli “eventi avversi” conseguenti a trattamenti sanitari si siano enormemente ridotti. Ciononostante l’introduzione di nuove tecniche (impensabili fino a 50 anni fa come l’angioplastica coronarica) hanno introdotto nuovi rischi in quanto ogni nuova modalità di trattamento porta con sè benefici indubbi ma anche nuove possibilità di impattare negativamente sul paziente (vedasi il caso del Linac Therac-25 come caso clinico più avanti).
Lo stesso prolungamento della sopravvivenza per patologie che in precedenza avevano o un esito infausto o mortalità molto elevate, “espone” il paziente a maggiori rischi di eventi avversi per il solo fatto che esso è in grado di sopravvivere alla malattia.
Un paziente con Linfoma di Hodgkin negli anni ’70 aveva una sopravvivenza a 10 anni del 62,4% ma nel 2000 tale sopravvivenza è passata all’89,6% [11] (Figura 6). Rispetto ad un paziente del 1970, il paziente degli anni 2000 ha effettuato terapie più efficaci (chemio e radioterapiche), metodi diagnostici più accurati e sofisticati, ha avuto un numero maggiore di anni di vita con i quali ha avuto maggiori contatti con il sistema sanitario, con gli operatori e, per questo motivo, maggiori opportunità non solo di cure più efficaci ma anche più rischi.
Portato all’estremo, un paziente con prognosi infausta e pochissimi mesi di sopravvivenza dalla diagnosi ha sicuramente una minore possibilità di incorrere in un evento avverso rispetto ad un paziente che, data la migliore prognosi, ha una possibilità di un prolungato contatto e di una più lunga “esposizione” con il sistema sanitario.
Tale contatto porta con sè rischi di eventi avversi che vanno sicuramente individuati e corretti. Ma non bisogna ignorare il fatto che il beneficio al netto di una maggiore probabilità di eventi avversi è di gran lunga migliore per il paziente con una sopravvivenza più lunga.
In questa ottica, valutando un orizzonte temporale di decenni, non possiamo affermare che gli ospedali sono diventati luoghi più rischiosi ma che la sensibilità al problema degli eventi avversi era, prima degli anni ’80 quasi inesistente in tutto il mondo e che gradualmente si sta diffondendo una cultura della prevenzione del rischio clinico.
Senza farsi travolgere da numeri di tipo epidemico, il lavoro di analisi parte da qui. Quindi analizzare i problemi e trovare le soluzioni è assai meglio che discutere su numeri che nessuno realmente conosce.
[1] L’interpretazione dei valori Kappa si esegue secondo le seguenti linee-guida: k<0.2= concordanza scarsa; k compreso fra 0.2 e 0.4 = concordanza modesta; fra 0.41 e 0.61 = moderata; fra 0.61 e 0.80 = buona; >0.80 = eccellente.
[2] Thomas et al., “Incidence and Types of Adverse Events and Negligent Care in Utah and Colorado.”
[3] Brennan et al., “Incidence of Adverse Events and Negligence in Hospitalized Patients.”
[4] Clement J. McDonald, Michael Weiner, and Siu L. Hui, “Deaths Due to Medical Errors Are Exaggerated in Institute of Medicine Report,” JAMA 284, no. 1 (July 5, 2000): 93–95, doi:10.1001/jama.284.1.93.
[5] Lucian Leape testimoniò anche alla sottocommissione istituita presso il Senato degli Stati Uniti per sostenere una politica di finanziamenti miranti a ridurre gli errori in Sanità. Egli è un nemico giurato della “Bad Apple Theory” e ritiene che il principale ostacolo alla riduzione degli errori in sanità è che i sanitari vengano puniti per tali errori.
[6] Lori B. Andrews et al., “An Alternative Strategy for Studying Adverse Events in Medical Care,” The Lancet 349, no. 9048 (February 1, 1997): 309–13, doi:10.1016/S0140-6736(96)08268-2.
[7] Il Global Trigger Tool che utilizza una serie di item standardizzati che possono “segnalare” al valutatore che qualcosa di anomalo è avvenuto durante il ricovero.
[8] John T. James, “A New, Evidence-Based Estimate of Patient Harms Associated with Hospital Care,” Journal of Patient Safety 9, no. 3 (2013): 122–128.
[9] Martin A. Makary and Michael Daniel, “Medical Error—the Third Leading Cause of Death in the US,” BMJ 353 (May 3, 2016): i2139, doi:10.1136/bmj.i2139.
[10] Troyen A. Brennan, “The Institute of Medicine Report on Medical Errors — Could It Do Harm?,” New England Journal of Medicine 342, no. 15 (April 13, 2000): 1123–25, doi:10.1056/NEJM200004133421510.
[11] Amy Kwan, Nick Chadwick, and Barry Hancock, “Improving Survival of Patients With Hodgkin Lymphoma Over 4 Decades: Experience of the British National Lymphoma Investigation (BNLI) With 6834 Patients,” Clinical Lymphoma, Myeloma and Leukemia 17, no. 2 (February 1, 2017): 108–19, doi:10.1016/j.clml.2016.11.004.